33B 只做 18 层：Agnes 3.0 Flash 靠「小身材」杀进轻量模型第一梯队？

33B 只做 18 层Agnes 3.0 Flash 靠「小身材」杀进轻量模型第一梯队2026 年 9 月Agnes AI 放出了Agnes-3.0-Flash Preview的开放权重 checkpoint33B 参数、dense 架构、262 144 token 上下文、文本/图像/视频三模态理解、可调推理强度、工具调用硬件门槛只写了一行——1 × H200 或 1 × H100。社区反响集中在两点一是 API 侧依旧免费、国内直连、一个 Key 全家桶都通的接入体验二是架构侧那句33B 开源只 18 层吃显存——为什么一个 33B 模型只需要 18 层 KV cache答案藏在 config.json 的layer_types里72 层解码器中只有 18 层是标准全局注意力其余 54 层是状态大小与序列长度无关的 delta-rule 循环层。这篇模型卡README.md、README_zh.md明确强调本仓库是Preview 开放权重与线上 production/API 模型社区实测称其支持 1M 上下文不是同一个 checkpoint——这个区分本身就值得先交代清楚。下面从源码和配置逐项拆开这套3:1 混合注意力到底省了什么、benchmark 能站住什么位置、单卡部署的真实账本怎么算以及它凭什么进入轻量模型的第一梯队讨论。一、72 层 ≠ 72 层 KV cache3:1 混合注意力的省法1.1 层计划写在配置里model.safetensors.index.json 显示 72 个 decoder layer其中 54 层带delta_attn.*权重、18 层带global_attn.*权重。config.json 的text_config.layer_types把这 72 层排成了严格的3 delta 1 global周期layer_types: [ agnes_delta_attention, agnes_delta_attention, agnes_delta_attention, agnes_global_attention, agnes_delta_attention, agnes_delta_attention, agnes_delta_attention, agnes_global_attention /* ... 共 72 项global_attention_interval 4 */ ], global_attention_interval: 4, num_hidden_layers: 72configuration_agnes.py 里还保留了自动生成层计划的逻辑只要不显式给出layer_types就按global_attention_interval默认 4逐层判定(i1) % 4 0的层升级为全局注意力if self.layer_types is None: period kwargs.pop(global_attention_interval, kwargs.pop(full_attention_interval, 4)) plan [] for i in range(self.num_hidden_layers): is_global (i 1) % period 0 plan.append(LAYER_GLOBAL if is_global else LAYER_DELTA) self.layer_types plan注意一个容易混淆的点18 层指的是持有 KV cache 的全局注意力层数不是模型的总层数。参数主体仍然摊在全部 72 层上——这是小身材省显存、但参数预算一点没缩水的关键。1.2 delta-rule 层状态是常数不是矩阵configuration_agnes.py 中 delta-rule 层的规格是16 key heads / 48 value headshead dim 128前置 kernel-4 因果卷积循环状态强制 fp32mamba_ssm_dtype: float32。modeling_agnes.py 里的AgnesDeltaAttention实现了门控 delta rule 的前向beta b.sigmoid() # fp32 keeps exp(A_log) finite under fp16 weights g -self.A_log.float().exp() * F.softplus(a.float() self.dt_bias) ... if resume and seq 1: mixed, rec_state self.recurrent_gated_delta_rule( query, key, value, gg, betabeta, initial_staterec_state, output_final_statecache_params is not None, use_qk_l2norm_in_kernelTrue, )它维护一个固定的循环状态矩阵16 head × 128 × 128 fp32 ≈ 1 MB/head共 16 MB/层与序列长度无关。prefill 走chunk_gated_delta_rulechunk_size64 的块并行路径decode 走fused_recurrent_gated_delta_rule单步递推没有 fused kernel 时回退纯 torch 实现代码注释里写明两条路径数值可互换。缓存侧通过AgnesDeltaCacheLayer(LinearAttentionLayer)注册进 transformers 的LAYER_TYPE_CACHE_MAPPING与AgnesGlobalCacheLayer(DynamicLayer)一一对应——也就是说框架层面对72 层里只有 18 层是 KV 层这件事是一等公民地支持的而不是外挂 hack。对比组是AgnesGlobalAttentionGQA 24 query heads / 4 KV heads6:1 压缩、head dim 256q/k 各带 per-head RMS-norm输出端还有一个随 query 一起投影出来的 sigmoid 门out out * torch.sigmoid(gate)。这两类层在AgnesDecoderLayer.forward里按config.layer_types[layer_idx]分发其余结构RMSNorm 残差完全一致。1.3 每层还并联了一路小 FFNconfiguration_agnes.py 把parallel_ffn_intermediate_size描述为每一层解码器里、与主 MLP 并行运行并加进同一残差的主路旁边的 dense SwiGLU 分支。modeling_agnes.py 的实现只有四行核心逻辑def forward(self, x): y self.down_proj(self.act_fn(self.gate_proj(x)) * self.up_proj(x)) if self.parallel_ffn is not None: y y self.parallel_ffn(x) return y主 SwiGLU 中间维 17 408并联分支 2048两者都定义在 config.json 里。值得注意的是这个分支在权重文件里是独立存放的model.safetensors.index.json 把 72 层mlp.parallel_ffn.{gate,up,down}_proj全部指向单独的model-parallel-ffn.safetensors与主 MLP 分片物理隔离——部署侧怎么消费它后面第五节细说。二、参数账本与33B的成色按 config.json 的尺寸手工加总33B 的构成大致是部件规模近似embedding lm_head248 320 × 5 120不共享≈ 2.5 B18 层全局注意力q 双宽投影 k/v/o q/k RMS-norm≈ 4.4 B54 层 delta-rule 注意力qkv 20 480、z 6 144、b/a 各 48、out 6 144≈ 11.0 B72 × 主 SwiGLU17 408≈ 18.8 B72 × 并联 SwiGLU2 048≈ 1.8 B27 层视觉塔hidden 1 152、patch 16、2×2 空间合并、投影至 5 120≈ 0.3 B合计≈ 33 BREADME_zh.md 特意澄清了两点社区转述时容易踩坑它是 dense checkpoint不采用 MoE不存在3B active parameters的口径评测表里那些 active 数字只属于对比模型且 Preview 与 production/API 是两个不同 checkpoint后者上下文 1M其评测成绩不应安在 Preview 头上。generation_config.json 给出的官方采样默认值也很直白temperature 1.0 / top_p 0.95 / top_k 20配合 README.md Recommended Inference Settings 里的reasoning_effort: high/low与max_tokens ≥ 2000。chat_template.jinja 暴露了三个推理档位模板默认xhigh另有medium/low每档对应一段注入 system 的指令文本——比如low档会要求Keep your thinking brief and focused, moving directly to the conclusionenable_thinkingfalse则直接渲染空的 创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考