首页/新闻资讯/正文详情

ViT 为什么只取第一个位置作为输出:CLS Token 特征聚合完整解析

发布时间:2026/11/15 17:45:34 来源:云帆数科 栏目:资讯中心
ViT 为什么只取第一个位置作为输出:CLS Token 特征聚合完整解析
ViT 为什么只取第一个位置作为输出CLS Token 特征聚合完整解析【免费下载链接】visionDatasets, Transforms and Models specific to Computer Vision项目地址: https://gitcode.com/gh_mirrors/vi/vision在 PyTorch Vision 库里跑 ViTVision Transformer时你会发现一个细节编码器输出的特征序列很长但模型只截取第一个位置送入分类头最终 logits 形状是 [B, 768]。为什么偏偏是第一个位置 这篇文章从输出形状出发把 CLS Token 特征聚合这套设计讲清楚。从 [B, 768] 说起输出形状是怎么来的先看代码。在 torchvision/models/vision_transformer.py 的forward里有两行非常直白x x[:, 0] # 取序列第一个位置 x self.heads(x)此时x的形状是 [B, 197, 768]197 是序列长度768 是特征维度。而分类头是一个把 768 维映射到 1000 类的线性层它只接受一张图一个向量无法直接处理 197 个向量。问题于是变成197 个位置里哪一个最适合代表整张图模型设计给出的答案就是第一个位置。CLS Token一个刻意插入的汇总槽位CLSClassificationToken 的思路来自 NLP 领域的 BERT在序列开头放一个特殊 token经过多层自注意力self-attention即序列中每个元素都能看到其他所有元素并据此更新自己后它的最终表示会汇聚全局信息供分类使用。PyTorch Vision 的实现同样是预置槽位 靠注意力填充batch_class_token self.class_token.expand(n, -1, -1) x torch.cat([batch_class_token, x], dim1)CLS Token 是一个可学习参数被拼接到所有 patch 特征之前。关键在于它刚进场时对图像一无所知只能通过自注意力向196 个 patch 提问。每一层它都在关注全部 patch层层堆叠后这个向量的内容就是经过注意力加权蒸馏出的全局摘要。从图像到序列CLS Token 走过的完整路径以 ViT-B/16 为例图像到序列的变化分四步切 patch 并投影224×224 的图像被 16×16 的卷积切成 14×14196 个 patch每个 patch 经线性投影变成 768 维向量即 patch embedding加位置编码编码器为每个 token 加上表示空间位置的向量让模型能区分 patch 的先后位置多层编码器自注意力 MLP 反复交互所有 token 互相交流只取第一个位置输出仍是 197 个 token但分类只读取 CLS 位置得到 [B, 768] 的分类特征。也就是说197 个 token 并行地读懂了图像而输出时只读出预留的汇总槽位。CLS Token 与全局平均池化两种特征聚合的差异CLS Token 的本质是特征聚合——把 196 个 patch 特征压成一个向量。全局平均池化GAP是常见的替代做法差异如下对比维度CLS Token全局平均池化聚合方式注意力加权权重由学习决定所有 patch 等权平均重点区域可动态聚焦关键 patch局部信息被等比例稀释推理成本读取单向量几乎无额外开销需对整条序列做一次平均适用场景分类任务的标准做法也常配合 patch 特征用于密集任务此外还有多 Token 融合的思路把 CLS 输出与 GAP 拼接或相加可能提升鲁棒性但计算与调参成本更高。开发者如何选择与修改聚合方式标准分类任务直接用 PyTorch Vision 的默认实现CLS Token 聚合已经被大量预训练权重验证不需要动微调或换分类头只替换heads即可取第一个位置的逻辑保持不变检测、分割等需要局部信息的任务CLS 位置没有空间含义应改用 patch 特征序列即丢弃第 0 位接入下游模块做消融实验可把x[:, 0]换成x[:, 1:].mean(dim1)即 GAP对比两者在自己数据集上的表现这是很常见的对照实验。一句话总结ViT 只取第一个位置是因为 CLS Token 从输入阶段就被放在那里充当汇总槽位多层自注意力把所有 patch 的全局信息蒸馏进了这个向量。至于聚合策略它只是分类头前一个可替换的组件按任务特点选择即可。【免费下载链接】visionDatasets, Transforms and Models specific to Computer Vision项目地址: https://gitcode.com/gh_mirrors/vi/vision创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

扫描版 PDF 变可搜索文档:PdfCraft OCR 完整教程
扫描版 PDF 变可搜索文档:PdfCraft OCR 完整教程

扫描版 PDF 变可搜索文档:PdfCraft OCR 完整教程 【免费下载链接】pdfcraft PdfCraft: An open-source PDF reader and editor written by scratch in pure Rust 项目地址: https://gitcode.com/gh_mirrors/pr/pdfcraft 扫描件里的字选不中、搜不到、复制不了… · 2026/11/14 18:46:38

入侵检测系统(1)
入侵检测系统(1)

入侵检测系统(Intrusion Detection System,IDS)的核心使命并不复杂:在攻击尚未造成灾难性后果之前,发现试图入侵或已成功入侵的痕迹。它并不替代防火墙、终端防护或访问控制;相反,IDS 回答的是另一类问题——当边界已被绕过、账号已被窃取、或内网中出现"本不该出现… · 2026/11/15 12:54:33

FreeLLMAPI|34 家免费 LLM 额度,拧成 1 个 OpenAI 兼容端点
FreeLLMAPI|34 家免费 LLM 额度,拧成 1 个 OpenAI 兼容端点

FreeLLMAPI|34 家免费 LLM 额度,拧成 1 个 OpenAI 兼容端点 【免费下载链接】freellmapi 7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint.… · 2026/11/15 6:45:35

电工证科目四答题技巧官方回应:怎么考不被坑?信阳水利从业者必看
电工证科目四答题技巧官方回应:怎么考不被坑?信阳水利从业者必看

电工证科目四答题技巧官方回应:怎么考不被坑?信阳水利从业者必看 你不知道去哪里报名怕被中介骗,电工证科目四答题技巧成了你最担心的问题?官方回应来了,各地市安全生产教育培训中心已明确,正规报考流程不会让你踩坑,关键是你得知道怎么走。… · 2026/11/15 17:45:15

嘉兴电工证要多少钱官方回应复审延期全流程指南
嘉兴电工证要多少钱官方回应复审延期全流程指南

嘉兴电工证要多少钱官方回应复审延期全流程指南 证书过期了不知道怎么复审延期?嘉兴电工证要多少钱?官方回应来了,现在就来详细说说怎么处理这个问题,别让一张过期的证书耽误你的工作进度。 嘉兴电工证过期了怎么处理… · 2026/11/15 17:45:15

考考电工证到哪报名?怕考不过白交培训费?这几点必须知道
考考电工证到哪报名?怕考不过白交培训费?这几点必须知道

考考电工证到哪报名?怕考不过白交培训费?这几点必须知道 你是不是也担心, 在哪考 电工证,报名后又怕自己考不过,白交培训费?别急,今天我就从漯河水利工程从业者的角度,把关于 考考电工证到哪报名 的那些事,掰开了说清楚。… · 2026/11/15 17:45:15

学电工证有几种形式多久拿证 3种形式避坑指南
学电工证有几种形式多久拿证 3种形式避坑指南

学电工证有几种形式多久拿证 3种形式避坑指南 怕考不过白交培训费?电工证不是随便找个机构就能拿的,特别是现在市场上培训机构鱼龙混杂,稍不注意就花了钱还拿不到证。如果你是三门峡水利工程从业者,或者计划从事相关岗位,必须了解清楚学电工证有几种形… · 2026/11/15 17:45:15

中级电工证大小报名费多少钱 内部消息告诉你怎么处理证书过期
中级电工证大小报名费多少钱 内部消息告诉你怎么处理证书过期

中级电工证大小报名费多少钱 内部消息告诉你怎么处理证书过期 证书过期了不知道怎么复审延期,这种事我见过太多次。上周有个开封劳务班组的负责人老王,他手下有十几号电工,结果因为没人盯着,三张中级电工证全都过期了,项目方一查直接叫停施工,损失了将… · 2026/11/15 17:45:15

安阳应届生报考和平精英创意工坊特种证书全流程避坑指南
安阳应届生报考和平精英创意工坊特种证书全流程避坑指南

安阳应届生报考和平精英创意工坊特种证书全流程避坑指南 实操考试心里没底怕挂科?2026河南最新政策已落地,安阳不少应届毕业生开始关注“和平精英创意工坊特种”证书的报考流程。这类证书不仅是进入相关行业的“通行证”,也是未来职业发展的重要跳板,… · 2026/11/15 17:44:15

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/15 0:00:50

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/15 0:00:50

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/15 0:00:50

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/15 0:00:50

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/15 0:00:50

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/15 0:00:50

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/15 1:51:20

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/15 4:02:19

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/15 3:02:05

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码