首页/新闻资讯/正文详情

NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 完全入门:24GB级本地视觉Agent大模型是什么、能做什么

发布时间:2026/11/19 5:10:36 来源:云帆数科 栏目:资讯中心
NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 完全入门:24GB级本地视觉Agent大模型是什么、能做什么
NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 完全入门24GB级本地视觉Agent大模型是什么、能做什么想在只有 24GB 内存/显存的电脑上本地跑一个能看图、看视频、还能自己调工具的「视觉 Agent」大模型NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 就是为此而生——它是 NVIDIA Nemotron 3.5 Bolt 74B-A9B 视觉语言模型VLM的 GGUF 量化合集由 Unsloth 整理覆盖从 1-bit 到 BF16 全精度共 20 余个文件配合 llama.cpp 即可在本地运行。下文带你快速搞懂它是什么、有哪些版本、以及怎么用。一、这是什么一句话看懂NVIDIA Nemotron 3.5 Bolt 74B-A9B是 NVIDIA 开源的「开放权重」模型家族成员定位是本地运行日常 Agent 任务的视觉-语言模型。仓库里放的则是它的 GGUF 格式量化权重README.md 为完整说明。几个关键设定维度说明参数规模总参数 74B每步实际激活约 9BMoE 稀疏架构Mamba-2 Transformer 混合 LatentMoE搭配 C-RADIO v4-H 视觉编码器上下文最高 256K tokens输入文本、图片、视频mp4最长 2 分钟输出文本支持 JSON、思维链推理、工具调用推理模式通过enable_thinkingTrue/False开关控制推荐采样temperature 1.0、top_p 0.95授权OpenMDW-1.1可商用 通俗理解它像一个「聪明但省内存的实习生」——总参数很大但每次只激活一小部分所以速度比同内存档位的密集模型快、又比同内存档位的普通 MoE 更聪明。二、为什么强调「24GB 级」官方专门提到24GB 版本采用原生 2-bit 量化目标是让模型装进 24GB 内存、还能和其他应用并存在速度与智力之间取得平衡。也就是说这个仓库里最核心的几档2-bit 量化IQ2 系列就是面向 24GB 内存/显存设备的「甜点档」。这也是标题里「24GB级」的由来。三、仓库里有哪些文件GGUF 版本速查所有权重都是 Git LFS 大文件。下表按「量化精度 / 单文件体积」整理方便你按硬件对号入座量化档位对应文件体积约UD-IQ1_S1-bitNVIDIA-...-UD-IQ1_S.gguf17.2 GBUD-IQ1_M1-bitNVIDIA-...-UD-IQ1_M.gguf18.9 GBIQ2_XXS2-bitNVIDIA-...-IQ2_XXS.gguf20.5 GBUD-IQ2_XXS2-bitNVIDIA-...-UD-IQ2_XXS.gguf20.5 GBUD-IQ2_M2-bitNVIDIA-...-UD-IQ2_M.gguf22.9 GBUD-Q2_K_XLNVIDIA-...-UD-Q2_K_XL.gguf26.8 GBUD-IQ3_XXSNVIDIA-...-UD-IQ3_XXS.gguf29.4 GBUD-Q3_K_XLNVIDIA-...-UD-Q3_K_XL.gguf36.4 GBUD-Q4_K_XL3 分片UD-Q4_K_XL/46.8 GBUD-Q5_K_XL3 分片UD-Q5_K_XL/54.9 GBUD-Q6_K_XL3 分片UD-Q6_K_XL/67.4 GBQ8_03 分片Q8_0/73.4 GBBF16 全精度4 分片BF16/138 GB 说明UD-前缀代表 Unsloth 的 Dynamic 3.0 量化方案在同位宽下通常精度更好。多分片版本如 Q4_K_XL的第一片仅为约 8MB 的「头文件」真正权重在后面几个分片里。两个功能文件同样重要mmproj-BF16.gguf约 1.6GB视觉/多模态投影器。想输入图片、视频必须带上它。dflash-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-NVFP4.gguf约 1GB投机解码DFlash草稿模型用于加速推理官方 vLLM 方案默认 7 个投机 token。四、怎么选量化版本按内存/显存匹配选版原则权重体积 上下文缓存 ≤ 你的可用内存留一点余量给系统和 KV cache。参考档位你的设备推荐版本体验16GB 内存UD-IQ1_S / UD-IQ1_M能跑上下文需调小24GB甜点IQ2_XXS / UD-IQ2_XXS / UD-IQ2_M官方目标档速度/智力均衡32GBUD-Q2_K_XL / UD-IQ3_XXS精度更好48GBUD-Q3_K_XL / UD-Q4_K_XL日常够用64GBUD-Q5_K_XL / UD-Q6_K_XL高质量80GB 单卡Q8_0接近无损160GB/双卡BF16微调、后训练用⚠️ BF16/ 全精度权重主要用于自定义与后训练SFT、RL、蒸馏、产出量化版并非为直接生产推理设计。想纯跑推理优先选上面的量化档。五、能做什么本地视觉 Agent 的典型场景它面向的是「日常 Agent 任务」结合视觉输入 工具调用常见玩法️看图/看视频问答截一张图表或界面直接问问题、读数、定位元素GUI grounding。文档/图表理解PDF、表格、图表 OCR 与多页文档推理。网页/终端操作配合浏览器、终端环境做多轮工具交互BrowseComp、WebArena 表现突出。️MCP 工具调用通过 MCP-Server 完成多步任务是它的强化方向之一。编码辅助代码理解与补全支持代码语言为主的训练数据。六、性能如何小体积、大表现官方在 README.md 中给出基准对比。可以看到24GBIQ2版本在多数 Agent / 视觉 / 推理基准上跑赢更重的模型基准Qwen3.6-35BGemma4 26BNemotron 3.5 Lightning 30BBolt 74B 24GB(IQ2)Terminal-Bench 2.144.3837.2223.4650.98GPQA Diamond83.4079.6175.5786.43SciCode35.3340.2831.3841.02BrowseComp48.7426.3036.8166.75WebArena(vision)36.6038.2—50.86GDPVal-AA-V225.7515.3318.2628.47一句话总结更小的体积换来可比的 Agent 与视觉能力。七、快速上手下载与运行1. 克隆仓库git clone https://gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF权重体积大建议用git lfs pull按需拉取或只下载你需要的量化分片。2. 用 llama.cpp 跑起来# 以 24GB 甜点档为例按需替换为你的量化文件 ./llama-server -m NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-IQ2_M.gguf \ --mmproj mmproj-BF16.gguf \ -ngl 99 -c 8192--mmproj mmproj-BF16.gguf启用图片/视频输入视觉功能必加。-ngl 99把层数尽量放 GPU纯 CPU 可去掉。-c 8192上下文长度按内存余量调整。3. 可选开启投机解码加速配合 DFlash 草稿模型可提速参数名以你所用 llama.cpp 版本的说明为准官方 vLLM 方案默认使用 7 个投机 token。八、常见问题FAQQ为什么 BF16 有 4 个文件量化有的 3 个、有的 1 个A单文件超过约 50GB 会拆成分片shard00001-of-00004这类是序号。低量化档能塞进单文件就只有一个。Q输入视频有限制吗A支持 mp4最长 2 分钟1080p 按约 1 FPS / 128 帧采样720p 等低分辨率可提高到 2 FPS / 256 帧。Q支持哪些语言A以英文和代码为主同时支持西班牙语、法语、德语、意大利语、日语等。Q可以商用吗A可以。采用 OpenMDW-1.1 许可允许商用与非商用。Q想让回答「先思考再回答」怎么开A通过聊天模板的enable_thinking参数控制True/False采样推荐 temperature 1.0、top_p 0.95。小结NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 把「24GB 就能跑」的视觉 Agent 大模型拆成了 20 余档 GGUF 量化从 1-bit 到 BF16 全精度可选。按你的内存选对应档位、加上mmproj投影器配合 llama.cpp 即可在本地跑起一个能看图、看视频、调工具的 Agent。创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

图片与视频输入全指南:如何喂图给NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF,看懂2分钟视频
图片与视频输入全指南:如何喂图给NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF,看懂2分钟视频

图片与视频输入全指南:如何喂图给NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF,看懂2分钟视频 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 是 NVIDIA 开源视觉语言模型 Nemotron 3.5 Bolt 的 GGUF 量化包(74B 总参数 / 9B 激活)。它原生支… · 2026/11/18 7:28:37

爆肝一个月,Java 从入门到精通19 - class版本
爆肝一个月,Java 从入门到精通19 - class版本

在Java开发中,许多童鞋经常被各种版本的JDK搞得晕头转向,本节我们就来详细讲解Java程序编译后的class文件版本问题。 我们通常说的Java 8,Java 11,Java 17,是指JDK的版本,也就是JVM的版本,更确… · 2026/11/19 5:10:36

不会还有人学完还觉得「感觉用上了 AI」就算落地吧?清单打分不认感觉 | 工程化终章
不会还有人学完还觉得「感觉用上了 AI」就算落地吧?清单打分不认感觉 | 工程化终章

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/7 11:10:02

浙江电工证复审找谁多少钱全攻略实操考试心里没底怕挂科
浙江电工证复审找谁多少钱全攻略实操考试心里没底怕挂科

浙江电工证复审找谁多少钱全攻略实操考试心里没底怕挂科 你是不是正为浙江电工证复审找谁发愁?又担心复审要花多少钱?别急,本文从一个郑州中小施工企业负责人的角度出发,帮你理清电工证复审流程、重点内容和费用明细,解决实操考试心里没底怕挂科的焦虑。… · 2026/11/19 5:09:37

在龙华哪里考电工证多少钱?证书过期了不知道怎么复审延期
在龙华哪里考电工证多少钱?证书过期了不知道怎么复审延期

在龙华哪里考电工证多少钱?证书过期了不知道怎么复审延期 证书过期了不知道怎么复审延期?你不是一个人。特别是在龙华地区,不少电工从业者因为不了解流程、没及时处理,导致证书失效,影响工作甚至被追究法律责任。本文将围绕【在龙华哪里考电工证】这一关… · 2026/11/19 5:09:37

怎样考电工证易成功培训机构怎么选
怎样考电工证易成功培训机构怎么选

电工证怎么考容易通过?学历不高也能拿证,多久拿证看这里 你是不是也觉得学历不高,报电工证肯定没戏?其实不是的, 学历不高也能考电工证 ,关键是你得选对方法和机构。 多久拿证… · 2026/11/19 5:09:37

在龙华哪里考电工证的真实经历:证书过期了不知道怎么复审延期怎么办
在龙华哪里考电工证的真实经历:证书过期了不知道怎么复审延期怎么办

在龙华哪里考电工证的真实经历:证书过期了不知道怎么复审延期怎么办 证书过期了不知道怎么复审延期?我身边就有朋友因为没及时处理,不仅被单位暂停工作,还面临重新考证的麻烦。这种事在我们特种作业行业并不少见,很多人对证件的管理不太上心,直到用不上… · 2026/11/19 5:09:37

电工证初级能使用吗?良心建议帮你避开考试踩坑
电工证初级能使用吗?良心建议帮你避开考试踩坑

电工证初级能使用吗?良心建议帮你避开考试踩坑 你是不是也怕考不过白交培训费?特别是像我这样从许昌转岗过来的学员,一边要上班,一边准备电工证考试,心里七上八下。今天我就从真实经验出发,告诉你电工证初级能使用吗,到底有没有用,以及怎么备考才能提… · 2026/11/19 5:09:37

六合高压电工证怎么考?内部消息告诉你这些坑别踩
六合高压电工证怎么考?内部消息告诉你这些坑别踩

六合高压电工证怎么考?内部消息告诉你这些坑别踩 证书过期了不知道怎么复审延期?别慌,内部消息透露,最近不少学员在复审高压电工证时遇到了麻烦,比如流程复杂、材料不全、找错了培训机构,结果耽误了工作和晋升。特别是 六合高压电工证… · 2026/11/19 5:08:37

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/18 8:19:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/18 8:19:53

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/18 14:38:14

姑苏区哪里考电工证好考前押题怎么找
姑苏区哪里考电工证好考前押题怎么找

姑苏区哪里考电工证好考前押题怎么找 工地太忙根本没时间复习考试,电工证考前还总找不到靠谱的 考前押题 资源,真让人头疼。如果你也是在苏州姑苏区从事建筑或电力行业的,那这些建议你一定要看完。 为什么姑苏区考电工证的人这么多?… · 2026/11/19 0:00:12

罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南
罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南

罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南 之前考的证在外省能不能转过来?这几乎是每个特种作业证书持有者都会遇到的问题,特别是像你这样已经在外地工作多年,想回老家罗定发展或者重新规划职业路径的人。别急,今天就给你一条清晰的路… · 2026/11/19 0:00:12

罗定能考电工证吗 电工证含金量到底有多少?
罗定能考电工证吗 电工证含金量到底有多少?

罗定能考电工证吗 电工证含金量到底有多少? 之前考的证在外省能不能转过来,这几乎是每个准备考电工证的朋友最先想到的问题。特别是在罗定这样的地方,很多人的电工证都是在外地考的,现在想在当地继续使用,但不知道怎么办。实际上,电工证的 含金量… · 2026/11/19 0:00:12

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 0:22:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码