首页/新闻资讯/正文详情

显卡 显存 硬盘 内存 算力 CPU GPU名词区分

发布时间:2026/9/25 21:44:14 来源:云帆数科 栏目:资讯中心
显卡 显存 硬盘 内存 算力 CPU GPU名词区分
数据流向硬盘-内存-显存一、核心名词定义 相互关系面向模型训练 / 本地部署先一句话总览CPU通用计算总管适用于复杂的逻辑运算GPU并行计算加速器跑模型主力适用于简单的并行计算例如矩阵计算内存 (RAM)CPU 使用的临时空间存放数据集、代码、模型元信息显存VRAMGPU 专属内存存放神经网络权重、中间张量训练最吃它硬盘永久存储放数据集、模型文件、环境安装包读写速度影响加载快慢算力GPU 每秒能做的浮点运算数量决定前向 / 反向传播计算快慢类比 CPU 餐厅店长什么杂活都能干但一次处理任务数量少 GPU 一大批后厨厨师每个人只做简单重复操作适合大批量并行运算 内存 店长手边操作台显存 厨师面前的案板 硬盘 仓库算力 厨师团队总干活速度。1显存 VRAM深度学习最容易瓶颈的硬件,RTX2060 6G归属只属于 GPUCPU 不能直接访问作用模型权重、输入图片 / 张量、梯度、优化器参数全部要放在显存里才能用 GPU 加速影响场景✅ 训练显存不够 →Out of Memory(OOM)直接报错。模型越大、batch size 越大占用显存越高✅ 推理本地部署只需要模型权重 输入张量不需要存梯度显存消耗远小于训练举例一个 7B 大模型FP16 精度权重就要占用约 13GB 显存如果你显卡只有 8G 显存训练直接 OOM推理也要做量化才能跑。2内存 RAM电脑主内存双8G归属CPU 使用作用存放数据集、预处理数据、python 代码、操作系统。当显存不够有人会把数据丢到内存但是速度会暴跌影响内存太小数据集加载阶段会卡如果内存爆掉程序直接被杀掉。举例你有 10 万张图片数据集训练时一次性全部读进内存内存不够直接崩溃。一般做法是分批读取。3硬盘SSD / HDD,512G闪存1T机械作用永久保存文件数据集、模型权重、CUDA、代码区别SSD 固态硬盘速度远快于机械 HDD影响只影响数据加载速度不影响模型训练计算速度。举例HDD 读取图片很慢训练时 GPU 算完一批要等硬盘读下一批GPU 空闲等待叫IO 瓶颈。SSD 可以缓解这个问题但不能解决显存不足。4算力TFLOPS含义GPU 浮点运算能力衡量 GPU 做矩阵乘法神经网络本质就是大量矩阵乘有多快注意算力高≠一定能训练大模型。显存是门槛算力是速度。举例一张显卡算力很强但显存只有 4G。大模型根本塞不进显存算力再高也没法训练。 通俗理解案板显存太小放不下食材厨师算力再多也没法开工。5CPU深度学习任务里职责读取硬盘数据、做数据预处理图像增强、转张量调度任务把张量送到 GPU 显存控制训练循环、日志记录短板并行能力弱不适合大规模矩阵运算只用 CPU 训练模型会慢几十上百倍。场景CPU 太差会出现GPU 空闲一直在等 CPU 处理数据也就是数据预处理瓶颈。6GPU深度学习主力神经网络前向传播、反向传播更新权重全部交给 GPU 并行计算。限制受制于显存大小。二、硬件之间互相制约关系重点课程训练 / 部署必看显存是训练第一道门槛显存不够 → OOM程序直接崩显存充足才轮到看算力决定训练快慢。内存不能远小于显存 内存太小数据集加载失败如果内存 显存也容易爆内存。硬盘速度只影响数据加载不影响模型计算速度CPU 性能弱会拖慢数据预处理造成 GPU 等待GPU 利用率上不去GPU 利用率看 nvidia-smi理想训练硬件搭配 足够显存的 GPU 匹配大小内存 SSD 硬盘 中端 CPU 即可不需要顶级 CPU。三、训练 vs 本地部署硬件关注点差异模型训练阶段优先级显存容量 GPU 算力 内存大小 硬盘速度 CPU需要保存梯度、优化器参数显存开销巨大需要源源不断读取数据集对 IO 有要求模型本地部署推理阶段优先级显存 GPU 算力不需要计算梯度显存占用大幅下降很多场景还可以量化FP16→INT8进一步降低显存占用低配显卡也能跑。四、常见坑举例显卡算力很高但显存小可以跑小模型训练大模型只能推理无法训练。显存足够但机械硬盘训练时 GPU 经常空闲速度慢但不会 OOM。显存足够内存很小读取大数据集直接内存报错。显存、内存、硬盘都很好CPU 很差数据预处理跟不上GPU 利用率低训练速度上不去。五、快速一句话总结GPU 负责核心计算显存是 GPU 的临时工作台内存是 CPU 的工作台硬盘是仓库算力是 GPU 计算速度。 训练模型首先看显存够不够放下模型 梯度其次看算力快慢本地部署显存压力小很多

相关推荐

23 种设计模式的通俗解释,虽然有点污
23 种设计模式的通俗解释,虽然有点污

一、写在前面:设计模式到底在解决什么很多初学者第一次听说“设计模式”时,脑子里冒出的画面是厚厚的《GoF 设计模式》原书、满纸的 UML 类图和永远记不住的名字。但说实话,设计模式并不是什么高深莫测的咒语,它更像是程序员在长期… · 2026/9/25 21:43:35

GUI-Owl-1.5实测:多模态GUI智能体如何突破自动化脚本脆弱性
GUI-Owl-1.5实测:多模态GUI智能体如何突破自动化脚本脆弱性

用了两周把 GUI-Owl-1.5 拉下来跑通,又把几个真实项目里的任务喂进去试了一遍,有些话想写出来。做 GUI 自动化这行当久了,最大的感受就是:脚本不脆弱才叫新闻。换台显示器分辨率,坐标全偏;UI 改个版式&… · 2026/9/25 21:43:35

Agent开发:观察与伴随型 Agent 的架构设计:剖析无限自旋死循环与宿主驱动契约陷阱
Agent开发:观察与伴随型 Agent 的架构设计:剖析无限自旋死循环与宿主驱动契约陷阱

摘要:在多智能体系统(Multi-Agent Systems)中,伴随型 Agent(如记账员、备忘记录者、审计员等)被广泛用于旁路监听并整理长程记忆。然而,若对其与运行宿主(Host)之间的底层… · 2026/9/25 21:43:35

2025 AI出海实战:算力选型、大模型部署与Agent落地关键节点
2025 AI出海实战:算力选型、大模型部署与Agent落地关键节点

1. 算力格局变了,出海的起跑线也跟着变了2025年做AI出海,如果还拿2023年那套“国内训模型、海外套个壳”的思路来打,基本等于开局就落后半个身位。我过去一年跟几个做多模态和Agent方向的团队聊下来,最直观的感受是:算… · 2026/9/25 22:17:46

从自研RAG到WeKnora:企业知识库落地全记录
从自研RAG到WeKnora:企业知识库落地全记录

去年年初我们团队接了一个内部知识库的项目,要求把几十万份产品文档、故障工单和技术规范变成可检索、可问答的资产。一开始我们天真地以为“接个大模型API就完事了”,结果两个月下来,最耗精力的根本不是模型本身,而是围绕知识接入… · 2026/9/25 22:17:46

Atlas 300V 24G推理加速卡跑YOLO:从环境搭建到模型转换全攻略
Atlas 300V 24G推理加速卡跑YOLO:从环境搭建到模型转换全攻略

看到“atlas 300v 24g 是运算加速卡吗”这个问题,我第一反应是,又有人要入坑 AI 推理这条线了。先给结论:Atlas 300V 24G 确实是一张运算加速卡,但它不是普通显卡,更不是用来打游戏的,它是一张专门为神经网… · 2026/9/25 22:17:46

旧电脑改造NAS全攻略:从硬件选型到备份策略
旧电脑改造NAS全攻略:从硬件选型到备份策略

家里吃灰的旧电脑,别急着扔。我把它改造成了一台7x24小时运行的NAS,家用照片、工作文档、电影资源全都归置到了一起,手机相册能自动备份,出差在外也能随时调文件。这篇文章把整个改造过程、系统选型、存储配置和踩过的坑全部写出来… · 2026/9/25 22:17:27

后端人别再焦虑了!核心能力其实就这些
后端人别再焦虑了!核心能力其实就这些

打开技术社区,满屏都是“Spring Cloud Alibaba实战”“Service Mesh落地”“云原生架构演进”,再刷刷招聘要求,分布式、高并发、微服务、容器化、DDD……仿佛少学一样就会被时代抛弃。于是很多后端人陷入焦虑:新技术层出不穷&… · 2026/9/25 22:17:27

阿里 open-code-review (AI代码审查工具)实战:安装、四层规则链、自定义规则格式与实测避坑
阿里 open-code-review (AI代码审查工具)实战:安装、四层规则链、自定义规则格式与实测避坑

阿里 open-code-review (AI代码审查工具)实战:安装、四层规则链、自定义规则格式与实测避坑结论先放这儿,方便你判断要不要往下看: 阿里把内部用了两年的 AI 代码审查助手开源了,命令行叫 ocr,n… · 2026/9/25 22:17:02

数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)
数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战
创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX
MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:37

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码