首页/新闻资讯/正文详情

1922_在拥有独立显卡的电脑上尝试本地大模型

发布时间:2026/9/27 21:11:14 来源:云帆数科 栏目:资讯中心
1922_在拥有独立显卡的电脑上尝试本地大模型
我接触 AI 的各种工具其实相对来说是有一些晚的。我周边的人陆陆续续都已经进入了 AI 相伴的模式而我一直在古老的工作模式之下坚守。当我尝试看了一些别人写的教程之后简单的进行了实践发现这东西的确确是能够在很多方面提高我们的生产力或者是提高我们的产出质量。于是又开始开各个平台的 API 账号充值尝试各种工具。时间久了有时候觉得其实我需要的只不过是一个简单的多模态加上一个 DeepSeek V4 Flash 做做辅助就可以了。然而试用了一些多模态的 API 之后发现这东西还是挺贵的。看着自己充值的账户里面的余额疯狂的减少有时候的确确有那么几分焦虑感。毕竟大部分的 token 充值不像 DeepSeek V4 Flash 那么耐用。这就让我多少有点想考虑尝试一下本地大模型了。在买电脑之前我其实在几个平台上试了很多不算是很大的模型。尝试这些模型其实是为了能够选择一台相对合适的电脑。后来我给我自己选定了一个目标大模型是千问的 35B-A3B。而跑这个大模型也可以尝试一些量化版本哪怕达不到满血版本的那种效果能够达到它的七八十分我倒觉得也是可以的。这样我就可以本地处理一波搞不定的再换云端这样 Token 的费用应该也可以减少下来。而我自己这方面的用量的确是比较高。各种对比之下选了一个 RTX 5080 Laptop 的显卡16G 的显存可以尝试前面我说的这种模型。我也看过很多其他的设备但是目前来看价格好像都高的有些离谱。我自己选的一个折中方案是先选一个这样的笔记本用一用。如果是不合适的话至少也可以给自己升级一个可以用的笔记本至少不会有什么大的投入损失。尝试进行这个大模型部署的时候我先从阿里千问网页端咨询了一下让它给我出一个保姆级的教程按照它的教程来进行大模型的部署。目标就是千问 3.6-35B- A3B。这个其实也比较有趣。我去让它给我出这个教程的时候目前网页版本的千问大模型给我的答复是其实千问并没有发布这样的模型发布的是 3.5并不是 3.6。这就看得出来有很多大模型它训练的材料以及信息搜集进化的能力还是有一定的限制的。因为 3.6 的版本从网络上随便一搜索就能够看得到也能找得到它发布的信息。我之所以去让千问给我出这样的保姆级教程是因为我觉得它们是同一个体系的肯定对自己来说是知根知底的。但是按照它的教程我还是稍微栽了点坑。当天晚上 8 点多钟开始整到了 12 点之后才跑起来。前面反反复复的折腾始终没有让 GPU 工作起来。关于前面说的这个灾坑也是我在尝试本地大模型部署的时候遇到的最折腾的一点。然而这一部分让千问做检查的时候它始终检查不出来相应的原因是什么。最后这个问题还是 DeepSeek 帮我分析出来的。我把相应的记录信息直接一股脑的扔给了 DeepSeek让它帮我解决。结果它分析出来了可能是我少下载了一部分动态链接库的文件需要把那个动态链接库的压缩包下载下来然后解压到相同的目录。处理之后终于是搞定了。具体的内容的话就是下面这两个压缩包。这两个压缩包应该是把里面的内容全都解压出来放在一起才能够配合起来一起工作。尝试了 35B-A3B 这样的模型之后我又尝试了 27B 的量化版本。因为很多评测说 27B 在各方面的表现上可能比 35B-A3B 这个模型表现还要稳定一些。也有些评测说它的能力其实比这个 MoE 的模型更好一些。关于这个模型我首先是尝试了 Q3 的量化版本因为这一个版本基本上是能够一股脑全都压到 GPU 里面去。另外也尝试了三值量化版本但是不知道什么原因这个三值量化版本始终在吃内存和 CPU 的资源。纵然显卡也加载了一部分信息始终没有充分利用起来。三值版本在我的电脑上做各种测试的时候慢到了不能忍受每秒钟也就一两个 token。然而前面的 35B-A3B 以及 27B 的模型使用的时候流畅度基本上是还是可以接受的。前者每秒的 token 基本上是稳定在 40 左右后者能够稳定在 30 左右。但是在使用的时候有一个极为明显的体验就是使用 27B DENSE 模型的时候能够感觉出来 GPU 功耗更高风扇呼呼的转噪音非常大。我在使用的时候旁边的妻子在问我“咦这是有下雨的声音吗”相比之下35B-A3B 纵然不能说是安静但是声音要小得多。补充一下我昨天晚上做这些测试时写的一点小体会如下我看到有人说相比于 A3B 的模型其实千问的 27B 稠密模型才是本地部署的 AI 模型的王炸。它对于硬件的要求说不上太高但是从推理的稳定性以及推理的能力各方面都是比较强的。然而我手中的显卡装不下它的满血版模型只能装一个 IQ3 的量化版本。安装之后32K 上下文感觉跑起来还是很稳的每秒的 token 在 30 左右。我继续尝试重复前面的问题让他做 DeepSeek 一次就成A3B 两次差不多但是稍微欠点火候的问题。结果尝试了四轮才把最后的问题给解决掉但是每一次给他信息反馈之后他能够综合之前的信息进行迭代解决。但是它的推理尤其是 Think 的阶段常常会出现大片的英文或者是中文转英文。几轮迭代之后出来的软件实际效果的的确确比两轮的 A3B 效果要好但是比不上 DeepSeek。跑这个模型的时候明显感受到电脑的风扇噪音更大。看了一下GPU 的温度相比 A3B 也高了 10 度。但是有一点好处是这个模型吃的内存没有那么多当然这个有可能也是需要商榷的可能还存在调整的空间。从各方面来看的话我还是喜欢用 A3B。以上是最近尝试这些东西的一些小小的体验和想法。接下来可能至少会有几个月我会尝试跟这些智能模型进行“共生合作”。探索新的工作、生活和学习模式的同时也为我下一步新的尝试积累一些探索的素材。

相关推荐

Quartz.NET作业调度框架详解与实战应用
Quartz.NET作业调度框架详解与实战应用

1. Quartz.NET作业调度系统概述Quartz.NET是一个开源的作业调度框架,专门为.NET平台设计。它允许开发者在应用程序中创建定时执行的任务,从简单的定时器到复杂的基于日历的调度需求都能胜任。我在多个电商促销系统和物流配送系统中使用过这个框架&#x… · 2026/9/27 21:11:07

Linux 防火墙 iptables 的简介和配置详解
Linux 防火墙 iptables 的简介和配置详解

前言 现代 Linux 发行版逐渐转向 nftables,但 iptables 仍是底层基础。理解其原理对排查 Kubernetes 网络、云平台安全组问题至关重要。 配置时务必牢记:规则顺序 > 表链职责 > 持久化,三大核心逻辑。 本文将以 iptables 为主进行简单的… · 2026/9/27 21:11:03

Python模块使用指南:从基础到高级技巧
Python模块使用指南:从基础到高级技巧

1. Python模块基础概念解析模块是Python程序组织的基本单元,它允许我们将相关代码逻辑封装在独立的文件中。当我们在Python解释器中定义一个函数或变量后,退出解释器时这些定义就会丢失。为了解决这个问题,Python允许我们将定义保存在.py文件… · 2026/9/12 13:40:43

2026最新企业网站开发的公司怎么选?防黑挂马实战指南
2026最新企业网站开发的公司怎么选?防黑挂马实战指南

2026最新企业网站开发的公司怎么选?防黑挂马实战指南 网站被黑挂马,后台密码全失效,页面跳出赌博广告,这时候你慌不慌?很多老板第一反应是删库重装,但这往往治标不治本。2026年最新的网络攻击手段已经进化到利用AI批量生成漏洞利用代码,传统… · 2026/9/27 21:11:10

PyMySQL Connection 对象全解析:从 connect() 参数到连接生命周期与底层协议
PyMySQL Connection 对象全解析:从 connect() 参数到连接生命周期与底层协议

数据库数据库客户端后端 【免费下载链接】PyMySQL MySQL client library for Python 项目地址: https://gitcode.com/gh_mirrors/py/PyMySQL 点击查看 免费下载 导读 本文以 PyMySQL 官方 API 参考文档 docs/source/modules/connections.rst 所定义的 Connection … · 2026/9/27 21:11:04

全网最全 Claude Code 安装教程(Windows版):用 TaoToken 统一 Key 十五分钟跑通
全网最全 Claude Code 安装教程(Windows版):用 TaoToken 统一 Key 十五分钟跑通

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 21:11:04

Manus 告别 Meta 恢复独立:8 月 23 日前用 TaoToken 统一 Key 完成 AI Agent 数据备份
Manus 告别 Meta 恢复独立:8 月 23 日前用 TaoToken 统一 Key 完成 AI Agent 数据备份

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 21:10:58

Uber Go 编码规范之 Handle Errors Once:一次处理错误,避免重复处理与日志噪音
Uber Go 编码规范之 Handle Errors Once:一次处理错误,避免重复处理与日志噪音

文档 【免费下载链接】uber_go_guide_cn Uber Go 语言编码规范中文版. The Uber Go Style Guide . 项目地址: https://gitcode.com/gh_mirrors/ub/uber_go_guide_cn 点击查看 免费下载 本篇文章聚焦 Uber Go Style Guide(本仓库中文版为 uber_go_guide… · 2026/9/27 21:10:58

Claude Code  DeepSeek-V3.1 环境配置指南:Windows/macOS/Ubuntu 三端 settings.json 与 config.toml 骨架
Claude Code DeepSeek-V3.1 环境配置指南:Windows/macOS/Ubuntu 三端 settings.json 与 config.toml 骨架

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 21:10:58

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码