首页/新闻资讯/正文详情

text-generation-webui 本地部署实操:从装环境到第一次对话的 5 步

发布时间:2026/11/3 20:01:38 来源:云帆数科 栏目:资讯中心
text-generation-webui 本地部署实操:从装环境到第一次对话的 5 步
text-generation-webui 本地部署实操从装环境到第一次对话的 5 步【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen想在自家机器上跑大模型又不想啃命令行最省事的一条路就是用 text-generation-webui 做本地部署大模型装好依赖、丢一个模型文件、浏览器里开聊全程数据不出机器。 装之前先回答三个问题问 1你拿来干什么只聊天、写长文默认配置就够还要给别的程序当 OpenAI 兼容 API 用启动时加--api参数缺了它API 端口不会监听别的程序连不上。问 2你的硬件是什么模型规模必须按硬件定硬加载太大的模型结果只有两个加载失败或者慢到没法用。你的硬件建议规模说明纯 CPU 机器7B 及以下GGUF 4bit走 llama.cpp 后端内存占用最低8GB 显存7B 级 4bit 量化显存省量的平衡点12–16GB 显存7B–13B13B 质量更好24GB 显存 / 多卡13B–70B70B 先估算显存再动手问 3它和别的方案什么关系它是统一界面层底层可在 llama.cpp、Transformers、ExLlamaV3、TensorRT-LLM 等后端之间切换覆盖 GGUF、16 位、EXL2 等多种格式换格式不用重装环境。 部署路径三选一路径 1一键脚本新手推荐git clone https://gitcode.com/GitHub_Trending/te/textgen然后cd textgen按系统跑启动脚本Linux 执行./start_linux.shWindows 执行start_windows.batmacOS 执行./start_macos.sh提示选 GPU 厂商时按实际情况选脚本会自动装好 Miniforge 和 Conda 环境全程不用手动装依赖完整安装约需 10GB 磁盘装完终端打印地址浏览器打开http://127.0.0.1:7860就是主界面以后每次启动重跑同一个 start_ 脚本即可路径 2手动 venv轻量不需要训练、图像生成这些后端时可以走 portable 模式python -m venv venv建虚拟环境并激活pip install -r requirements/portable/requirements.txt装依赖再python server.py --portable --api --auto-launch启动。装得快但只支持 GGUFllama.cpp格式模型。路径 3容器化docker/ 目录备好了 nvidia、amd、intel、cpu 四套配置。以 nvidia 为例把docker/nvidia/Dockerfile和docker-compose.yml软链到根目录编辑.envTORCH_CUDA_ARCH_LIST按显卡型号填APP_RUNTIME_GID填宿主机用户组 ID填错容器内文件权限会错乱最后docker compose up --build构建完成同样监听 7860 端口。✅ 5 分钟首次验证把模型放进user_data/modelsGGUF 单文件直接丢多文件模型config.json加分片先放进一个子文件夹再整体放入在Model选项卡确认模型出现在列表里点 Load切到Chat选项卡发一句“用一句话介绍你自己”回复逐字流式输出就说明环境就绪了。 跑通后的两个实战动作自定义角色打开 user_data/characters/Example.yaml只改三处——name角色名、greeting开场白、context人设描述保存后角色就会出现在 Chat 的角色选择框里对话风格立刻跟着你写的人设走。长文写作 调参Notebook选项卡是一块纯文本工作台文本自动保存适合写文档草稿逻辑在 modules/ui_notebook.py。生成效果在Parameters选项卡调逻辑在 modules/ui_parameters.py两个最关键的旋钮temperature控制随机性事实问答给 0.1–0.3创意写作给 0.7–1.0top_p常用 0.95参考 user_data/presets/Top-P.yaml越低输出越保守。改动即时生效不用重启调满意后存成 preset下次一键加载。❓ 高频问答Q模型放进去了Model 选项卡不显示A路径必须在user_data/models下多文件模型要确认config.json和所有分片齐全。 验证Model 选项卡下拉列表里能否看到文件名。Q加载失败、启动报错A头号原因是文件损坏或只下了一半。 验证对照来源站核对文件大小重新下载一次。QPython 版本对不上、依赖装不全A别混用系统 Python用脚本自带的 Conda 环境或按硬件选对 requirements/full/ 下的文件CPU 用户选requirements_cpu_only.txt再pip install -r 对应文件 --upgrade补装。 验证重跑 start_ 脚本看依赖检查是否顺利通过。Q纯 CPU 跑得慢A换 GGUF 格式走 llama.cpp 后端配 4bit 或 8bit 量化。 验证同一句话对比量化前后的每秒生成 token 数。Q怎么装 TTS 之类的扩展A把扩展文件夹放进user_data/extensions启动时传--extensions 扩展名现成例子在 extensions/。 验证界面里是否出现对应功能的按钮或输入区。Q报错怎么定位A终端往回翻到第一个 TracebackDocker 用户执行docker compose logs。 验证第一条错误指向哪个阶段就能确定是装依赖、载模型还是生成环节的问题。收尾装环境、丢模型、发一句话三步闭环就是本地部署大模型的全部门槛。下一步很明确挑一个 7B 的 GGUF 模型放进user_data/models开始你的第一段对话。更多细节可翻 docs/ 目录里的分主题文档。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

MonoGame 跨平台游戏开发:30 分钟写出一个能动的方块
MonoGame 跨平台游戏开发:30 分钟写出一个能动的方块

MonoGame 跨平台游戏开发:30 分钟写出一个能动的方块 【免费下载链接】MonoGame One framework for creating powerful cross-platform games. 项目地址: https://gitcode.com/gh_mirrors/mo/MonoGame 你手上有一个很小的创意:一个方块在窗口里移… · 2026/11/3 20:01:05

uCore SecureBoot进阶实战:MOK签名密钥导入全解,解锁NVIDIA与ZFS内核模块
uCore SecureBoot进阶实战:MOK签名密钥导入全解,解锁NVIDIA与ZFS内核模块

【免费下载链接】ucore An OCI base image of Fedora CoreOS with batteries included 项目地址: https://gitcode.com/gh_mirrors/uco/ucore 点击查看 免费下载 uCore 是一个"自带电池"的 Fedora CoreOS OCI 镜像。在开启 SecureBoot 的 UEFI 主机上&am… · 2026/11/3 19:59:01

3分钟摸清代码统计:Tokei 新手命令实用指南
3分钟摸清代码统计:Tokei 新手命令实用指南

3分钟摸清代码统计:Tokei 新手命令实用指南 【免费下载链接】tokei Count your code, quickly. 项目地址: https://gitcode.com/gh_mirrors/to/tokei Tokei 是一款用 Rust 编写的代码行数统计命令行工具:递归扫描目录,按语言输出文件数… · 2026/11/2 18:52:48

Firefox中文语言包安装与失效排查:版本匹配与多平台配置
Firefox中文语言包安装与失效排查:版本匹配与多平台配置

帮别人装浏览器这种事我干过不少回,最常被追问的一句话就是——为什么装完之后界面还是英文的?Firefox 中文语言包的安装方法看着简单,真动手的时候却总在几个地方卡住:语言包版本差一位装不上、xpi 文件拖进去没反应、装完重启还… · 2026/11/3 20:01:37

Yarn多平台安装指南与工程化实践
Yarn多平台安装指南与工程化实践

1. Yarn安装前的必要认知作为一名长期使用Node.js生态的前端开发者,我深刻体会到包管理工具的重要性。Yarn作为npm的替代方案,其核心价值在于确定性的依赖管理和卓越的安装速度。在开始安装前,我们需要明确几个关键点:Yarn的版本体… · 2026/11/3 20:01:37

RabbitMQ核心概念与高可用架构实战指南
RabbitMQ核心概念与高可用架构实战指南

1. RabbitMQ 核心概念解析RabbitMQ作为AMQP协议最成熟的实现方案,本质上是一个面向消息的中间件(MOM)。它采用Erlang语言开发,这种天生支持高并发的函数式语言赋予了RabbitMQ卓越的吞吐能力——单节点实测可达每秒数万级消息处理。… · 2026/11/3 20:01:37

RabbitMQ消息队列:核心概念与实战应用指南
RabbitMQ消息队列:核心概念与实战应用指南

1. RabbitMQ核心概念解析RabbitMQ是一个开源的消息代理和队列服务器,基于AMQP(高级消息队列协议)实现。它就像邮局系统一样工作:生产者(发送方)将消息投递到RabbitMQ服务器(邮局)&am… · 2026/11/3 20:01:37

动态规划解决股票买卖问题:原理与Python实现
动态规划解决股票买卖问题:原理与Python实现

1. 动态规划在股票买卖问题中的应用价值股票买卖时机选择一直是投资者面临的核心难题。121题"买卖股票的最佳时机"作为算法领域的经典问题,完美展示了动态规划在金融决策中的强大能力。这道题要求我们在只允许一次买卖操作的限制下,找到能获得… · 2026/11/3 20:01:37

EtherCAT从站控制器LAN9252原理与工程实践解析
EtherCAT从站控制器LAN9252原理与工程实践解析

简介:这份PDF培训材料面向工业自动化、嵌入式控制与工业互联网方向的学习者和工程师,围绕EtherCAT实时以太网协议及Microchip LAN9252从站控制器展开,适合需要理解从站开发、网络通信与实时同步机制的读者。内容从EtherCAT的周期时间、低抖动… · 2026/11/3 20:00:36

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 6:04:24

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 5:52:46

STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战
STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题
ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践
基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 6:04:24

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 5:52:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码