首页/新闻资讯/正文详情

(oobabooga )本地 AI 搭建

发布时间:2026/11/5 7:41:49 来源:云帆数科 栏目:资讯中心
(oobabooga )本地 AI 搭建
系列文章目录提示这里可以添加系列文章的所有文章的目录目录需要自己手动添加例如第一章 Python 机器学习入门之pandas的使用提示写完文章后目录可以自动生成如何生成可参考右边的帮助文档文章目录系列文章目录描述安装方案选项 1便携式构建从这里开始选项 2一键安装程序一、使用 Conda 手动安装二、使用步骤1.引入库2.读入数据总结描述文本生成 Web UI用于大型语言模型的 Gradio Web UI。其目标是成为文本生成的AUTOMATIC1111/stable-diffusion-webui 。尝试 Deep Reason 扩展● 在一个 UI/API 中支持多个文本生成后端包括llama.cppTransformersExLlamaV3ExLlamaV2和TensorRT-LLM后者通过其自己的Dockerfile。● 轻松设置在 Windows/Linux/macOS 上为 GGUF 模型选择便携式版本零设置只需解压缩并运行或者选择创建自包含installer_files目录的一键安装程序。● 100% 离线和私密无需遥测、外部资源或远程更新请求。● 使用 Jinja2 模板自动格式化提示符。您无需担心提示符的格式。● 文件附件上传文本文件和PDF文档讲述其内容。● 网络搜索可选择使用 LLM 生成的查询搜索互联网为对话添加上下文。● 具有深色和浅色主题的美观用户界面。● instruct用于遵循指令的模式如 ChatGPT和chat-instruct用于chat与自定义角色交谈的模式。● 随时编辑消息、在消息版本之间导航以及分支对话。● 多种采样参数和生成选项用于复杂的文本生成控制。● 无需重新启动即可在 UI 中切换不同模型。● GGUF 模型的自动 GPU 层在 NVIDIA GPU 上。● 在默认/笔记本选项卡中生成自由格式的文本而不仅限于聊天轮次。● 与 Chat 和 Completions 端点兼容的 OpenAI API包括工具调用支持 - 参见示例。● 扩展支持提供大量内置和用户贡献的扩展。详情请参阅wiki和extensions 目录。安装方案选项 1便携式构建从这里开始无需安装 – 只需解压并运行。兼容 Windows、Linux 和 macOS 上的 GGUF (llama.cpp) 模型。下载地址https://github.com/oobabooga/text-generation-webui/releases选项 2一键安装程序克隆或下载存储库。运行与您的操作系统匹配的脚本start_linux.shstart_windows.bat或start_macos.sh。当系统询问时请选择您的 GPU 供应商。安装完成后浏览至http://localhost:7860。玩得开心稍后要重新启动 Web UI只需运行相同的start_脚本即可。如果需要重新安装请删除installer_files安装期间创建的文件夹然后再次运行该脚本。您可以使用命令行标志例如./start_linux.sh --help或将其添加到user_data/CMD_FLAGS.txt例如–api启用 API 使用。要更新项目请运行update_wizard_linux.shupdate_wizard_windows.bat或update_wizard_macos.sh。设置详细信息和有关手动安装的信息一、使用 Conda 手动安装如果您有使用命令行的经验推荐使用1.安装Condahttps://docs.conda.io/en/latest/miniconda.html2.在 Linux 或 WSL 上可以使用这两个命令自动安装源curl-sLhttps://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.shMiniconda3.shbashMiniconda3.sh3.创建新的conda环境conda create-ntextgenpython3.11conda activate textgen4.安装Pytorch二、使用步骤1.引入库代码如下示例import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings(ignore)import ssl ssl._create_default_https_contextssl._create_unverified_context2.读入数据代码如下示例datapd.read_csv(https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv)print(data.head())该处使用的url网络请求的数据。总结提示这里对文章进行总结例如以上就是今天要讲的内容本文仅仅简单介绍了pandas的使用而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

相关推荐

Codium-ai PR-Agent Pro版本深度解析:企业级代码审查解决方案
Codium-ai PR-Agent Pro版本深度解析:企业级代码审查解决方案

Codium-ai PR-Agent Pro版本深度解析:企业级代码审查解决方案 【免费下载链接】pr-agent 🚀 PR Agent: The Original Open-Source PR Reviewer. This project is not the Qodo free tier. 项目地址: https://gitcode.com/GitHub_Trending/pr/pr-agent … · 2026/11/5 7:41:49

faster-whisper 安装教程:转录提速 4 倍
faster-whisper 安装教程:转录提速 4 倍

faster-whisper 安装教程:转录提速 4 倍 【免费下载链接】faster-whisper Faster Whisper transcription with CTranslate2 项目地址: https://gitcode.com/GitHub_Trending/fa/faster-whisper faster-whisper 是 OpenAI Whisper 基于 CTranslate2 的加速重实… · 2026/11/5 7:40:48

Appium Device Farm Dashboard使用指南:5大功能实时掌握会话、构建与设备状态
Appium Device Farm Dashboard使用指南:5大功能实时掌握会话、构建与设备状态

【免费下载链接】appium-device-farm This is an Appium 2.0 plugin designed to manage and create driver sessions on available devices. 项目地址: https://gitcode.com/gh_mirrors/ap/appium-device-farm 点击查看 免费下载 Appium Device Farm 是一个 Appiu… · 2026/11/5 7:40:48

预期功能安全SOTIF:无故障车辆为何仍会撞人?
预期功能安全SOTIF:无故障车辆为何仍会撞人?

简介:面向智能网联汽车功能安全从业者、系统与软件工程师及高校相关专业学习者,这份资料提供预期功能安全(SOTIF)领域的核心标准文本,重点解决自动驾驶与辅助驾驶系统在无故障情况下因性能局限、感知偏差和算法约束而引… · 2026/11/5 8:33:14

智能驾驶中的鸟瞰视角(BEV)技术解析与应用实践
智能驾驶中的鸟瞰视角(BEV)技术解析与应用实践

1. 鸟瞰视角在智能驾驶中的核心价值在智能驾驶系统中,鸟瞰视角(BEV,Birds Eye View)技术正逐渐成为环境感知的关键组成部分。与传统的前视或环视摄像头相比,鸟瞰视角通过将多个摄像头的图像拼接并投影到俯视平面&#… · 2026/11/5 8:33:14

vLLM分布式数据并行原理与调优实践
vLLM分布式数据并行原理与调优实践

1. 项目背景与核心概念 在大模型推理领域,分布式并行技术是突破单卡显存限制的关键手段。最近在调试一个基于vLLM框架的分布式数据并行(DP)实现时,遇到了几个典型问题。这里记录下vLLM中DP并行的实现原理、常见问题及解决方案。 vLLM作为当前最流行的高… · 2026/11/5 8:33:14

MySQL内置函数实战技巧与性能优化指南
MySQL内置函数实战技巧与性能优化指南

1. MySQL内置函数全面解析作为一名长期与MySQL打交道的开发者,我发现很多刚入门的同行对内置函数的理解仅限于表面用法。今天我将结合多年实战经验,深度剖析MySQL最常用的四类内置函数,带你掌握那些官方文档里没写的实用技巧。2. 日期函数实战… · 2026/11/5 8:33:14

0-1 BFS算法在水质检测最短路径问题中的应用
0-1 BFS算法在水质检测最短路径问题中的应用

1. 问题背景与算法选型蓝桥杯竞赛中的"水质检测"问题是一个典型的图论最短路径问题。题目通常描述为:给定一个NM的网格地图,其中某些网格是污染源(障碍物),检测员需要从起点出发,找到到达目标点的… · 2026/11/5 8:33:14

高效会议互动设计:10个实战方案提升40%会议效率
高效会议互动设计:10个实战方案提升40%会议效率

1. 会议互动环节设计的核心价值会议冷场和跑题是职场中最常见的两大痛点。根据我过去五年为37家企业设计会议流程的经验,传统会议模式中平均每小时的无效时间高达18分钟。而精心设计的互动环节能将会效提升40%以上,这个数据来自我们对实施新会议模式的23… · 2026/11/5 8:32:13

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

多智能体协作系统架构设计与实践优化
多智能体协作系统架构设计与实践优化

1. 多智能体协作系统的时代背景2017年Transformer架构的诞生彻底改变了人工智能的发展轨迹。当行业还沉浸在单一大模型带来的性能突破时,Anthropic的研究团队已经将目光投向了更前沿的领域——如何让多个智能体通过协作产生超越单体能力的系统智能。这就像交响乐团中… · 2026/11/5 0:00:39

大模型系统性入门实战指南:从原理到部署微调的全链路路线
大模型系统性入门实战指南:从原理到部署微调的全链路路线

提到大模型的系统性入门,我先说个结论:这事真不难,难的是资料太散、路线太多,今天这个框架明天那个工具,新人很容易在“收藏夹吃灰”和“教程看到一半放弃”之间反复横跳。市面上关于大模型的内容少说有几十万篇&#… · 2026/11/5 0:00:39

鸿蒙文件系统沙箱机制解析与开发实践
鸿蒙文件系统沙箱机制解析与开发实践

1. 鸿蒙文件系统沙箱机制深度解析作为一名从Android转向鸿蒙开发的工程师,我深刻体会到文件系统访问是迁移过程中最先遇到的"拦路虎"。在Android上运行良好的文件读写代码,在鸿蒙真机环境却频频出现文件写入后神秘消失或直接抛出权限拒绝错误的… · 2026/11/5 0:00:39

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码