LangFlow + Ollama 搭建本地知识库 RAG 应用完整指南

这次我们来看一个 LangFlow Ollama 搭建本地知识库 RAG 应用的完整流程。核心目标不是讲概念而是把一套运行在本地、可私有部署的知识库问答系统跑起来并且以“健康档案私有知识库”作为落地场景。整个流程不需要写业务代码LangFlow 提供可视化画布Ollama 负责加载本地开源大模型RAG 负责让模型基于私有文档回答。重点看三件事能不能在普通电脑上跑、启动部署麻不麻烦、检索问答效果是否可用。健康档案这类数据有一个天然要求不能随便传到公网 API。而 LangFlow Ollama 的方案把知识库、向量检索、模型推理全放在本地数据不出内网文档入库和问答检索都在本地完成适合有条件做私有化部署的团队或个人。先给结论这是一套值得尝试的本地 RAG 落地组合门槛不高分支在于模型选型和显存容量。本篇文章会带你完成 Ollama 安装、模型下载、LangFlow 启动、工作流搭建、效果验证、API 调用和批量任务设计最后给出问题排查清单。1. 核心能力速览能力项说明项目类型本地知识库 RAG 应用可视化工作流编排核心组件LangFlow工作流编排 Ollama本地模型推理 RAG检索增强生成主要功能文档加载、文本切分、向量化、相似度检索、基于私有文档的问答开发方式0 代码拖拽组件连线完成数据存储本地向量库 原始文档目录数据不出本机模型来源Ollama 模型库中的开源本地模型可离线部署启动方式命令行启动 Ollama 服务与 LangFlow 服务浏览器访问 WebUI是否支持 API支持LangFlow 可生成 API 请求地址与 Python 代码是否支持批量任务支持可通过 Python 脚本批量调用 Flow 接口处理多份文档硬件门槛根据所选模型而定小参数量模型可在普通 CPU/低显存显卡运行大参数量模型建议独立显卡并预留足够显存适合场景企业私有知识库、档案检索、医疗健康资料本地问答、内部文档问答、离线环境知识服务从表格可以看出这个方案最核心的价值是“私有化”和“可视化”。Ollama 解决了模型加载和管理问题LangFlow 解决了组件编排问题RAG 解决了“模型如何基于本地文档回答”的问题。三者的组合让非算法背景的开发者也能在较短时间内完成一套本地知识库应用。2. 适用场景与使用边界2.1 适合谁这套组合适合四类人群。第一类企业内部开发者。公司有内部文档、制度文件、技术手册不想把这些内容发送到公网大模型 API希望搭一个内部问答机器人。LangFlow 的可视化画布可以快速搭建原型后期再交给后端工程化。第二类医疗健康相关从业者。健康档案、病历摘要、体检报告解释、营养建议资料等敏感度较高本地部署可以避免数据外传。需要注意健康数据的收集、存储和使用必须符合法律法规和伦理要求必须有明确的授权和合规评估。第三类个人知识管理用户。积累了大量 PDF、Markdown、网页剪藏希望用自然语言检索自己的资料库。单机部署 Ollama LangFlow 足够成本取决于模型大小。第四类RAG 技术学习者。想理解文档加载、文本切分、Embedding、向量检索、Prompt 组装这几步到底是怎么串起来的LangFlow 可以把每一步可视化拆开学习效率比较高。2.2 不适合什么场景对问答实时性要求特别高的在线业务不适合直接拿这套默认配置上线。LangFlow 更偏工作流原型的快速搭建生产环境通常需要把向量检索和模型服务拆成独立微服务加上监控、限流、权限控制。千万级以上的文档规模也需要先评估。Ollama 负责模型推理向量检索和文档处理由 LangFlow 内的组件完成超大规模知识库要考虑专门的向量数据库和分布式检索而不是单机可视化流程。2.3 使用边界与合规要求健康档案类数据属于敏感个人信息。搭建演示系统时建议使用脱敏后的模拟数据如果要处理真实健康数据必须确认数据来源合法、处理有明确授权、存储和访问有权限控制。不要上传未经授权的真实患者信息到任何服务即使是本地服务也要防止内网内未授权访问。涉及模型的输出内容也需要审核。大模型生成的内容可能包含幻觉健康档案问答结果不能直接作为医疗结论只能作为资料检索辅助最终判断必须由专业人员完成。同时本地部署虽然避免数据发送到公网但模型本身的开源协议、训练数据来源、商用限制也要在使用前确认。3. 方案技术栈与 RAG 工作原理在动手部署之前先把三个组件的分工说清楚。3.1 Ollama 是什么Ollama 是一个本地大模型运行工具负责模型的下载、启动和调用。通过简单的命令行就可以把开源模型拉取到本地并运行推理。它暴露了 REST API默认端口通常是 11434LangFlow 通过这个 API 调用本地模型完成对话和 Embedding。Ollama 的好处是屏蔽了模型推理的底层复杂性同时支持 CPU 和 GPU 运行模型量化版本也能在普通设备上跑。3.2 LangFlow 是什么LangFlow 是一个基于 LangChain 生态的可视化低代码工具。它把文档加载、文本分割、Embedding、向量存储、检索、Prompt 模板、模型调用等节点做成可视化组件用户通过拖拽和连线定义数据流。LangFlow 运行后提供 WebUI工作流可以导出为 JSON也可以生成 API 供外部调用。3.3 RAG 解决什么问题RAG 的思路是不直接让大模型凭空回答而是先从私有文档库中检索相关内容再把检索结果拼进 Prompt让模型基于给定材料作答。这样能缓解大模型不知道私有知识的问题也能减少胡编乱造。整个流程在 LangFlow 中体现为一条数据流水线文档入库 - 文本切分 - 向量化 - 存储 - 检索 - 组装 Prompt - 模型生成。这里有一个容易被混淆的概念RAG 和 MCP。RAG 解决的是“让模型读到私有知识”MCPModel Context Protocol解决的是“让模型调用外部工具”。两者定位不同实践中也可以配合使用但本文重点是 RAG。如果你之前听说的是 Dify 做本地知识库Dify 和 LangFlow 都属于可视化构建工具但 LangFlow 更贴近 LangChain 原生组件组件粒度更细适合学习 RAG 的每个中间步骤。4. 环境准备与前置条件4.1 硬件与系统要求由于没有统一的模型大小先说通用底线。操作系统Windows 10/11、Ubuntu 20.04、macOS 均可。LangFlow 基于 PythonOllama 官方支持主流平台。CPU建议 4 核以上。小模型1B3B 量级在 CPU 上可以运行但响应较慢。内存建议 16GB 起步32GB 更稳妥。模型推理、向量化、WebUI 服务都会占用内存。显卡NVIDIA 显卡优先显存越大越好。4GB8GB 显存建议测试 7B 量级量化模型更大参数模型需要更高显存。AMD 显卡在 Ollama 部分版本中也逐步支持但稳定性需以官方说明为准。磁盘空间Ollama 模型文件通常从几百 MB 到几十 GB 不等建议预留 30GB 以上空间。网络环境首次拉取 Ollama 安装包和模型需要网络连接。国内网络环境下模型下载速度可能不稳定可以关注 Ollama 的国内镜像加速配置设置模型下载镜像地址后重启服务。4.2 软件依赖软件作用说明Python 3.10运行 LangFlow建议使用虚拟环境隔离依赖Ollama本地模型管理与推理服务安装后需要启动服务Git可选用于拉取示例配置如果没有可以跳过浏览器访问 LangFlow WebUIChrome/Edge 均可需要说明的是Ollama 自身是一个独立程序不依赖 Python 环境LangFlow 是 Python 包建议在 venv 或 conda 环境中安装避免和系统 Python 环境冲突。5. 安装 Ollama 并下载本地模型5.1 安装 OllamaWindows 直接下载 Ollama 官方安装包安装。Linux 和 macOS 可以执行官方安装脚本也可以从官网下载对应平台安装包。安装完成后在终端确认版本。# 确认 Ollama 是否安装成功 ollama --version如果命令不可用检查安装路径是否已加入 PATH。Windows 下安装后通常会自动配置环境变量Linux 下需要按安装提示完成配置。5.2 启动 Ollama 服务安装完成后启动 Ollama 服务。大多数情况下安装程序会默认后台启动也可以手动启动。# 前台启动 Ollama 服务 ollama serve启动成功后Ollama 会监听 11434 端口。可以用如下方式确认服务状态。# 查看 Ollama 版本信息确认服务可用 curl http://127.0.0.1:11434如果返回内容中包含 Ollama 版本信息说明服务已启动。5.3 下载本地模型Ollama 通过模型库名称拉取模型。对话模型可以选择 Qwen 系列Embedding 模型可以选择 nomic-embed-text、bge-m3 等具体以 Ollama 模型库中可用的 tag 为准。建议先用小模型跑通流程再根据效果和机器性能切换更大模型。# 拉取中文对话模型示例实际模型名以 ollama 模型列表为准 ollama pull qwen2.5:7b # 拉取嵌入模型用于文档向量化 ollama pull nomic-embed-text模型下载完成后可以通过ollama list查看本地模型列表。首次下载大模型耗时较长国内网络环境下如果速度过慢可以配置镜像加速后重新拉取。6. 安装 LangFlow 并启动服务6.1 创建 Python 虚拟环境建议为 LangFlow 单独创建一个虚拟环境避免污染全局环境。# 以 venv 为例实际 Python 路径需要按本机环境调整 python -m venv langflow-env source langflow-env/bin/activateWindows 下激活命令不同langflow-env\Scripts\activate6.2 安装 LangFlow在虚拟环境中安装 LangFlow建议使用 pip。pip install langflowLangFlow 依赖较多安装过程可能持续几分钟。安装完成后启动服务。python -m langflow run启动成功后终端会打印访问地址。浏览器打开该地址即可看到 LangFlow 可视化画布。默认端口通常是 7860 或由启动参数指定具体以终端输出为准。如果端口被占用可以显式指定端口启动python -m langflow run --port 78616.3 验证 LangFlow 是否连通 Ollama在 LangFlow 画布中拖入一个 LLM 组件模型供应商选择 Ollama模型名称填写已下载的模型名称连接地址填写http://127.0.0.1:11434。连线到输出组件后运行如果能返回正常文本说明 LangFlow 和 Ollama 已经连通。这一步很关键后续的 RAG 工作流都建立在模型可用的基础上。7. 健康档案文档准备与知识库入库RAG 的效果高度依赖文档质量。健康档案类数据要先做脱敏和清洗再入库。7.1 文档格式选择LangFlow 的文档加载组件通常支持 TXT、PDF、Markdown 等格式。健康档案模拟数据可以是体检报告脱敏文本、健康科普资料、药品说明、饮食建议文档等。建议先准备 510 份文本内容规范的文档文件不要过大控制在几 KB 到几百 KB 之间方便观察切分效果。7.2 文档处理规范以下是通用建议不针对具体组件去掉页眉页脚、重复水印、表格碎片。保留结构化标题方便后续切分时保留语义。健康数据字段姓名、身份证号、联系方式等在测试阶段统一替换为脱敏占位符。中文场景下文档编码建议使用 UTF-8避免乱码。7.3 入库流程在 LangFlow 中文档入库一般遵循“加载 - 切分 - 向量化 - 存储”的步骤。先放一个文档加载组件指定文档路径再接文本切分组件设置块大小和重叠字符数然后接 Embedding 组件选择 Ollama 的 Embedding 模型最后接到向量存储组件。运行一次之后向量数据就会写入本地存储。中文知识库的切分是一个值得多调试的地方。切块过小会造成上下文不完整切块过大会稀释检索相关性。一般可以先用 300500 字符作为切分单位重叠 50100 字符再根据问答效果反向调整。不同组件的参数名称可能有差异建议先跑通默认参数再逐步优化。7.4 验证向量入库成功向量入库后可以单独测试检索。接入检索组件输入一个查询语句看返回的文档片段是否相关。如果返回结果和查询无关优先检查 Embedding 模型选型、切分参数和文档加载结果。LangFlow 的组件输出面板可以直接预览每一步的数据可以利用这一点分段排查。8. 可视化搭建 RAG 问答工作流8.1 工作流总体结构一个可用的 RAG 问答流至少包含以下节点用户问题输入 - 向量检索 - 组装 Prompt - 调用 Ollama 模型 - 输出回答。在 LangFlow 中可以用“输入组件 检索组件 Prompt 组件 LLM 组件 输出组件”的方式搭建。整体思路是用户输入问题后先通过向量检索得到相关文档片段把片段和问题一起填入 Prompt 模板再由 Ollama 模型生成最终回答。8.2 分步搭建过程第一步拖入用户输入组件用于接收问题文本。第二步拖入向量检索相关组件选择已经入库的知识库。如果此前已经把向量存储好这里只需要连接已有的向量库不需要重新入库。第三步拖入 Prompt 组件设置一个包含“检索资料”和“用户问题”变量的模板。模板可以根据场景调整健康档案场景下可以加入“仅根据给定资料回答不要编造”的约束。第四步拖入 Ollama 模型组件模型选择已下载的对话模型配置连接地址。第五步连线到输出组件运行整个流。一个标准的 Prompt 模板参考如下实际变量名需要匹配 LangFlow 组件的字段名你是健康档案知识库助手。 请根据以下资料回答用户问题。如果资料中没有相关信息请明确说明。 资料 {context} 用户问题 {question}8.3 每步组件的作用整个工作流中有几个关键节点需要重点理解文本切分节点负责控制检索粒度Embedding 节点决定文档和问题如何在向量空间中被表达向量存储节点决定检索速度和召回质量Prompt 节点决定模型回答的约束程度模型节点决定回答风格与能力上限。常见的主流程里“资料检索”和“模型回答”是两段独立的逻辑。也可以把入库流程和问答流程放在同一个项目中但更推荐分开入库流程只在新增资料时运行问答流程保持轻量。8.4 工作流保存与运行在 LangFlow 画布右上角可以保存工作流。运行后在输入组件中填写测试问题观察输出结果。如果回答为空或报错先检查 LLM 组件是否连通 Ollama再检查检索组件是否返回了文档片段最后看 Prompt 变量是否被正确填充。9. 功能测试与效果验证9.1 测试用例维度测试维度测试目的基础问答验证工作流能否正常返回回答文档溯源验证模型回答是否基于知识库内容未见信息反问验证模型能否正确承认不知道多文档检索验证跨文档信息整合能力专业术语问答验证健康档案场景相关概念的理解中文长文本验证切分与检索的稳定性连续多轮验证对话组件在多轮场景下的可用性9.2 基础问答测试在输入组件中填写一个与文档内容直接相关的问题例如“体检报告中空腹血糖正常范围是多少”。如果知识库中有对应内容回答应该包含具体数值或范围并且表述和文档内容一致。运行后检查两个地方检索组件是否返回了相关片段模型回答是否基于这些片段生成。9.3 文档溯源测试在 Prompt 中明确要求模型回答时标注来源或者把资料标题直接放入检索片段中。如果模型回答引用了知识库中的特定文档说明检索链路是通的。如果回答内容很泛、也没有指向具体资料可能是检索召回不准确也可能是 Prompt 约束不足。9.4 未见信息测试问一个知识库中没有的问题例如“去年的体检数据是多少”。好的 RAG 行为是明确回答“资料中未找到相关信息”而不是硬编一个数值。如果模型强行补全答案需要加强 Prompt 约束或者检查检索是否真的没有返回相关片段。9.5 中文切分效果检查抽取一篇结构清晰的中文文档在切分组件中查看每个块的原始文本。如果发现一个完整句子被切断、标题和正文分离、列表被打散需要适当调整切分块大小和重叠字符数。中文按字符切分和按语义切分效果差别较大建议多测试几个参数组合。9.6 判断成功标准一套本地知识库问答应用可以认为“跑通了”需要同时满足文档顺利入库检索能命中相关内容。模型能基于检索内容生成回答回答与资料高度相关。资料中没有的信息模型不会强行编造。延迟可以接受。普通家用电脑上小参数模型问答耗时从几秒到几十秒不等属于正常范围。10. 接口 API 与批量任务接入10.1 LangFlow 的接口能力LangFlow 运行的工作流可以对外暴露 API。保存工作流后LangFlow 会生成一个 API 调用地址同时提供对应的 Python 调用示例。这个能力很重要这意味着可视化流程不只是手工测试工具还可以被其他系统调用。接口调用一般需要两个信息API 地址和请求负载格式。请求负载中通常包含输入变量、对话 Session 等字段。需要注意不同 LangFlow 版本的接口路径和负载格式可能有差异以页面自动生成的示例为准。10.2 Python 调用示例模板下面是通过 Python requests 调用 LangFlow 接口的通用模板实际字段需要按页面生成的 JSON 结构调整。import requests # 接口地址以 LangFlow 页面生成的地址为准 api_url http://127.0.0.1:7860/api/v1/run/your-flow-id # 负载结构以 LangFlow 生成的示例为准这里只展示常见字段 payload { input_value: 体检报告中血糖偏高需要关注什么, output_type: text, input_type: text } headers { Content-Type: application/json } response requests.post(api_url, jsonpayload, headersheaders, timeout120) print(response.json())如果返回结果中包含模型回答文本说明接口链路可用。可以把这个脚本接入企业微信机器人、内部网页、命令行工具等场景。10.3 批量任务设计批量处理健康档案类文档时建议准备一个输入目录和输出目录用脚本逐个调用工作流。因为 LangFlow 的检索和问答本身不是队列系统批量任务需要自己控制并发和失败重试。import os import time import requests input_dir ./health_docs output_dir ./answers api_url http://127.0.0.1:7860/api/v1/run/your-flow-id os.makedirs(output_dir, exist_okTrue) questions [ 这份档案的检查结果有什么异常项, 根据档案中的既往病史给出健康管理建议。, 档案中记录了几次复诊结果如何 ] for idx, question in enumerate(questions): payload { input_value: question, output_type: text, input_type: text } try: response requests.post(api_url, jsonpayload, headers{Content-Type: application/json}, timeout180) result response.json() output_path os.path.join(output_dir, fanswer_{idx}.txt) with open(output_path, w, encodingutf-8) as fp: fp.write(str(result)) print(f任务 {idx} 完成) except Exception as exc: print(f任务 {idx} 失败: {exc}) time.sleep(3)批量任务的建议控制并发数不要太高避免把本地模型和 LangFlow 服务打满每个任务加超时失败任务写入日志并单独重试健康数据处理前先确认授权。11. 资源占用与性能观察11.1 显存与内存观察方法运行本地模型时显存占用是核心观察指标。Windows 下可以使用任务管理器查看 GPU 显存Linux 下可以使用nvidia-smi查看。# 实时刷新显存占用 nvidia-smi -l 1Ollama 会将模型加载到显存或内存中。如果显存不足Ollama 可能退化为 CPU 推理响应速度会明显变慢。实际操作中可以先跑一个小参数模型观察推理速度和显存占用再逐步换更大的模型。具体显存数字以本机实际测试为准。11.2 影响性能的关键因素模型参数量是最主要因素。7B 量级量化模型在 8GB 显存显卡上通常可以运行但不同精度、不同上下文长度对显存影响很大。CPU 推理在小参数模型上可用速度偏慢。RAG 流程中文档切分和向量化入库属于一次性成本问答阶段主要耗时在向量检索和模型生成。向量检索在单机小库上通常很快模型生成往往是瓶颈。上下文越长、需要的生成内容越多耗时越长。11.3 降低资源占用的常见策略选择量化模型或更小参数模型。控制文本切分块大小避免单次输入过长。减少并发请求数避免多个推理任务同时占用显存。批量任务在非高峰期运行。关闭不必要的 LangFlow 项目和浏览器标签页。限制 Ollama 的上下文长度减少显存占用。还需要注意端口冲突和进程残留。多个 Python 服务或 Ollama 实例同时运行可能导致端口占用或显存无法释放。查看端口占用可以用下面的命令。# Linux/macOS lsof -i :11434 lsof -i :7860 # Windows netstat -ano | findstr 786012. 常见问题与排查方法问题现象可能原因排查方式解决方案Ollama 安装后命令不可用环境变量未配置终端执行ollama --version手动加入 PATH 或重装模型下载速度慢或失败网络问题或镜像未配置查看下载日志配置 OLLAMA 镜像加速后重试LangFlow 启动后页面打不开端口被占用或启动异常查看终端日志检查端口占用指定新端口重启LLM 组件调用报错Ollama 服务未启动或模型未下载检查 11434 端口执行ollama list启动 Ollama拉取模型检索返回结果不相关Embedding 模型或切分参数不合适单独测试检索组件输出调整切分参数更换 Embedding 模型回答不基于知识库Prompt 约束弱或检索失败查看检索片段是否为空强化 Prompt修复检索链路显存不足导致推理慢模型过大或精度过高观察 nvidia-smi换小模型或量化版本中文回答乱码编码问题或模型不支持中文检查文档编码和模型语言能力使用 UTF-8选择中文模型接口调用返回格式不符请求负载字段不对对比 LangFlow 页面生成的 JSON 示例按实际负载格式修改脚本批量任务卡住并发过高或单任务超时查看任务日志降低并发增加超时和重试排查的基本原则是分段定位先确认 Ollama 服务正常再确认 LangFlow 组件连通再确认检索返回结果最后确认 Prompt 和模型输出。每一层都可以通过组件输出面板单独测试。13. 最佳实践与合规提醒13.1 工程化建议第一次跑通时不要追求大模型和复杂流程。建议先选一个小参数对话模型 一个嵌入模型用十份以内的文档跑通全链路确认检索和回答链路稳定后再逐步增加文档规模。目录结构建议如下health-kb/ ├── docs/ # 原始健康档案模拟文档 ├── processed/ # 清洗后的文档 ├── vector_store/ # 本地向量库目录 ├── scripts/ # 批量调用与测试脚本 └── logs/ # 运行日志LangFlow 工作流保存后建议保留一份 JSON 配置作为备份。修改工作流前先复制一份避免操作失误导致原有配置丢失。接口服务只绑定内网地址不要随意暴露到公网。Ollama 服务和 LangFlow 服务默认通常监听 127.0.0.1如果需要局域网访问要明确配置访问范围和访问控制防止未授权用户调用本地模型和知识库。涉及健康档案、人脸、声音、版权素材等敏感内容时必须确认数据来源合法、使用授权明确。本项目中的健康档案知识库仅用于合法授权的资料检索和辅助参考不构成医疗建议。批量处理前要对数据做脱敏输出结果需要人工复核。13.2 合规提醒不使用未经授权的真实健康数据搭建演示项目。不在未评估安全措施的情况下将接口暴露到公网。不将知识库问答结果直接作为临床诊断或处方依据。商用前确认模型开源协议、训练数据合规性以及相关法律合规要求。14. 总结与后续扩展LangFlow Ollama 是一套很适合作为本地知识库 RAG 起步方案的组合。LangFlow 用可视化画布把“文档加载、切分、向量化、检索、模型回答”串成一条链Ollama 用简单的命令管理本地模型RAG 让模型回答建立在私有资料之上。健康档案这类对数据私密性要求较高的场景本地部署的价值非常明显。整个方案中最先值得验证的是“文档入库和检索”是否正常。很多后续问题都出在这一步切分参数不对检索结果不准确Embedding 模型选型不当语义相关性差文档本身质量差检索片段杂乱。建议花最多时间调试这一环节。最容易踩的坑有三个模型下载速度慢、LangFlow 组件参数和当前版本不一致、模型回答不基于检索内容。前两个是环境和版本问题按日志排查基本能解决第三个需要在 Prompt 和检索质量上双向调整。后续扩展空间很大。可以引入更多文档类型增加 Web 抓取组件可以加入对话记忆组件做多轮问答可以接入外部向量数据库提升检索规模可以结合 MCP 协议让模型调用更多本地工具也可以把 LangFlow 生成的 API 接到企业 IM 机器人中做成团队内部知识助手。建议把这篇文章提到的流程先在模拟数据上完整跑一遍确认稳定后再考虑真实业务数据。把它收藏备用动手部署时才不会在环境配置上浪费太多时间。