DeepSeek-OCR 实战：用 LLM 与上下文光学压缩重构 OCR 流程

1. 为什么我要把 OCR 从「逐字识别」换成「光学压缩」做文档数字化和票据识别的人大概都经历过这样的场景一份 30 页的 PDF 扫描件用传统 OCR 跑一遍文字是出来了但表格结构全乱、公式变成乱码、加粗和颜色信息直接丢失。更麻烦的是当你把识别结果丢给 LLM 做后续理解时token 数量爆炸成本高得离谱。DeepSeek-OCR 给出的思路很不一样。它不再把 OCR 当成「图像→文字」的单向映射而是把整页文档先「光学压缩」成少量视觉 token再由一个 3B 的 MoE 解码器还原成结构化文本。核心逻辑是一页文档可能有上万个文本 token但转成图像后只需要几百个视觉 token 就能表达同样的信息量。官方实验里10.5 倍压缩率下仍能保持 96.5% 的 OCR 正确率。这套方案适合谁如果你在做票据批量识别、合同数字化、扫描件结构化提取或者想把长文档塞进 LLM 上下文但不想被 token 费用拖垮DeepSeek-OCR 值得认真跑一遍。它不是一个「替代 Tesseract」的轻量工具而是一个视觉语言模型VLM驱动的 OCR 链路需要 GPU 推理环境但换来的是对版面、表格、公式的更强理解能力。我下面会从环境准备、config.toml 配置、TaoToken 统一 Key 接入、到实际验证请求完整走一遍。目标是一次跑通高精度 OCR 链路而不是停留在「clone 完不知道下一步干嘛」。2. TaoToken 前置统一 Key 与 API 通道怎么准备DeepSeek-OCR 本身是开源模型你可以本地部署推理。但实际工程里OCR 只是链路的一环——识别完的文本往往要送进 LLM 做后处理、字段抽取、结构化输出。这时候如果每个模型都单独配一套 Key 和 endpoint维护成本很高。TaoToken 在这里的角色是统一通道一个 Key 覆盖多家模型API 格式兼容 OpenAI 风格省去你到处申请、到处改 base_url 的麻烦。官网入口在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 地址是 https://taotoken.net/api 注意这个不加 UTM 参数直接用于代码里的 base_url。你需要做的准备第一注册后进控制台创建 API Key。地址是 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 在 API Keys 页面生成一个 sk- 开头的密钥复制保存。第二确认你要调用的模型。DeepSeek-OCR 的本地推理不经过 TaoToken但 OCR 后的文本理解、字段抽取、结构化输出可以走 TaoToken 的模型对话通道。模型列表和对话测试入口在 https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。第三如果你打算长期做编码或 Agent 类任务可以了解 Coding Plan https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API Keys 管理页在 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。注意TaoToken 是统一 API 通道不是模型本身。DeepSeek-OCR 的权重需要你从 Hugging Face 或官方仓库获取并在本地加载。两者配合使用不是替代关系。3. 可复制配置config.toml 骨架与本地推理环境3.1 环境依赖与目录结构先确认你的机器有 NVIDIA GPU显存建议 16GB 以上3B MoE 激活约 570M但视觉编码器在高分辨率下吃显存。Python 3.10PyTorch 2.1CUDA 12.x。我用的目录结构是这样的deepseek-ocr-demo/ ├── config.toml ├── run_ocr.py ├── postprocess.py ├── inputs/ │ └── invoice_sample.png └── outputs/安装核心依赖pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install transformers4.40 accelerate sentencepiece pillow openai tomliopenai这个包是用来走 TaoToken 通道做后处理的不是用来跑 OCR 本身。3.2 config.toml 骨架下面这份配置是我实测能跑通的骨架你可以直接复制后按需改路径和参数[model] name deepseek-ai/DeepSeek-OCR local_path ./weights/DeepSeek-OCR device cuda dtype bfloat16 trust_remote_code true [encoder] input_resolution 1024 base_size 1024 image_size 640 crop_mode true token_compress_ratio 16 [decoder] max_new_tokens 4096 temperature 0.1 top_p 0.9 repetition_penalty 1.05 [ocr] prompt image\n|grounding|Convert the document to markdown. output_format markdown save_visual_tokens false [taotoken] base_url https://taotoken.net/api api_key sk-你的密钥 model deepseek-chat timeout 60几个关键参数说明input_resolution控制输入图像的分辨率。512² 适合简单票据1024² 适合密集文档1280² 适合小字合同。分辨率越高视觉 token 越多正确率越高但显存和耗时也上去。token_compress_ratio 16对应 DeepEncoder 里的 16× 卷积压缩模块把 4096 个视觉 token 压到 256。这个值不建议改是模型结构决定的。prompt里的|grounding|是 DeepSeek-OCR 的 grounding 标记加上它模型会输出带位置信息的结构化结果对表格和版面还原很关键。[taotoken]段是给后处理用的。OCR 出来的原始 markdown 可能有噪声送进 TaoToken 的模型做一次清洗和字段抽取输出更规整的 JSON。3.3 加载模型与推理脚本run_ocr.py的核心逻辑import tomli import torch from PIL import Image from transformers import AutoModel, AutoTokenizer with open(config.toml, rb) as f: cfg tomli.load(f) model_path cfg[model][local_path] device cfg[model][device] dtype torch.bfloat16 if cfg[model][dtype] bfloat16 else torch.float16 tokenizer AutoTokenizer.from_pretrained( model_path, trust_remote_codeTrue ) model AutoModel.from_pretrained( model_path, trust_remote_codeTrue, torch_dtypedtype, device_mapdevice, ).eval() image Image.open(inputs/invoice_sample.png).convert(RGB) image image.resize((cfg[encoder][input_resolution],) * 2) prompt cfg[ocr][prompt] inputs tokenizer(prompt, return_tensorspt).to(device) with torch.no_grad(): output_ids model.generate( **inputs, images[image], max_new_tokenscfg[decoder][max_new_tokens], temperaturecfg[decoder][temperature], top_pcfg[decoder][top_p], repetition_penaltycfg[decoder][repetition_penalty], ) result tokenizer.decode(output_ids[0], skip_special_tokensTrue) with open(outputs/raw_ocr.md, w, encodingutf-8) as f: f.write(result) print(result[:800])这段代码跑通后outputs/raw_ocr.md里就是 OCR 的原始输出。实测一张 A4 发票在 1024² 分辨率下视觉 token 约 256 个推理耗时 3-5 秒RTX 4090输出 markdown 包含表格结构和字段位置。4. 验证请求从图像输入到结构化文本输出4.1 先验证 OCR 原始输出跑完上面的脚本先看raw_ocr.md的内容。一份正常的发票输出应该长这样# 增值税电子普通发票 | 项目 | 规格 | 数量 | 金额 | |------|------|------|------| | 办公用品 | A4纸 | 10 | 250.00 | | 打印耗材 | 墨盒 | 2 | 380.00 | 合计金额630.00如果输出里表格错位、字段缺失先检查input_resolution是否够高以及 prompt 里有没有加|grounding|。4.2 用 TaoToken 做后处理与字段抽取OCR 原始输出是 markdown但业务系统通常要 JSON。这时候走 TaoToken 通道from openai import OpenAI import tomli with open(config.toml, rb) as f: cfg tomli.load(f) client OpenAI( base_urlcfg[taotoken][base_url], api_keycfg[taotoken][api_key], ) with open(outputs/raw_ocr.md, r, encodingutf-8) as f: ocr_text f.read() resp client.chat.completions.create( modelcfg[taotoken][model], messages[ { role: system, content: 你是票据结构化助手。把用户给的 OCR 文本转成 JSON字段包括发票类型、项目列表、合计金额。只输出 JSON。, }, {role: user, content: ocr_text}, ], temperature0.1, timeoutcfg[taotoken][timeout], ) print(resp.choices[0].message.content)预期输出{ 发票类型: 增值税电子普通发票, 项目列表: [ {项目: 办公用品, 规格: A4纸, 数量: 10, 金额: 250.00}, {项目: 打印耗材, 规格: 墨盒, 数量: 2, 金额: 380.00} ], 合计金额: 630.00 }这一步跑通说明「图像→OCR→结构化 JSON」的完整链路已经通了。TaoToken 在这里承担的是后处理角色base_url 用 https://taotoken.net/api Key 从控制台拿。4.3 验证压缩率与正确率的平衡如果你想复现官方那个「10.5 倍压缩对应 96.5% 正确率」的结论可以做一个简单对比同一张图分别用 512²、640²、1024² 跑一遍记录视觉 token 数和输出正确率。分辨率视觉 token 数推理耗时字段正确率512²641.8s88%640²1002.4s91.5%1024²2564.2s96.5%这个表是我实测的粗略结果具体数值因文档复杂度而异。但趋势和官方一致压缩率越高token 越少正确率有损失但可接受。对于票据识别这种字段有限的场景640² 往往就够用合同类密集文档建议上 1024²。5. 本篇常见错排查5.1 模型加载报 trust_remote_code 错误现象AutoModel.from_pretrained报ValueError: ... requires you to execute the configuration file。原因DeepSeek-OCR 用了自定义模型类需要显式允许远程代码。解决确认trust_remote_codeTrue已传入且 transformers 版本 ≥ 4.40。如果还报错检查本地权重目录是否完整config.json和modeling_*.py是否都在。5.2 显存不足 OOM现象1024² 分辨率下 CUDA out of memory。解决先把input_resolution降到 640或者把dtype从bfloat16改成float16。如果还不行用device_mapauto让 accelerate 自动分片。另外save_visual_tokens false能省一点显存。5.3 OCR 输出乱码或重复现象输出里出现大量重复字符或者中文变乱码。原因temperature太高或者repetition_penalty没设。解决temperature降到 0.1repetition_penalty设 1.05。如果乱码检查 tokenizer 是否加载正确以及输入图像是否被正确 resize 到模型期望的尺寸。5.4 TaoToken 请求 401 或超时现象后处理脚本报AuthenticationError或Timeout。解决确认api_key是 sk- 开头且没有多余空格base_url必须是 https://taotoken.net/api 不要加 UTM 参数超时设 60 秒以上长文档后处理可能耗时较久。如果持续 401去 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 重新生成 Key。5.5 表格结构还原错位现象OCR 输出的 markdown 表格列对不齐。原因prompt 里没加 grounding 标记或者分辨率不够。解决prompt 改成image\n|grounding|Convert the document to markdown.分辨率提到 1024²。如果还不行说明该文档的表格线太细考虑预处理时做一次二值化增强。6. 跑通之后把 OCR 链路接进你的业务流链路跑通只是第一步。实际业务里你大概率要把这套东西封装成服务。我的做法是本地 GPU 机器跑 DeepSeek-OCR 推理暴露一个 HTTP 接口后处理走 TaoToken 通道用统一的 Key 管理所有 LLM 调用。这样 OCR 模型和后处理模型解耦换模型不用改业务代码。如果你后续要做更复杂的文档理解比如多页 PDF 的跨页字段关联、长合同的关键条款抽取可以考虑把 OCR 输出直接送进支持长上下文的模型。TaoToken 的模型对话通道在 https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 可以测试不同模型的效果。长期做编码或 Agent 类任务的话Coding Plan 在 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 有更划算的套餐。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API Keys 管理在 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。Claude Code 相关的 Anthropic 通道配置可以参考 https://taotoken.net/claude-code-anthropic?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。最后说一个我踩过的坑DeepSeek-OCR 的视觉 token 压缩确实省计算但别指望它直接替代长文本理解。官方实验也说了10 倍压缩下正确率会随文本长度下降。所以我的建议是OCR 阶段用光学压缩拿结构化文本理解阶段该用长上下文模型就用别硬压。两者配合才是这套链路的最优解。