什么是Unlimited-OCR-2？OCR-3.0时代百度无限文档解析模型完整指南

人工智能计算机视觉OCR多模态大模型【免费下载链接】Unlimited-OCR-2项目地址https://ai.gitcode.com/hf_mirrors/baidu/Unlimited-OCR-2点击查看免费下载Unlimited-OCR-2 是百度开源的超长文档解析模型OCR 模型主打无限长度文档解析整本几百页的书一次请求就能读完而且文档越长耗时和显存增长越平缓。本文用通俗语言讲清楚Unlimited-OCR-2 是什么、它凭什么无限、新手如何快速跑通它。为什么无限文档解析是个大痛点传统 OCR 和视觉语言模型处理文档时通常面临两个限制上下文窗口有限PDF 拆成一页页单独识别跨页的表格、公式、目录结构全部断掉计算量随长度暴涨注意力机制的开销随序列长度平方级增长几百页文档要么塞不下要么慢到不可用。Unlimited-OCR-2 的目标就是同时解决这两个问题——在一次请求内完成整本长文档的跨页解析。Unlimited-OCR-2 的三大核心特性1. SR-SWA让无限长变现实的稀疏注意力SR-SWASparse Reference Sliding Window Attention稀疏引用滑动窗口注意力是本次升级的核心。它把超长序列中文本与图像之间的注意力交互压缩成一个固定大小的工作参考集例如 512 个 token从而把计算复杂度锁住无论文档多长每一步解码的延迟和显存占用都几乎恒定。一句话理解模型不再从头读到尾而是只盯着一小块工作记忆边读边更新。相关实现可查看源码sparse_gather_triton.py、sparse_gather_e2e_triton.py 与模型主体 modeling_unlimitedocr.py。2. 从长文档到无限长度文档借助 SR-SWAUnlimited-OCR-2 在有限上下文窗口内实现了真正无界的文档解析实际消除了注意力随长度二次方扩展的内存瓶颈。README 中还展示了整本《Harry Potter》在一次请求中完成解析的演示回放。3. 超长文档解析性能 SOTA在数十页级基准如 MPDocBench和极端百页级基准如 MarathonDocBench百度同期发布的超长文档解析评测集上Unlimited-OCR-2 均取得领先成绩快速上手两种方式跑通 Unlimited-OCR-2Unlimited-OCR-2 支持Transformers适合快速验证和SGLang推荐用于生产服务两种推理方式模型以baidu/Unlimited-OCR-2加载配置见 config.json。方式一Transformers 快速体验先安装依赖推荐 Python 3.10 NVIDIA 80GB 显存级别的 GPUpip install torch2.13.0 torchvision pillow transformers4.52.1 huggingface-hub0.36.0 \ tokenizers0.21.4 addict2.4.0 einops0.8.2 easydict1.13然后加载模型并解析文档——多页文档的所有页面按页序传入模型会自动利用跨页上下文import torch from transformers import AutoModel, AutoTokenizer model_name baidu/Unlimited-OCR-2 tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModel.from_pretrained(model_name, trust_remote_codeTrue, use_safetensorsTrue, torch_dtypetorch.bfloat16) model model.eval().cuda() # 多页解析整份文档一次请求输出按页序对应 pages [fyour_doc/page_{i}.jpg for i in range(1, 8)] text, num_tokens model.infer_multi(tokenizer, image_filespages, output_pathoutput/multi, save_resultsTrue) # 单页解析默认使用动态切片gundam 模式 text model.infer(tokenizer, image_fileyour_doc/page_1.jpg, output_pathoutput/single, save_resultsTrue)两个关键接口值得记一下接口场景说明infer_multi多页/整本解析所有页面按页序一次传入自动构建跨页上下文 promptinfer单页解析默认动态切片编码gundam 模式细节更清晰方式二SGLang 部署生产级推理服务生产环境建议使用官方提供的定制 SGLang 轮子见 wheel/sglang-0.5.20.dev13g75b9b06b02-py3-none-any.whl步骤如下uv venv --python 3.10 source .venv/bin/activate uv pip install wheel/sglang-0.5.20.dev13g75b9b06b02-py3-none-any.whl uv pip install pymupdf1.27.2.2 fastokens0.3.2配置好页窗口page window等环境变量后用python -m sglang.launch_server启动服务即可通过OpenAI 兼容 API/v1/chat/completions提交图片请求解析文档方便接入现有业务。详细的内存调优参数如--mem-fraction-static、页窗口大小完整说明见 README.md。 小贴士整份 PDF 可先用 PyMuPDF 以 300 DPI 转成页面图片再送入模型这是官方示例的推荐做法。技术资料与模型文件说明想深入了解原理仓库中提供了完整技术资料 技术报告Unlimited-OCR-2.pdf 官方说明文档README.md 模型主实现modeling_unlimitedocr.py解析接口infer/infer_multi均在此️ 底层架构实现modeling_deepseekv2.py、configuration_deepseek_v2.py⚙️ 模型配置config.json含稀疏注意力page_token_id等参数、generation_config.json 分词器tokenizer.json、tokenizer_config.json、special_tokens_map.json 权重文件model-00001-of-00002.safetensors、model-00002-of-00002.safetensors权重索引见 model.safetensors.index.json模型基于 MIT 许可证发布支持多语言输入image-text-to-text pipeline。谁应该用 Unlimited-OCR-2需要整本解析的用户合同、论文、书籍等百页级文档一次请求拿全上下文文档数字化业务方通过 SGLang 服务批量处理 PDF稳定低延迟OCR 研究开发者SR-SWA 稀疏注意力是一个值得研究的超长序列优化方案代码完整开源可参考。总结一下Unlimited-OCR-2 用 SR-SWA 把文档越长越贵变成了文档多长都差不多是 OCR-3.0 时代无限文档解析的标杆开源方案。从 Transformers 三行代码快速验证到 SGLang 生产部署上手路径都很清晰——现在就可以克隆仓库用你手边的一份长 PDF 试试它的解析效果。赞分享人工智能计算机视觉OCR多模态大模型【免费下载链接】Unlimited-OCR-2项目地址https://ai.gitcode.com/hf_mirrors/baidu/Unlimited-OCR-2点击查看免费下载相关推荐Unlimited-OCR-2-6bit为什么霸榜文档OCRUnlimited-OCR-2系列评测与榜单解读Unlimited OCR 2 6bit为什么霸榜文档OCRUnlimited OCR 2系列评测与榜单解读 Unlimited OCR 2 6bit 是百度人工智能多模态计算机视觉OCR模型量化本地部署Unlimited-OCR-2-6bit完全指南百度多页文档解析OCR大模型6-bit量化后在Mac上也能跑Unlimited OCR 2 6bit完全指南百度多页文档解析OCR大模型6 bit量化后在Mac上也能跑 Unlimited OCR 2 6bit 是百人工智能多模态计算机视觉OCR模型量化本地部署Donut vs 传统OCR为什么无OCR的文档理解是未来趋势Donut vs 传统OCR为什么无OCR的文档理解是未来趋势 在人工智能快速发展的今天文档理解技术正在经历一场革命性的变革。DonutDocument计算机视觉NLP深度学习上一篇【永久免费】如何快速铺出点读笔OID码免费生成OID2/OID3码的完整指南下一篇【纯免费分享】Altium Designer 完整中文PDF教程从原理图到PCB一本搞定创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考