个人微信二次开发如何接入多模态AI？让微信机器人看懂图片与文件

纯文本机器人在微信场景里会漏掉大量信息。客户发来一张报错截图问这个怎么解决、发来一份Excel报价单问帮我对比下这几家、发来商品照片问有没有同款——这些消息里的关键信息全在图片和文件里文本模型完全看不见。接入多模态能力后机器人才真正具备看图读文件的完整感知能处理的业务场景直接翻倍。一、图片消息的两层理解——OCR与视觉语义图片理解不是一个能力是两层。第一层OCR文字提取截图里的报错信息、聊天记录截图、单据照片价值在文字内容OCR提取出文字后走常规文本处理即可。OCR的关键工程点是提取后结构化——报错截图提取出的文字要识别出错误码、错误描述、触发位置三个字段而不是把一堆原始文字丢给大模型。第二层视觉语义理解商品照片、现场照片、包装破损图价值在图像本身需要视觉大模型VLM理解——这是什么商品破损在什么位置、严重程度如何。视觉理解的输出要转成业务结构化标签商品类别、破损等级后续流程换货/赔偿/推荐同款基于标签路由而不是基于一段自然语言描述。两层能力按图片类型分流检测到截图类图片大面积文字、规则边缘优先走OCR成本低速度快实物照片类走视觉模型。拿不准类型时两路都跑结果合并后让大模型判断哪个更可信。二、文件消息的解析——PDF、Excel、Word各有处理方式微信里常见的文件类型处理方式完全不同。Excel/CSV是结构化数据解析成表格后可以做计算和对比——客户发来三家供应商报价单机器人直接读出每家的单价、交期、账期并生成对比表。PDF分两类文字版PDF直接提取文本扫描版PDF本质是图片要走OCR合同、说明书这类长文档提取文本后还要做分块不能一次塞进模型。Word文档通常是半结构化内容提取段落和标题层级保留文档结构供后续问答。文件解析的通用原则是先解析成中间格式再决定怎么用——所有文件统一转成文本块元数据来源文件名、页码/Sheet名、类型的中间结构后续无论是问答、摘要还是对比都基于中间结构处理解析层和AI层解耦。大文件必须做防护超过大小阈值如20MB的文件不直接解析提示用户文件过大解析页数/行数设上限防止一份几千行的Excel把内存打满。从微信下载的文件URL有有效期收到文件消息后要第一时间转存到自己的对象存储不能依赖临时URL。三、多模态上下文融合——图文混合消息怎么理解真实对话里文本和图片是交织的客户说这个报错截图怎么解决我们服务器是CentOS 7理解这条消息需要把文本意图求解决方案、图片内容具体报错、文本补充系统环境三者融合。分开处理会丢失关联——OCR只看到报错不知道要干嘛文本只看到这个不知道指什么。融合方式是把一条消息内的多模态内容打包成统一消息体文本部分作为主描述图片/文件的解析结果作为附件上下文一起送给大模型。模型拿到的是用户说了什么图片里有什么文件里有什么的完整信息。多轮对话中还要记住历史图片——客户上一轮发的截图这轮说那按你说的试了还是不行模型要记得截图里的原始报错。返回结果也可以多模态纯文字说不清楚时机器人可以生成标注图在客户截图上圈出出错位置或整理成文件对比结果生成新Excel发回。多模态返回比纯文本表达效率高一个量级。三类消息处理对照消息类型处理能力结构化输出截图/单据OCR文字提取错误码、字段键值实物照片视觉语义模型商品类别、破损等级文件分类型解析分块表格行、文本块元数据多模态处理链路实现class MultimodalRouter: def handle(self, msg): parts [] if msg.text: parts.append(TextPart(msg.text)) for img in msg.images: local download_and_store(img.url) # 立即转存 if self.is_screenshot(local): parts.append(OcrPart(self.ocr(local))) else: parts.append(VisionPart( self.vlm_describe(local))) for f in msg.files: local download_and_store(f.url) parts.append(FilePart(self.parse_file(local))) return self.fuse(parts, msg) def parse_file(self, path): ext path.suffix if ext in (.xlsx, .csv): return self.parse_sheet(path) # 结构化行 if ext .pdf: if self.is_scanned_pdf(path): return self.ocr_pdf(path) # 扫描件走OCR return self.chunk_text( extract_pdf_text(path)) # 文字版分块 if ext in (.docx, .doc): return self.parse_docx(path) raise UnsupportedType(ext) def fuse(self, parts, msg): 图文混合组装统一消息体送模型 context [] for p in parts: context.append(p.to_prompt()) # 文本图片文件摘要 answer vlm_chat( system你是技术支持结合用户文字、 截图内容和文件信息综合回答, historysession.multimodal_history, # 含历史图片 user\n.join(context)) # 必要时多模态返回生成标注图/结果文件 if answer.needs_annotation: return send_image(WID, msg.wxid, annotate(msg.images[0], answer.marks)) return answer.text落地建议多模态接入的优先级先做OCR——截图类消息占客服图片消息的70%以上纯OCR加文本模型就能解决大部分场景视觉语义理解第二需要选择合适的VLM并控制调用成本文件解析从Excel和文字版PDF起步这两类业务价值最高。图片和文件收到后第一时间转存到自有存储微信临时URL失效是高频踩坑点。图片、文件消息的接收下载能力由 Eyun 平台 这类个人微信API平台提供图片和文件的回复发送接口参数参考 Eyun 开发文档多模态解析层在自建服务中对接OCR和视觉大模型。