首页/新闻资讯/正文详情

Single-to-mix Modality Alignment with Multimodal Large Language Model for Document Image Machine ...

发布时间:2026/9/27 10:29:18 来源:云帆数科 栏目:资讯中心
Single-to-mix Modality Alignment with Multimodal Large Language Model for Document Image Machine ...
文章主要内容总结本文针对文档图像机器翻译(DIMT)任务中因训练数据有限、视觉与文本信息交互复杂导致的泛化能力不足问题,提出了一种名为M4Doc的单模态到混合模态对齐框架。该框架利用多模态大语言模型(MLLMs)的优势,通过训练阶段将仅图像编码器与MLLM的多模态表示对齐,使轻量级DIMT模型学习关键的视觉-文本关联;推理阶段则绕过MLLM,在保持计算效率的同时复用其多模态知识。实验表明,M4Doc在翻译质量上有显著提升,尤其在跨域泛化和复杂文档图像场景中表现优异。创新点提出M4Doc框架:利用MLLM的预训练知识辅助小型DIMT模型训练,实现翻译质量与推理速度的平衡。开发单模态到混合模态对齐方法:仅以图像为输入,即可与MLLM的混合模态(图像+文本)表示对齐,有效传递MLLM的知识。提升泛化能力:实验验证了该方法在跨域、长上下文、复杂布局等挑战性DIMT场景中的有效性,显著优于现有级联、端到端及知识蒸馏方法。翻译部分(Markdown格式)Abstract(摘要)文档图像机器翻译(DIMT)旨在翻译文档图像中的文本,由于训练数据有限以及视觉和文本信息之间的复杂交互,该任务面临泛化挑战。为解决这些挑战,我们提出了M4Doc,这是一种利用多模态大语言模型(MLLMs)的新型单模态到混合模态对齐框架。M4Doc将仅图像编码器与

相关推荐

I2C多主机仲裁与时钟延展:开漏输出、逐位比较及调试实战
I2C多主机仲裁与时钟延展:开漏输出、逐位比较及调试实战

I2C 总线用两根线就能挂一堆设备,很多人第一次接触时觉得它比 SPI 简单,但真正把多个主机同时挂上去之后,问题就来了:两个主机同时开口说话怎么办?从机跟不上速度怎么办?这两个问题对应的正是 I2C 协议里最… · 2026/9/27 10:29:18

Can Large Language Models Improve Phishing Defense? A Large-Scale Controlled Experiment on Warnin...
Can Large Language Models Improve Phishing Defense? A Large-Scale Controlled Experiment on Warnin...

文章主要内容总结 本文聚焦于大型语言模型(LLMs)在提升钓鱼防御中的应用,通过大规模对照实验评估LLM生成钓鱼警告解释的效果。研究背景为:传统钓鱼警告因解释模糊、内容静态,防御效果有限,而人工生成的解释虽有效但维护成本高、难以适应威胁变化。 研究设计了包含750名… · 2026/9/27 10:29:18

零基础搞定多用户商城购物系统完整流程
零基础搞定多用户商城购物系统完整流程

零基础搞定多用户商城购物系统完整流程 手里有货想上网卖,但一看代码就头大?别慌,今天把多用户商城购物系统搭建的完整流程掰开了揉碎讲清楚。很多老板卡在“自己不会代码想做网站”这一步,觉得必须请程序员,其实用对工具,流程走通了,三天就能上线。… · 2026/9/27 10:29:12

避开建站报价陷阱:网站建设的课件如何选
避开建站报价陷阱:网站建设的课件如何选

避开建站报价陷阱:网站建设的课件如何选 域名服务器搞不懂,是不是你最大的心病?很多老板拿着预算找供应商,对方张嘴就是“建站报价”几千到几万不等,但你心里没底:这钱花得值不值?技术到底行不行?… · 2026/9/27 11:19:44

基于随机森林算法的京东香水销售数据分析与可视化python项目实战机器学习实战项目案例
基于随机森林算法的京东香水销售数据分析与可视化python项目实战机器学习实战项目案例

1.3研究内容在京东香水销售数据分析与可视化研究中,项目运用了爬虫技术、Flask框架以及随机森林算法,旨在深入挖掘京东平台上的香水销售数据。首先,通过爬虫技术,项目高效地抓取了京东平台上各类香水的详细信息,包括品… · 2026/9/27 11:19:44

STM32开发资源全景指南:从入门到实战,避开资料陷阱
STM32开发资源全景指南:从入门到实战,避开资料陷阱

说实话,每年都有大量新人被 STM32 的“资料海”淹没。我当年入门时,手里攥着一块最小系统板,浏览器里存了几十个网址,结果一半是过时的教程,一半是付费课程的引流页,真正能解决“定时器为什么进不了中断”“… · 2026/9/27 11:19:38

网站推广入口速查手册:5步打通流量任督二脉
网站推广入口速查手册:5步打通流量任督二脉

网站推广入口速查手册:5步打通流量任督二脉 自己不会代码想做网站,是不是光看教程就头晕?别慌,这份速查手册专治各种“找不到入口”的焦虑。很多站长卡壳,不是因为技术难,而是压根不知道去哪点。… · 2026/9/27 11:19:25

电控秋招没回音?10个开源项目补齐工程经历
电控秋招没回音?10个开源项目补齐工程经历

有些事情真的很气人:邮箱里躺着已读不回的礼貌自动回复,招聘网站上状态栏永远是“已筛选”,你花了一晚上改完的简历,像石沉大海。对绝大多数准备秋招做电控方向的同学来说,真正的问题未必是学校或绩点不够,… · 2026/9/27 11:19:13

用微魔方做的网站一定要加这5个模块才是最佳实践
用微魔方做的网站一定要加这5个模块才是最佳实践

用微魔方做的网站一定要加这5个模块才是最佳实践 别再用那种一眼假的模板糊弄客户了,那种“太丑不够用”的站点,上线三天就被甲方骂回炉。… · 2026/9/27 11:19:13

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码