首页/新闻资讯/正文详情

Describe What You See with Multimodal Large Language Models to Enhance Video Recommendations

发布时间:2026/9/27 10:28:10 来源:云帆数科 栏目:资讯中心
Describe What You See with Multimodal Large Language Models to Enhance Video Recommendations
文章总结与翻译一、文章主要内容该文章聚焦视频推荐系统的优化,针对传统视频推荐系统依赖用户定义元数据或专业编码器提取的低级视觉、声学信号,无法捕捉意图、幽默、世界知识等深层语义的问题,提出了一种基于多模态大型语言模型(MLLM)的零微调框架。1. 研究背景TikTok、Instagram Reels等短视频平台兴起,凸显视频推荐系统的重要性,但传统推荐方法存在语义理解不足的局限,例如只能识别“有人在屋顶跳舞”,却无法知晓舞蹈是否模仿20世纪90年代超级英雄风格,难以把握用户偏好背后的深层原因。2. 核心框架利用现成的MLLM(如Qwen-VL、Qwen-Audio)对视频片段生成丰富的自然语言描述,将视频帧、音频信号等多模态信息转化为语义文本。具体通过两阶段处理音频:先借助Whisper提取语音和纹理,再用Qwen-Audio生成包含意图的描述;同时结合视频帧分析,最终将生成的文本经文本编码器处理后,输入协同过滤、基于内容、生成式等标准推荐模型。3. 实验验证在MicroLens-100K数据集(模拟TikTok风格视频的用户交互)上,对双塔模型(Two-Towers)和生成式模型(SASRec)进行测试。结果显示,MLLM生成的特征显著优于传统的视觉、音频和元数据特征,例如双塔模型的HR@10从0.0253提升至0.0405,相对增益约60%,且在30秒以上视频中效果更明显。此外,还测试了更大规模的文本编码器和MLLM,发现基线MLLM已能捕捉关

相关推荐

P/D-Device: Disaggregated Large Language Model between Cloud and Devices
P/D-Device: Disaggregated Large Language Model between Cloud and Devices

P/D-Device:云与设备间的解耦大语言模型研究总结与翻译 一、文章主要内容 本文聚焦大语言模型(LLM)在云-设备协同部署中的资源瓶颈问题,提出了名为P/D-Device的云-设备解耦协作方案,旨在同时解决云端资源长期占用导致吞吐量低、设备端资源有限导致首 token 延迟(TTFT)… · 2026/9/27 10:27:45

张家港网络推广避坑:3招搞定服务器配置与源码下载
张家港网络推广避坑:3招搞定服务器配置与源码下载

张家港网络推广避坑:3招搞定服务器配置与源码下载 网站做好了没人访问,比没做还让人心慌。很多张家港的老板发现,花了几万块做的官网,上线后百度搜不到,微信发出去没人点,这时候才意识到, 张家港网络推广… · 2026/9/27 10:27:33

ESP32静态对象存储:嵌入式应用平台的物理层地基
ESP32静态对象存储:嵌入式应用平台的物理层地基

1. 为什么在 ESP32 上做应用平台,第一脚要踩在静态对象存储上? “在 ESP32 上做应用平台,为什么我先用静态对象存储,而不是开发应用市场后端?”——这个问题我去年在珠海一个嵌入式开发者闭门会上被连续问了七次。不是… · 2026/9/27 10:27:33

2026最新李洋网站建设安全避坑指南:3招堵住高价陷阱
2026最新李洋网站建设安全避坑指南:3招堵住高价陷阱

2026最新李洋网站建设安全避坑指南:3招堵住高价陷阱 找李洋网站建设,最怕的不是网站丑,而是花大钱买了个“漏风”的壳子,回头被黑客盯上,或者被低价引流套路割了韭菜。很多老板一听“网站建设”就头大,觉得那是程序员的事,自己只要盯着钱和工期就… · 2026/9/27 15:03:10

Manus业务调整背后:AI Agent 竞争与公司战略的交织
Manus业务调整背后:AI Agent 竞争与公司战略的交织

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 15:02:58

一文搞懂wordpress内容清空:老手教你避开域名与服务器的大坑
一文搞懂wordpress内容清空:老手教你避开域名与服务器的大坑

一文搞懂wordpress内容清空:老手教你避开域名与服务器的大坑 域名解析报错,服务器连接超时,后台刷新半天还是旧页面?这种因为没搞清楚底层逻辑导致的“域名服务器搞不懂”的窘境,是无数建站新人和中小团队负责人的噩梦。你以为只是删了几个文件… · 2026/9/27 15:02:58

5年实战复盘:一文搞懂企业网站建设的参考文献与避坑指南
5年实战复盘:一文搞懂企业网站建设的参考文献与避坑指南

5年实战复盘:一文搞懂企业网站建设的参考文献与避坑指南 改个需求建站公司拖一周,这种憋屈谁懂?你明明只是想把首页那个按钮的颜色从蓝色改成红色,对方却让你等三天,说“排期满了”。更气人的是,最后改出来的效果还不一样,理由竟是“系统架构限制”。… · 2026/9/27 15:02:51

全网都在使用的十种Cursor用法详解:你在用哪种方法?TaoToken统一Key接入配置指南
全网都在使用的十种Cursor用法详解:你在用哪种方法?TaoToken统一Key接入配置指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 15:02:51

2026实测:我用智能体办公工具跑完3个跨部门长任务的真实体验
2026实测:我用智能体办公工具跑完3个跨部门长任务的真实体验

最近我一直在找能承接多步骤办公任务的AI工具,之前试过不少只能单次生成内容的产品,每次做完初稿还要自己导到不同软件里调整格式、同步给团队,来回折腾要花不少时间。上周和同部门的运营朋友吃饭,看她用新的工具跑完整份行业调研… · 2026/9/27 15:02:45

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码