首页/新闻资讯/正文详情

DATE-LM: Benchmarking Data Attribution Evaluation for Large Language Models

发布时间:2026/9/27 10:29:36 来源:云帆数科 栏目:资讯中心
DATE-LM: Benchmarking Data Attribution Evaluation for Large Language Models
文章主要内容总结本文介绍了DATE-LM(Data Attribution Evaluation in Language Models),这是一个用于评估大型语言模型(LLMs)数据归因方法的统一基准套件。数据归因方法旨在量化训练数据样本对模型输出的影响,在数据集筛选、模型可解释性、数据估值等领域有重要应用。DATE-LM通过三个核心任务评估归因方法的质量:训练数据选择:评估归因方法在预训练和微调阶段筛选高质量数据的能力;毒性/偏见过滤:检测并过滤训练数据中可能导致模型产生有害输出的样本;事实归因:追溯模型输出中的事实性内容至训练数据中的支持证据。通过DATE-LM进行的大规模评估显示:没有单一方法在所有任务中表现最优;数据归因方法与简单基线(如基于词汇或检索的方法)存在性能权衡;方法性能对任务特定的评估设计敏感。此外,DATE-LM提供了模块化评估流程、预训练模型 checkpoint 以降低计算成本,并发布了公开排行榜以促进社区参与。创新点统一且应用驱动的基准设计:首次针对LLMs构建了覆盖多任务(训练数据选择、毒性过滤、事实归因)的统一评估框架,聚焦实际应用场景。任务特定的评估策略

相关推荐

Program-as-Weights: A Programming Paradigm for Fuzzy Functions
Program-as-Weights: A Programming Paradigm for Fuzzy Functions

Program-as-Weights: A Programming Paradigm for Fuzzy Functions 论文完整解读 一、论文核心内容总结 1. 研究背景 大量现实文本任务(日志告警、破损JSON修复、搜索意图排序、模糊匹配、意图分类等)属于模糊函数(Fuzzy Function):人类可直观完成,但无法用严谨符号代码… · 2026/9/27 10:29:30

【无人机】基于实时激光雷达点云和GNSS‑GPS 卫星信号考虑立方体障碍物城市任务航线规划Matlab仿真
【无人机】基于实时激光雷达点云和GNSS‑GPS 卫星信号考虑立方体障碍物城市任务航线规划Matlab仿真

✅作者简介:热爱科研的Matlab仿真开发者,擅长毕业设计辅导、数学建模、数据处理、算法改进、程序设计科研仿真。🍎 往期回顾关注个人主页:完整代码获取 定制创新 论文复现私信🍊个人信条:做科研&#xff0c… · 2026/9/27 10:29:30

Logisim-evolution 模拟引擎限制与项目演进全解析:双向引脚、存储器初始化与生态兼容性
Logisim-evolution 模拟引擎限制与项目演进全解析:双向引脚、存储器初始化与生态兼容性

教育桌面应用 【免费下载链接】logisim-evolution Digital logic design tool and simulator 项目地址: https://gitcode.com/gh_mirrors/lo/logisim-evolution 点击查看 免费下载 导读 本文以官方补充文档 docs/docs.md 为骨架,系统梳理 Logisim-evol… · 2026/9/27 10:29:30

深耕马理论考研辅导 筑牢理论应试根基|天任马理论考研集训营打造河南本土化备考体系
深耕马理论考研辅导 筑牢理论应试根基|天任马理论考研集训营打造河南本土化备考体系

深耕马理论考研辅导 筑牢理论应试根基|天任马理论考研集训营打造河南本土化备考体系在新时代背景下,马克思主义理论学科建设不断向前推进,高校思政教师、党政机关、国企党建岗位人才需求持续释放,马克思主义理论考研热度连年走高。… · 2026/9/27 11:20:02

避开建站报价陷阱:网站建设的课件如何选
避开建站报价陷阱:网站建设的课件如何选

避开建站报价陷阱:网站建设的课件如何选 域名服务器搞不懂,是不是你最大的心病?很多老板拿着预算找供应商,对方张嘴就是“建站报价”几千到几万不等,但你心里没底:这钱花得值不值?技术到底行不行?… · 2026/9/27 11:19:44

基于随机森林算法的京东香水销售数据分析与可视化python项目实战机器学习实战项目案例
基于随机森林算法的京东香水销售数据分析与可视化python项目实战机器学习实战项目案例

1.3研究内容在京东香水销售数据分析与可视化研究中,项目运用了爬虫技术、Flask框架以及随机森林算法,旨在深入挖掘京东平台上的香水销售数据。首先,通过爬虫技术,项目高效地抓取了京东平台上各类香水的详细信息,包括品… · 2026/9/27 11:19:44

STM32开发资源全景指南:从入门到实战,避开资料陷阱
STM32开发资源全景指南:从入门到实战,避开资料陷阱

说实话,每年都有大量新人被 STM32 的“资料海”淹没。我当年入门时,手里攥着一块最小系统板,浏览器里存了几十个网址,结果一半是过时的教程,一半是付费课程的引流页,真正能解决“定时器为什么进不了中断”“… · 2026/9/27 11:19:38

网站推广入口速查手册:5步打通流量任督二脉
网站推广入口速查手册:5步打通流量任督二脉

网站推广入口速查手册:5步打通流量任督二脉 自己不会代码想做网站,是不是光看教程就头晕?别慌,这份速查手册专治各种“找不到入口”的焦虑。很多站长卡壳,不是因为技术难,而是压根不知道去哪点。… · 2026/9/27 11:19:25

电控秋招没回音?10个开源项目补齐工程经历
电控秋招没回音?10个开源项目补齐工程经历

有些事情真的很气人:邮箱里躺着已读不回的礼貌自动回复,招聘网站上状态栏永远是“已筛选”,你花了一晚上改完的简历,像石沉大海。对绝大多数准备秋招做电控方向的同学来说,真正的问题未必是学校或绩点不够,… · 2026/9/27 11:19:13

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码