数据集模型评测【免费下载链接】mbpp项目地址https://ai.gitcode.com/hf_mirrors/google-research-datasets/mbpp点击查看免费下载MBPPMostly Basic Python Problems是评估 Python 代码生成能力的经典基准数据集内置full与sanitized两个版本。本文带你快速看懂两者的差异并给出明确的选型建议帮你一步选对 MBPP 代码生成基准版本 一、MBPP 是什么为什么它很受欢迎MBPP 由 Google Research 于 2021 年随论文Program Synthesis with Large Language Models发布包含约1000 道面向初学者的 Python 编程题涵盖编程基础与标准库常用功能。每道题都包含三要素要素说明任务描述自然语言描述要实现的函数行为参考代码一个可用的 Python 解决方案自动化测试3 条assert测试用例可直接验证生成代码数据集采用CC-BY-4.0许可证体积小下载不到 250KB、门槛低是入门代码生成评测的首选基准之一。完整的 Dataset Card 见 README.md。二、full 与 sanitized 一眼看懂区别两个版本各自都有train/test/validation/prompt四个 split但样本量和字段明显不同数据来自 README.md 的 dataset_info对比维度full完整版sanitized精校版总样本数974427train374120test500257validation9043promptfew-shot 用107是否默认配置✅ 默认default: true需显式指定任务描述字段text原始众包描述prompt二轮人工重写测试字段test_setup_codechallenge_test_listtest_imports无挑战测试额外字段—source_file可溯源一句话概括sanitized 是 full 的子集——官方先完成了 full再从中挑出一部分题目进行第二轮人工校验重写了任务描述目的是解决部分题目描述不够清晰、不足以无歧义地解题的问题见 README.md 的 Known Limitations。三、字段细节对比两个版本长什么样full 版本的字段见 README.mdtask_id/text/code/test_list题目编号、任务描述、参考解、测试列表test_setup_code运行测试前需要的前置代码如导入challenge_test_list更棘手的附加测试用于进一步探测解的健壮性sanitized 版本的字段见 README.mdsource_file/task_id/prompt/code/test_imports/test_list没有challenge_test_list测试导入统一放在test_imports中举个例子full 中 task_id1 的题目是求给定代价矩阵中从 (0,0) 到 (m,n) 的最小代价路径而 sanitized 中 task_id2 的题目描述为找出两个列表的公共元素——后者这类描述更清晰、无歧义示例数据见 README.md。四、获取与加载两种上手方式方式一通过 Hugging Face Datasets 加载推荐加载 fullload_dataset(mbpp)—— full 是默认配置不传配置名即可加载 sanitizedload_dataset(mbpp, sanitized)方式二克隆本地仓库git clone https://gitcode.com/hf_mirrors/google-research-datasets/mbpp仓库内每个版本各 4 个 split 文件例如 full/train-00000-of-00001.parquet、full/test-00000-of-00001.parquet、sanitized/test-00000-of-00001.parquet 与 sanitized/validation-00000-of-00001.parquet按split-00000-of-00001.parquet的规则命名。⚠️ 安全提示官方明确建议在沙箱/安全环境中执行被测模型生成的 Python 代码因为生成代码可能包含有害操作见 README.md。五、选型指南full 还是 sanitized你的场景建议选择理由复现原论文 / 对标经典结果full原论文即基于 full结果可直接对比希望评测指标更有说服力sanitized描述经过人工重写题目无歧义分数更可信样本越多越好full974 条是 sanitized 的 2 倍多需要附加挑战测试full仅 full 带challenge_test_list做 few-shot 提示实验看需求两者都有promptsplit10 / 7 条需要数据溯源sanitized独有的source_file字段可定位来源经验法则日常快速实验、追求评测严谨性 → 选sanitized做研究复现、样本量优先 → 选full。六、常见问题FAQQ1load_dataset(mbpp)默认加载的是哪个版本Afull。它是数据集的默认配置default: true。Q2为什么 sanitized 样本只有 427 条Asanitized 不是重新出题而是对 full 中一个子集做了第二轮人工校验与描述改写因此只保留了能通过严格校验的题目。Q3两个版本能混用吗A不建议在同一次评测中混用。sanitized 是 full 的子集混合会引入重复样本影响结果可比性。总结full974 题、默认配置、含挑战测试适合复现论文与大规模评测sanitized427 题、描述精校、可溯源适合追求严谨可靠的日常评测记住一句话追求严谨选 sanitized追求规模与复现选 full✅赞分享数据集模型评测【免费下载链接】mbpp项目地址https://ai.gitcode.com/hf_mirrors/google-research-datasets/mbpp点击查看免费下载相关推荐ClawProBench 基准配置怎么选core、intelligence、coverage、native、full 五种 Profile 完全对比ClawProBench 基准配置怎么选core、intelligence、coverage、native、full 五种 Profile 完全对比 Claw80%精度提升GroundingDINO两大版本深度测评v0.1.0-alpha与v0.1.0-alpha2怎么选80%精度提升GroundingDINO两大版本深度测评v0.1.0 alpha与v0.1.0 alpha2怎么选 版本对比核心结论 | 版本 | 骨干网人工智能计算机视觉深度学习多模态基础模型Q4还是Q8trellis2-gguf两档量化实测对比精度、显存与生成速度怎么选Q4还是Q8trellis2 gguf两档量化实测对比精度、显存与生成速度怎么选 如果你在用 trellis2 gguf 部署图生3Dimage to 3创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
企业数字化 ERP 产品动态
相关推荐
1秒对21秒:MiniCPM-OCR-1.0-gguf GPU与CPU性能实测及显存优化完整攻略 计算机视觉OCR多模态本地部署模型量化大模型人工智能 【免费下载链接】MiniCPM-OCR-1.0-gguf 项目地址: https://ai.gitcode.com/OpenBMB/MiniCPM-OCR-1.0-gguf 点击查看 免费下载 MiniCPM-OCR-1.0-gguf 是 MiniCPM-OCR 1.0(1.3B 参数文档解析大模型&am… · 2026/11/16 16:25:05
音乐制作中的8个AI工具实战指南 1. 音乐人必备的8个AI功能解析作为一名从业十年的音乐制作人,我深刻理解熬夜赶工的痛苦。直到三年前我开始系统研究AI工具,才发现原来音乐创作可以如此高效。以下是经过实战验证的8个AI功能,它们彻底改变了我的工作流。1.1 智能作曲助手主流工… · 2026/11/19 9:56:58
tsrs Node API完全参考:同步与异步API构建你自己的TypeScript工具链 【免费下载链接】tsrs Rust port of the TypeScript 7 type checker 项目地址: https://gitcode.com/gh_mirrors/ts/tsrs 点击查看 免费下载 tsrs 是 Rust 编写的 TypeScript 7 类型检查器,其 npm 包 tsrs 同时提供完整的 Node API:tsrs/syn… · 2026/11/18 17:18:26
鄞州区电工证考试地点有效期多久 郦州区电工证考试地点在哪?官方报名入口怎么找? 工地太忙根本没时间复习考试,这几乎是每个在工地干电工的兄弟的共同心声。尤其是像南阳卧龙区这种工程项目多、施工任务重的区域,电工证考试不仅是上岗的“通行证”,更是保障安全和提升职业发展的关键。但… · 2026/11/22 0:50:05
之前考的证在外省能不能转过来?附近特种设备作业证R1考试千万别踩坑 之前考的证在外省能不能转过来?附近特种设备作业证R1考试千万别踩坑 之前考的证在外省能不能转过来?这几乎是所有想从事特种作业的小伙伴最关心的问题,尤其是像你这样已经在外地工作,又想回老家发展的朋友。别急,今天就来聊聊这个【附近特种设备作业证… · 2026/11/22 0:50:05
工地太忙根本没时间复习考试,寮步电工证怎么考值不值得考? 工地太忙根本没时间复习考试,寮步电工证怎么考值不值得考? 工地太忙根本没时间复习考试,这是很多建筑工人的共同烦恼。尤其是像寮步这样的地方,工程项目多,工期紧,工人几乎每天都在赶进度。这时候,很多人会问: 寮步电工证怎么考… · 2026/11/22 0:50:05
厂里电工证考哪种值不值得考 厂里电工证考哪种值不值得考 你是不是也遇到过这样的情况?厂里电工证考哪种,完全不知道该从哪儿下手,更怕被那些乱收费的中介坑了?别急,今天就带你把这些问题讲清楚。 为什么要考厂里电工证?… · 2026/11/22 0:50:05
煤矿特种工证官方回应:工地太忙根本没时间复习考试怎么办? 煤矿特种工证官方回应:工地太忙根本没时间复习考试怎么办? 工地太忙根本没时间复习考试,这几乎是每个煤矿特种工证报考者的真实写照。官方回应早已明确,特种作业操作证是从事煤矿特种工种的“硬门槛”,没有这个证,别说上岗,连进入施工现场都困难。但问… · 2026/11/22 0:50:05
平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定 平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定 你是不是也经常在网上看到“平价的电工证查询”这样的关键词,但又不知道去哪报名,怕被中介坑?特别是像你这样的平顶山学员,既想考个正规电工证,又怕花冤枉钱走弯路。别担心,这篇保姆级教程就是… · 2026/11/22 0:00:42
麻阳考电工证在哪里考内部消息你知道吗 麻阳考电工证在哪里考内部消息你知道吗 不知道去哪报名怕被中介坑, 内部消息 告诉你,麻阳考电工证不一定要去外地,本地其实也有正规渠道,但很多人因为不了解流程和资质,反而被坑了钱还考不到证。今天我就从一个干了这么多年特种作业培训的“老江湖”角… · 2026/11/22 0:00:43
揭阳普宁电工证换证怎么操作?良心建议帮你理清流程 揭阳普宁电工证换证怎么操作?良心建议帮你理清流程 之前考的证在外省能不能转过来?这是很多已经在外地工作、现在想回揭阳普宁发展的电工朋友最关心的问题。如果你也是其中之一,那这篇文章就是为你们量身定制的,从换证流程到避坑建议,良心建议全给你讲透… · 2026/11/22 0:00:43
平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定 平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定 你是不是也经常在网上看到“平价的电工证查询”这样的关键词,但又不知道去哪报名,怕被中介坑?特别是像你这样的平顶山学员,既想考个正规电工证,又怕花冤枉钱走弯路。别担心,这篇保姆级教程就是… · 2026/11/22 0:00:42
麻阳考电工证在哪里考内部消息你知道吗 麻阳考电工证在哪里考内部消息你知道吗 不知道去哪报名怕被中介坑, 内部消息 告诉你,麻阳考电工证不一定要去外地,本地其实也有正规渠道,但很多人因为不了解流程和资质,反而被坑了钱还考不到证。今天我就从一个干了这么多年特种作业培训的“老江湖”角… · 2026/11/22 0:00:43
揭阳普宁电工证换证怎么操作?良心建议帮你理清流程 揭阳普宁电工证换证怎么操作?良心建议帮你理清流程 之前考的证在外省能不能转过来?这是很多已经在外地工作、现在想回揭阳普宁发展的电工朋友最关心的问题。如果你也是其中之一,那这篇文章就是为你们量身定制的,从换证流程到避坑建议,良心建议全给你讲透… · 2026/11/22 0:00:43
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:37
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:30
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:32