首页/新闻资讯/正文详情

快速认识MBPP:LLM代码生成必知基准数据集MBPP完全入门

发布时间:2026/11/17 15:28:00 来源:云帆数科 栏目:资讯中心
快速认识MBPP:LLM代码生成必知基准数据集MBPP完全入门
数据集模型评测【免费下载链接】mbpp项目地址https://ai.gitcode.com/hf_mirrors/google-research-datasets/mbpp点击查看免费下载MBPPMostly Basic Python Problems大多数基础 Python 问题是 Google Research 发布的LLM 代码生成基准数据集包含约 1000 道面向入门级开发者的 Python 编程题。每道题由「任务描述 参考代码 3 个自动化测试用例」组成是目前评测大语言模型LLM写代码能力最常用的基准之一。本文将带你快速认识 MBPP 数据集它的版本结构、数据字段、加载方法和常见使用注意事项。 MBPP 是什么一个代码生成评测基准MBPP 最早出自 Google Research 团队 2021 年的论文Program Synthesis with Large Language ModelsAustin et al., 2021用于回答一个关键问题大语言模型到底能不能写出能跑通的 Python 代码它的设计思路很清晰题目简单由 Google 内部众包创建覆盖编程基础语法、标准库使用等入门级程序员即可完成自动可验证每道题自带assert断言测试代码生成后直接运行断言即可判定对错无需人工评判规模适中约 1000 道题评测一轮成本低结果却具有广泛可比性因此被大量研究和开源模型引用。可以说MBPP 是 LLM 代码生成领域事实上的标准考场。数据集完整说明见 README.md。 MBPP 数据集结构解析full 与 sanitized 两大版本仓库提供两个配置版本config各含 4 个数据划分split数据以 Parquet 格式存放版本traintestvalidationprompt合计特点full默认3745009010974完整众包原始版本sanitized120257437427人工二次校订的精简版两个版本的差异值得重点理解full 版本任务描述text字段保留众包原始表述部分描述可能不够严谨或存在歧义sanitized 版本抽取子集后由人工进行第二轮标注重点改进了任务描述prompt字段并清理了测试相关字段适合作为更公平的评测集prompt 划分专门用于 few-shot少样本提示示例不用于训练这一点在复现论文时经常被忽略。对应数据文件如下可按 split 直接查看full 版本full/train-00000-of-00001.parquet、full/test-00000-of-00001.parquet、full/validation-00000-of-00001.parquet、full/prompt-00000-of-00001.parquetsanitized 版本sanitized/train-00000-of-00001.parquet、sanitized/test-00000-of-00001.parquet、sanitized/validation-00000-of-00001.parquet、sanitized/prompt-00000-of-00001.parquet 3 步快速上手加载 MBPP 数据集使用 Hugging Facedatasets库加载 MBPP 只需几行代码from datasets import load_dataset # 步骤1加载默认 full 版本 dataset_full load_dataset(mbpp) # 步骤2如需校订版指定 sanitized 配置 dataset_sanitized load_dataset(mbpp, sanitized) # 步骤3查看一条样本 print(dataset_sanitized[prompt][0][prompt])一条 sanitized 样本长这样节选自官方示例{ task_id: 2, prompt: Write a function to find the shared elements from the given two lists., code: def similar_elements(test_tup1, test_tup2):\n res tuple(set(test_tup1) set(test_tup2))\n return (res) , test_list: [ assert set(similar_elements((3, 4, 5, 6),(5, 7, 4, 10))) set((4, 5)), ... ] }如果你更习惯克隆仓库离线使用 Parquet 文件git clone https://gitcode.com/hf_mirrors/google-research-datasets/mbpp MBPP 数据字段详解读懂每条样本两个版本的字段定义如下字段所属版本含义task_id两者题目唯一编号int32textfull编程任务的文字描述promptsanitized经人工校订的任务描述code两者该题的参考 Python 解答test_list两者3 条assert断言用于自动验证challenge_test_listfull附加的高难度测试进一步检验解答健壮性test_setup_codefull运行测试所需的额外代码test_importssanitized运行测试所需的 import 语句source_filesanitized该样本在原始标注 notebook 中的来源使用建议正式评测建议以test_list为主如果想区分碰巧通过和真正健壮的模型输出可以再加上challenge_test_list做二次筛选。✅ 如何用 MBPP 评测你的代码生成模型一个典型的 MBPP 评测流程分为 4 步取题从 test 划分中取出text或prompt作为输入生成让模型输出 Python 函数可结合 prompt 划分做 few-shot 提示验证把生成的代码与test_list中的断言一起执行全过即算通过汇总统计通过率业界常用 passk 指标跨模型横向对比。⚠️两条重要安全与公平性提示务必在沙箱/受限环境中执行生成的代码——模型输出可能包含危险操作切勿在生产环境直接运行full 版本部分题目描述可能信息不足或表述模糊若发现代码写对了但描述无法理解说明该题属于这类情况此时可改用 sanitized 版本以获得更干净的评测信号。 常见问题FAQQ1MBPP 适合训练代码模型吗MBPP 的定位是评测基准。train 划分full 版 374 条体量较小通常用于 few-shot 示例或辅助研究而非作为主要训练语料。Q2full 和 sanitized 我该选哪个做论文复现或追求与原文可比性用默认full版追求题目描述清晰、评测更公平用sanitized版。Q3MBPP 可以免费商用吗可以。数据集采用CC-BY-4.0许可标注方式为众包 专家校订英文单一语言总数据量不足 1000 条full 版 974 条属于轻量级基准下载和存储成本都很低。 写在最后MBPP 以小体量、可自动验证、描述清晰三个特点成为LLM 代码生成评测事实标准974 道入门级 Python 题、每题 3 个断言测试让任何模型都能在几分钟内完成一轮公平评测。无论你是想验证自家模型的代码能力还是复现经典论文从load_dataset(mbpp)开始就是最短路径。 参考Austin, J. et al.Program Synthesis with Large Language Models. arXiv:2108.07732, 2021. 数据集完整文档见 README.md。赞分享数据集模型评测【免费下载链接】mbpp项目地址https://ai.gitcode.com/hf_mirrors/google-research-datasets/mbpp点击查看免费下载相关推荐AIResource/aicode代码生成评估HumanEval与MBPP基准测试全指南AIResource/aicode代码生成评估HumanEval与MBPP基准测试全指南 你是否还在为选择合适的代码生成模型而烦恼面对市场上层出不穷的AI编文档知识库人工智能idiomatic.js代码生成器基于规范模板快速生成标准代码idiomatic.js代码生成器基于规范模板快速生成标准代码 想要写出风格一致、可读性强的JavaScript代码吗idiomatic.js项目为你提供了SQLite数据库开发入门使用sqlc工具快速生成Go代码SQLite数据库开发入门使用sqlc工具快速生成Go代码 前言 在Go语言开发中与SQLite数据库交互是一个常见需求。传统方式需要手动编写大量重复的SQ开发工具代码生成数据库创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

教育数字画板性能优化:从412ms到89ms的实战经验
教育数字画板性能优化:从412ms到89ms的实战经验

1. 项目概述:教育数字画板性能优化的核心挑战 在教育信息化快速发展的今天,数字画板已成为线上教学的核心工具之一。不同于普通应用,教育场景下的数字画板需要同时满足三个关键需求:实时笔迹传输的毫秒级响应、多人协作时的高并发… · 2026/11/6 15:04:20

工地安全识别数据集构建与YOLO训练避坑指南
工地安全识别数据集构建与YOLO训练避坑指南

简介:这份资源面向计算机视觉学习者、算法工程师及工地/工厂安全管理信息化开发者,提供安全帽、反光衣与工作服自动识别的YOLO数据集,用于训练和验证人员着装合规检测模型,可支撑实时监控画面中的违规告警、抓拍与弹窗提醒等应用。… · 2026/11/16 6:22:06

Mac视频下载工具Downie 3详解:从解析原理到自动化进阶
Mac视频下载工具Downie 3详解:从解析原理到自动化进阶

简介:这是面向Mac用户的网页视频下载工具资源,核心解决在线视频难以直接保存、下载清晰度受限等痛点。工具兼容海量主流网站,支持1080p、4K等常见高清晰度视频抓取,适用于素材收藏、内容二次创作、离线观看等多种场景。资源压缩包… · 2026/11/12 7:27:55

电工证费用走什么科目?急需特种作业证才能上岗找工作,怎么报名看这篇就够了
电工证费用走什么科目?急需特种作业证才能上岗找工作,怎么报名看这篇就够了

电工证费用走什么科目?急需特种作业证才能上岗找工作,怎么报名看这篇就够了 你是不是刚进工地,手上啥证都没有,领导说没电工证不能上岗,心里急得要命?别慌,电工证不是你想考就能考,费用怎么走、科目怎么选、报名材料怎么准备,都是你得知道的事。尤其… · 2026/11/17 15:27:39

泸州电工证免费培训别踩坑,郑州报考避坑指南教你稳过
泸州电工证免费培训别踩坑,郑州报考避坑指南教你稳过

泸州电工证免费培训别踩坑,郑州报考避坑指南教你稳过 怕考不过白交培训费?泸州电工证免费培训别轻信,郑州报考避坑指南早就告诉你怎么选靠谱机构。很多人以为报名免费培训就能轻松拿证,结果钱花了,证没拿到,连考试机会都浪费了。今天咱们就来聊聊,泸州… · 2026/11/17 15:27:39

湖南湘潭电工证在哪办 值不值得考
湖南湘潭电工证在哪办 值不值得考

湖南湘潭电工证在哪办 值不值得考 实操考试心里没底怕挂科?湖南湘潭电工证在哪办?这是很多正在准备报考的电工从业者最关心的问题。特别是像我这样的漯河应届工程类毕业生,刚毕业就面临找工作与考证的双重压力,一边担心证书含金量,一边又怕实操考试考不… · 2026/11/17 15:27:39

大连低压电工证教材保姆级教程:学历不高怕报不上名?看这篇就够了
大连低压电工证教材保姆级教程:学历不高怕报不上名?看这篇就够了

大连低压电工证教材保姆级教程:学历不高怕报不上名?看这篇就够了 学历不高怕报不上名?你不是一个人。在大连低压电工证考试这条路上,很多人因为学历问题犹豫不决,担心自己连报名资格都没有。其实,只要你符合相关条件, 大连低压电工证教材… · 2026/11/17 15:27:39

电工证没有复审还有效?含金量还在吗?河南电工老铁都懂
电工证没有复审还有效?含金量还在吗?河南电工老铁都懂

电工证没有复审还有效?含金量还在吗?河南电工老铁都懂 证书过期了不知道怎么复审延期,这事儿真的挺让人头疼的。尤其是咱们河南的公路工程从业者,干的是实打实的技术活,手里的电工证就是饭碗。可要是证过期了,再想找高薪岗位就难了, 含金量… · 2026/11/17 15:27:39

之前考的证在外省能不能转过来?南宁电工证考试在哪里保姆级教程来了
之前考的证在外省能不能转过来?南宁电工证考试在哪里保姆级教程来了

之前考的证在外省能不能转过来?南宁电工证考试在哪里保姆级教程来了 之前考的证在外省能不能转过来?这个问法,我听得太多了。特别是咱们这些常年在工地、工厂、工地跑的特种作业人员,一证在手,走到哪都不怕。但很多兄弟都遇到过同样的问题,之前在老家或… · 2026/11/17 15:26:39

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/17 5:38:05

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/17 5:38:05

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/17 9:06:35

安徽特种工考证学校千万别踩坑,学历不高也能考证上岗
安徽特种工考证学校千万别踩坑,学历不高也能考证上岗

安徽特种工考证学校千万别踩坑,学历不高也能考证上岗 你是不是总觉得学历不高就考不了证,连报名资格都够不上?其实,很多人和你一样,学历不占优势,但想通过考证转行或提升自己的职业竞争力。安徽特种工考证学校虽然门槛不高,但千万别踩坑,稍有不慎就会… · 2026/11/17 0:00:20

你没学历也能考福田特种作业操作证?真实经历告诉你怎么干
你没学历也能考福田特种作业操作证?真实经历告诉你怎么干

你没学历也能考福田特种作业操作证?真实经历告诉你怎么干 你是不是觉得学历不高就考不上福田特种作业操作证?其实不然,我有个老乡,初中毕业,现在在安阳干焊工,每月拿8000多,还评上了高级技师。他的经历我今天就给你说说,看看你能不能照着走。… · 2026/11/17 0:00:20

低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审
低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审

低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审 证书过期了不知道怎么复审延期?低压电工证是很多电工从业者必须持有的证件,一旦到期未及时办理复审,不仅影响工作,还可能面临被单位辞退甚至罚款。今天我就从南阳地区培训机构学员的角度,详细告诉… · 2026/11/17 0:00:20

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:43

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:57

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:48

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码