ParlAI 研究项目全景：从 BlenderBot 持续学习到对话安全与多模态的完整路线图

NLP人工智能深度学习【免费下载链接】ParlAIA framework for training and evaluating AI models on a variety of openly available dialogue datasets.项目地址https://gitcode.com/gh_mirrors/pa/ParlAI点击查看免费下载ParlAI 的projects/目录是整个仓库的研究成果集散地这里汇聚了以论文、公开任务含排行榜或共享模型代码形式发布的项目覆盖开放域对话、安全、持续学习、知识增强、视觉与环境等多条研究主线。本文以 projects/README.md 为索引骨架结合仓库内各子项目的 README、模型 zoo 与源码实现梳理每条研究脉络的动机、关键模型、可用命令与可复现路径帮助你快速定位感兴趣的项目并直接上手实验。认识projects/目录一个可检索的研究地图projects/目录按研究主题组织子文件夹每个子文件夹通常包含项目 README、模型 agent 实现、训练/评测脚本与示例数据。README 开头明确说明该目录收录了在 ParlAI 框架内开展、并公开共享论文、带排行榜的公开任务、共享模型代码三者之一的项目部分项目由仓库内子文件夹承载其余则由外部网站维护。在深入各项目前建议同时参考 ParlAI 的三大资源模块它们与projects/相互补充parlai/agents可复用的模型实现transformer、seq2seq、bert_ranker、rag、seeker 等parlai/tasks对话数据集与任务 teacher 的实现parlai/zoo预训练模型下载入口--model-file zoo:name/model是统一调用方式。此外projects/__init__.py说明所有代码要求 Python 3 环境版本低于 3.0 会直接抛出RuntimeError这是复现下列所有项目命令的前提。BlenderBot 系列从配方到持续学习的三代演进BlenderBot 是 ParlAI 最具代表性的对话模型系列projects/README.md将其单列为第一部分。三代模型分别回答了三个问题如何用公开配方训练高性能开放域聊天机器人BB1、如何让模型拥有长期记忆与互联网检索能力BB2、以及如何让模型在部署后从真实用户交互中持续变好BB3 / BB3x。BlenderBot 1开放域聊天的食谱RecipesRecipes for open-domain chatbots论文为 Roller et al., 2020论证了一个观点除扩大参数量与数据量外训练数据的选择与生成策略对聊天机器人质量同样关键。其核心产出是微调于 Blended Skill TalkBST任务的 90M、2.7B、9.4B 三代生成模型全部开源模型模型 zoo 路径硬件要求交互90Mzoo:blender/blender_90M/model轻量级2.7Bzoo:blender/blender_3B/model16GB P100 或以上9.4Bzoo:blender/blender_9B/model至少两张 32GB V1002.7B→1.4B 蒸馏zoo:blender/blender_1Bdistill/model推理约 2 倍速2.7B→360M 蒸馏zoo:blender/blender_400Mdistill/model推理约 5 倍速交互命令统一走带安全层的safe_interactive实现位于 parlai/scripts/safe_interactive.py任务使用blended_skill_talkpython parlai/scripts/safe_interactive.py -t blended_skill_talk -mf zoo:blender/blender_90M/model python parlai/scripts/safe_interactive.py -t blended_skill_talk -mf zoo:blender/blender_3B/model python parlai/scripts/safe_interactive.py -t blended_skill_talk -mf zoo:blender/blender_9B/model自动评测python parlai/scripts/eval_model.py -t blended_skill_talk -mf zoo:blender/blender_90M/model项目还提供了从 BST、Wizard of Wikipedia、ConvAI2、Empathetic Dialogues 多任务微调 90M/2.7B/9.4B 模型的完整train_model命令含--multitask-weights 1,3,3,3、--variant prelayernorm、--model-parallel true等关键参数以及 crowdworker 与 2.7B 模型对话的真实日志chatlog_2.7B.json 与可渲染的 chatlog_2.7B_render.html。人类评测采用 ACUTE-Eval 流程。另附减少性别/种族偏见的实验变体见 dialogue_bias 项目。BlenderBot 2长期记忆 互联网搜索BlenderBot 2 项目在 BB1 基础上引入两大能力长期记忆LT-Mem对话中提炼相关知识写入长期记忆库跨会话复用互联网检索模型自行生成搜索查询、读取结果并据此作答。其论文基础是 Internet-Augmented Dialogue GenerationSEA与 Multi-Session ChatMSC。模型内置两层安全机制训练时让模型在生成不安全回复时追加_POTENTIALLY_UNSAFE_特殊标记以便拦截并遵循 Safety Bench 框架做安全评测。模型 zoo 提供两个尺寸parlai safe_interactive -mf zoo:blenderbot2/blenderbot2_400M/model parlai safe_interactive -mf zoo:blenderbot2/blenderbot2_3B/model # 2.7B模型卡见 parlai/zoo/blenderbot2/model_card.md项目 README 内附 Multi-Session Chat 与 Knowledgeable Chat 的人类评测对比表例如 2.7B BSTMSC w/LT-Mem 在会话正确使用先前信息率达 26.7%、事实一致性 84.9%以及安全评测表是理解记忆与检索如何提升长程对话的一手数据。BlenderBot 3175B 参数的持续学习聊天机器人BlenderBot 3 项目发布了 3B / 30B / 175B 三个尺寸的开源模型、代码、数据集与模型卡并上线了实时交互 demo。核心设计是模块化架构由一系列子模块协同完成是否需要搜索 → 是否需要读记忆 → 生成查询/记忆/知识 → 生成回复的完整链路。模块定义见 projects/bb3/agents/module.py各模块及其上下文格式在 projects/bb3/agents/README.md 中有详细说明模块缩写全称作用3B 默认解码SDMSearch Decision Module判断是否需要互联网搜索greedyMDMMemory Decision Module判断是否需要访问长期记忆greedySGMSearch Query Generation Module生成搜索查询greedyMGMMemory Generation Module生成写入记忆库的新记忆beamCKMContextual Knowledge Module从上下文抽取实体beamMKMMemory Knowledge Module从记忆库检索/生成条件记忆beamSKMSearch Knowledge Module由检索文档生成知识句beamCRMContextual Response Module基于实体生成回复beamMRMMemory Response Module基于记忆生成回复beamSRMSearch Response Module基于知识句生成回复beamVRMVanilla Response Module仅基于对话历史生成回复beam模块参数可通过前缀控制例如--srm-inference nucleus可为搜索回复模块单独指定采样方式也可单独交互某个模块如parlai interactive --model projects.bb3.agents.r2c2_bb3_agent:BB3SubSearchAgent --model-file zoo:bb3/bb3_3B/model --force-skip-retrieval True --search-server none模型获取与交互。3B 与 30B 模型在模型 zoo 中对应定义见 parlai/zoo/bb3/bb3_3B.py175B 需申请parlai safe_interactive --model-file zoo:bb3/bb3_3B/model --init-opt gen/r2c2_bb3 wget http://parl.ai/downloads/_models/bb3/bb3_30B/consolidated.pt # 30B 手动下载30B 检查点约需 56GB 显存175B 约需 384GB下载后需用metaseq.scripts.reshard_model_parallel按 GPU 资源重分片30B 建议MP8175B 建议MP16再通过 metaseq API 提供服务随后用parlai safe_interactive --init-opt gen/opt_bb3 --opt-server API_SERVER接入。训练复现。3B 模型的训练采用 12 个模块级多任务 teacher定义于 projects/bb3/tasks/module_level_tasks.py 中的AlwaysSearchTeacher、MemoryDecisionTeacher、VanillaDialogueGenerationTeacher等并叠加约 20 个评测任务WoiSearchQueryTeacher、MSCMemoryGeneratorTeacher、SaferdialoguesVanillaDialogueTeacher等。核心命令完整版见项目 README为python -m parlai.scripts.multiprocessing_train \ -t $TASKS -et $EVAL_TASKS \ -vstep 1000 -lstep 50 --batchsize 1 --init-opt arch/r2c2_base_3B \ --init-model zoo:seeker/r2c2_blenderbot_3B/model \ --model projects.seeker.agents.seeker:ComboFidGoldDocumentAgent \ --n-docs 5 --text-truncate 1024 --label-truncate 128 --fp16 True \ -lr 1e-06 --lr-scheduler reduceonplateau --optimizer adamw \ --ddp-backend zero2 --checkpoint-activations true --model-file /path/to/model/训练数据来自 FITS人类反馈、BST、MSC、Wizard of the Internet、SaFeRDialogues、BAD 及多种 QA 与任务型对话数据集训练/评测 teacher 均可在 projects/bb3/tasks 中查看。模型卡与数据卡见 parlai/zoo/bb3/model_card.md 与 parlai/zoo/bb3/data_card.mdHolisticBias 偏置评测命令见 projects/bb3/holistic_bias/README.md。BlenderBot 3x从真实交互数据中学习BlenderBot 3x 项目是 BB3 的升级版利用参与用户分享的去标识化真实交互数据继续训练。这是公开领域首批同类数据超过 35.3 万段对话、约 620 万条话语、超过 15.5 万条好/坏反馈标注含无意义、离题、不当等失败原因数据卡见 projects/bb3x/data_card.md。BB3x 与 BB3 的评测对比来自 projects/bb3x/README.md94.4% 的 BB3x 回复被评为良好而 BB3 为 85.3%数据中约 70% 是标准互惠对话、30% 是对抗性或含毒性消息的对抗性对话——这带来两个学习挑战既要学会与野外的用户对话又要抵御恶意诱导。解决方案是结合 CRINGE loss用负面反馈压低不良回复概率与 TrollHunting从对抗/非对抗混合数据中筛选可靠样本。基于真实反馈的好/坏标签与 crowdworker 重标注BB3x 的回复质量从 BB3 的 85.3% 提升至 94.4%且在对抗场景下更安全。仓库提供了 6 个开箱即用的数据 teacherprojects/bb3x/tasks/agents.pyBB3DataBotTeacher/BB3DataHumanTeacher对话历史→bot/人类下一条消息、BB3DataCrowdworkersBotTeacher/BB3DataCrowdworkersHumanTeacher仅保留有 crowdworker 标注的样本、以及FilterOutAdversarialHumansBotTeacher/FilterOutAdversarialHumansHumanTeacher过滤掉触发安全分类器的用户。查看数据parlai dd -t projects.bb3x.tasks.agents:FilterOutAdversarialHumansBotTeacher各任务的标注属性如安全标签通过label_info字段暴露可结合 CRINGE loss 实现 直接用于训练。生成模型与架构创新让语言模型学会不做什么projects/README.md的第二个分类收录了生成模型与架构层面的方法论研究它们多数已成为 BB 系列的安全/质量控制基础。CRINGE Lossprojects/cringe/README.md全称 ContRastive Iterative Negative GEneration。标准 LM 训练把所有数据当正例而 CRINGE 显式引入模型不该做什么的负例。实现为 projects/cringe/cringe_loss.py 中的ContrastiveTransformerGeneratorAgent。仓库给出完整训练命令多任务权重5,1,1,1,1,1以 BB1 3B 为初始权重微调安全任务以及迭代训练流水线先用当前模型在 WikiToxic 数据上生成候选 → 用独立安全分类器标注 → safety_filter_world_logs.py 按 50/50 正负比例过滤 → 通过 teachers.py 中的IterativeTeacher增量微调。DIRECTORprojects/director/README.md统一 generator-classifier 架构每个输出 token 同时挂语言建模头与分类头用期望/不期望序列标注数据联合训练兼顾生成速度与质量。实现见 projects/director/director_agent.py安全任务 teacher 位于 projects/director/tasks/safety。它也是 FITS 与 BB3 论文中反馈学习的核心模型。Maintaining Identityprojects/light_whoami/README.md研究对话模型难以维持身份一致性的问题基于 LIGHT 提供测量方法与改进手段。More Parameters or More Compute?projects/params_vs_compute/README.md同时探索两条路径——Hash Layers 增加参数量、Staircase Attention 提升单参数算力。Style-Controlled Generationprojects/style_gen/README.md以风格 token 为条件训练/评测生成模型实现见 projects/style_gen/style_gen.py。Unlikelihood Training for Consistent Dialogueprojects/dialogue_unlikelihood/README.md通过 unlikelihood 训练减少复制与重复、修正词表使用、避免矛盾agent 实现见 projects/dialogue_unlikelihood/agents.py。What makes a good conversation?projects/controllable_dialogue/README.md通过控制提问、具体性、回复相关度与重复度来优化多轮对话的吸引力。Retrieve and Refine与Importance of Search Strategy分别研究检索生成精炼的聊天增强与生成模型中搜索策略的影响仓库中未见独立代码目录属于论文形式公开的项目可从 projects 索引的论文信息了解。Poly-Encodersprojects/polyencoder/README.md面向对话检索的 Transformer 架构 预训练方案对应 parlai/agents/bert_ranker/polyencoder。Well-Behaved / 安全研究让对话模型更可靠安全是 ParlAI 投入最密集的方向之一projects/README.md用锚点#well-behaved单列一节SaFeRDialoguesprojects/saferdialogues/README.md教机器人在安全失败后优雅接受用户反馈是 BB3 训练数据的重要组成。Safety for E2E Conversational AI workshops团队组织的年度安全研讨会2020/2021属于社区活动。Anticipating Safety Issues in E2E Conversational AIprojects/safety_bench/README.md发布英文对话模型安全评测基准与工具链% Flagged by at least one Tool指标BB2/BB3 的安全评估均基于此框架仓库内附 单元测试 与模型包装器 model_wrappers。Recipes for Safety in Open-Domain Chatbotsprojects/safety_recipes/README.md开放域聊天机器人安全改善方法论包含 BADBuild-it Break-it Fix-it 对抗数据集与人类安全评测流程 human_safety_evaluation。Build-It Break-It Fix-It for Dialogue Safetyprojects/dialogue_safety/README.md任务与方法双管齐下提升对话场景冒犯语言检测是后续所有安全工作的奠基项目。Multi-Dimensional Gender Bias Classificationprojects/md_gender/README.md细粒度性别偏置分类器训练代码与任务在 projects/md_gender 及 parlai/tasks/md_gender。Mitigating Genderation Biasprojects/genderation_bias/README.md以 LIGHT 为测试床分析并缓解对话生成中的性别偏置agent 见 projects/genderation_bias/agents.py。Metacognition校准projects/metacognition/README.md以闭卷 QA 为测试床研究对话生成中语言置信度与正确性的关系并加以修正。Interactive Continual Learning部署后的持续学习FITSprojects/fits/README.mdLearning New Skills after Deployment全称 Feedback for Interactive Talk Search。它公开了人类交互部署数据含二元质量、自由文本反馈、细粒度失败原因系统对比了监督学习、拒绝采样、model-guiding 与基于奖励的学习结论是 DIRECTOR 模型显著优于现有方法。任务实现于 parlai/tasks/fits查看数据parlai display_data -t fits四个代表性模型可直接评测需自备搜索服务--search-server# BB2 3B 模块监督 parlai eval_model -mf zoo:fits/bb2_module_supervision/model --query-generator-model-file zoo:fits/bart_sq_gen/model -t fits -dt valid --search-server SEARCH_SERVER # BB2 3B DIRECTOR模块 二元反馈 parlai eval_model -mf zoo:fits/director_bb2_module/model --knowledge-access-method search_only \ --query-generator-model-file zoo:fits/bart_sq_gen/model \ --model projects.fits.agents.director_bb2:DirectorBlenderBot2FidAgent \ -t fits -dt valid --rag-retriever-type search_engine --search-server SEARCH_SERVER \ --beam_block_full_context True --infer-mixing-weights 0.35 # SeeKeR 3B 模块监督 / DIRECTOR parlai eval_model --init-opt gen/seeker_dialogue -mf zoo:fits/seeker_module_supervision/model -t fits -dt valid --search-decision always --search-server SEARCH_SERVER parlai eval_model --init-opt gen/seeker_dialogue -mf zoo:fits/director_seeker_module/model \ --model projects.fits.agents.director_seeker:DirectorSeekerAgent -t fits \ --search-decision always --search-server SEARCH_SERVER --drm-infer-gamma 1.0 --drm-beam-size 10反馈学习流程示意如下人类评测脚本位于 projects/fits/human_eval/run.py基于 Mephisto 的 model_chat 任务。FITS对不同模块采用二元反馈、自由文本反馈更好建议等多种反馈形式与对应学习算法来自 projects/fits/README.mdTrollHuntingprojects/trollhunting/README.mdFinding the Helpers and Ignoring the Trolls在对抗/非对抗混合的有机用户中安全学习mutators 实现见 projects/trollhunting/mutators是 BB3/BB3x 处理野外数据的核心技术。Self-Feeding Chatbot研究 agent 部署后通过模仿与主动索要反馈来持续学习论文形式公开。Beat-The-Botprojects/beat_the_bot/README.md基于 Messenger 的实时聊天机器人游戏既是数据采集工具也是模型评测工具。Open-domain Dialogue开放域对话任务与模型Multi-Session ChatMSCprojects/msc/README.md多会话长程对话任务与基于记忆的模型是 BB2 长期记忆能力的任务基础。Addressing Contradictionsprojects/contradiction/README.md矛盾检测新任务并用于生成无矛盾回复。Blended Skill TalkBSTprojects/bst/README.md融合 PersonaChat个性、Empathetic Dialogues共情与 Wizard of Wikipedia知识三种技能的任务对应任务实现见 parlai/tasks/blended_skill_talk是 BB1 的微调基础。dodeca Dialogueprojects/dodecadialogue/README.md12 个既有任务组成的能看会说智能体评估集合并给出强基线系统。Dialogue NLI对话一致性任务与方法由外部网站维护ParlAI 中对应 parlai/tasks/dialogue_nli 任务。Empathetic Dialogues共情闲聊任务与模型任务实现见 parlai/tasks/empathetic_dialogues。ConvAI2 Competition基于 PersonaChat 的聊天竞赛ParlAI 内任务见 parlai/tasks/convai2。Persona-Chatprojects/personachat/README.md给定人设的闲聊任务与模型任务实现见 parlai/tasks/personachat。Knowledge Grounded知识增强对话SeeKeRprojects/seeker/README.md模块化开源搜索增强语言模型search-augmented由检索、查询生成、回复生成等模块组合模型 zoo 入口zoo:seeker/...agent 实现见 projects/seeker/agents是 BB3 3B 的初始化基础。K2Rprojects/k2r/README.mdReason first, then respond先推理后回复的模块化知识注入对话生成方法。SEA / Wizard of the Internetprojects/sea/README.mdInternet-Augmented Dialogue Generation利用搜索引擎增强开放域闲聊对应任务见 parlai/tasks/wizard_of_internet是 BB2 的检索模块基础。Hallucinationprojects/hallucination/README.mdRetrieval Augmentation Reduces Hallucination给对话模型加检索机制以减少幻觉、保持对话能力。Wizard of Wikipediaprojects/wizard_of_wikipedia/README.md知识基础开放域闲聊的经典任务与模型任务实现见 parlai/tasks/wizard_of_wikipedia。Visually Grounded 与 Environment Grounded多模态与环境交互Multi-Modal BlenderBotprojects/multimodal_blenderbot/README.md同时讨论图片与闲聊的多模态对话模型agent 见 projects/multimodal_blenderbot/agents.py。Image Chat基于人物性格的图片对话任务实现见 parlai/tasks/image_chat。Personality-Captionsprojects/personality_captions/README.md基于人物性格的图片评论生成任务与模型TransResNet 等见 projects/personality_captions/transresnet。LIGHTprojects/light/README.md大型文本冒险游戏研究平台供智能体说话与行动多智能体版本见 projects/multilight/README.mdmulti-party LIGHT对话基于角色人设与地点。Mastering the Dungeon已归档projects/mastering_the_dungeon/README.md通过 MTurk 在文本冒险游戏中训练 grounded agent。Talk The Walk已归档projects/talkthewalk/README.md以纽约街道导航为任务的基础对话研究。QA 与 Evaluation问答与评测工具链HotPotQA与CoQA分别支持多跳推理与连环提问的 QA 任务均由 ParlAI 的 MTurk 工具构建对应任务目录见 parlai/tasks/hotpotqa 与 parlai/tasks/coqa。DrQAprojects/drqa/README.md检索阅读式问答模型是 ParlAI 早期代表性 agent。Human Evaluation Methods Comparisonprojects/humaneval/README.md系统对比不同 crowdworker 人类评测技术对对话模型相对性能差异的检测能力。ACUTE-Evalparlai/crowdsourcing/tasks/acute_eval/README.md对整段对话做两两比较的敏感型人类评测方法被推荐用于多数场景projects/README.md明确其是官方推荐评测手段配套代码含analysis.py、run.py等完整流程。结语如何从这张地图开始你的研究projects/README.md是一张按能力组织的路线图如果你关心对话质量上限从 BlenderBot 系列Recipes → BB2 → BB3 → BB3x沿时间线复现最直观如果关心安全从 safety_recipes 与 safety_bench 建立评测基线再用 CRINGE / DIRECTOR 做方法改进如果关心部署后学习FITS 数据与 teacher 提供了完整闭环而检索/记忆/多模态/环境分支则为每一类特定能力提供了任务与基线模型。所有命令的公共前提是Python 3 环境见 projects/init.py与 ParlAI 快速入门配置见 docs/tutorial_quick.md模型权重统一通过 parlai/zoo 获取。建议先运行各项目 README 中的parlai dd/parlai interactive/parlai eval_model命令打通环境再深入 parlai/agents 与 parlai/core 的源码理解实现细节。赞分享NLP人工智能深度学习【免费下载链接】ParlAIA framework for training and evaluating AI models on a variety of openly available dialogue datasets.项目地址https://gitcode.com/gh_mirrors/pa/ParlAI点击查看免费下载相关推荐Multi-Modal BlenderBot 多模态开放域对话实战指南基于 ParlAI 的图像-文本对话模型复现、微调与安全部署Multi Modal BlenderBot 多模态开放域对话实战指南基于 ParlAI 的图像 文本对话模型复现、微调与安全部署 导读 Multi ModaNLP人工智能深度学习30天精通COLMAP从入门到学术研究的完整学习路线30天精通COLMAP从入门到学术研究的完整学习路线 COLMAP作为开源领域最强大的三维重建工具之一集成了运动恢复结构Structure from Mo计算机视觉图形学图像处理如何在PostgreSQL中启用HTTP接口实现高效数据访问如何在PostgreSQL中启用HTTP接口实现高效数据访问 您是否曾经遇到过这样的场景需要在数据库层面直接调用外部API服务但又不想通过应用程序层进行复教程文档上一篇BaiduPCS-Go突破百度网盘限制的命令行批量转存解决方案深度解析下一篇终极B站字幕提取指南3分钟搞定视频内容本地化创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考