PaddleFormers 中 ERNIE 3.0 Zeus 文心大模型接入指南：安装、文本生成 API 与在线服务部署

人工智能大模型微调模型推理服务【免费下载链接】PaddleFormersPaddleFormers is an easy-to-use library of pre-trained large language model zoo based on PaddlePaddle.项目地址https://gitcode.com/gh_mirrors/pa/PaddleFormers点击查看免费下载ERNIE 3.0 Zeus 是 ERNIE 3.0 系列模型的升级版本本仓库通过 PaddleHub 将其封装为可直接调用的文心大模型 API 模块。本文将完整讲解该模块的安装方式、命令行预测、Python 代码调用、七大预置任务 API 的参数细节以及基于 PaddleHub Serving 的在线服务与 Gradio 交互部署帮助你在 PaddleFormers 生态中快速落地中文文本生成能力。一、模块概览与模型背景1.1 模块基本信息模型名称ernie_zeus类别文本-文本生成网络-数据集-是否支持 Fine-tuning否模型大小-最新更新日期2022-08-16数据指标-从模块声明看该模型在 module.py 中被定义为typenlp/text_generation、version1.2.0的 PaddleHub 模块其核心实现并非本地推理而是通过 HTTP 请求调用文心大模型的云端 API因此文档明确标注“不支持 Fine-tuning”。1.2 应用效果展示文档给出了两个典型的中文生成效果示例作文创作输入作文标题「诚以养德信以修身」模型生成了一篇以《曾国藩家书》为引、围绕“真诚与诚信”展开的完整议论文段落展示了长文本连贯生成能力。文案创作输入产品描述「芍药香氛的沐浴乳」模型输出了一段包含“天然草本精华”“泡沫细腻绵密”“适合干性、中性或敏感性肌肤”等卖点的商品文案展示了营销文案撰写能力。1.3 模型介绍ERNIE 3.0 Zeus 是 ERNIE 3.0 系列模型的最新升级。其除了对无标注数据和知识图谱的学习之外还通过持续学习对百余种不同形式的任务数据学习实现了任务知识增强显著提升了模型的零样本/小样本学习能力。这一“任务知识增强”的设计理念直接体现在模块的 API 设计上custom_generation提供了task_prompt参数内置 PARAGRAPH、Summarization、MT、Dialogue、zuowen、adtext、couplet 等二十余种任务模板让同一个模型底座可以适配不同类型的生成任务。二、环境依赖与安装2.1 环境依赖使用本模块前需要满足以下环境要求paddlepaddle 2.0.0paddlehub 2.2.0其中 PaddleHub 的安装方式可参考 安装文档要求 Python 3.6.2支持 Windows/Mac/Linux 操作系统先安装 PaddlePaddle 框架pip install paddlepaddle -U或 GPU 版pip install paddlepaddle-gpu -U再执行pip install paddlehub2.1.0。安装后可通过paddlehub.server_check()检查与远端 PaddleHub-Server 的连接状态。此外从 requirements.txt 可以看出本模块实际运行只需requests一个第三方依赖因为推理全部在云端完成本地不需要加载模型权重。2.2 安装模块在满足上述依赖后执行$ hub install ernie_zeus如安装时遇到问题可参考各平台的零基础安装指南Windows 安装、Linux 安装、MacOS 安装。2.3 使用申请可选本模型通过云端 API 提供服务调用前需要申请 API Key 和 Secret Key。请前往文心旸谷社区申请使用本模型所需的 API key 和 Secret Key。申请到凭证后有两种传递方式在调用时显式传入ak/sk参数设置WENXIN_AK和WENXIN_SK环境变量推荐。从 module.py 的get_access_token实现可以看到模块会优先使用显式传入的ak/sk否则从环境变量读取两者都缺失时会抛出运行时错误并提示去文心官网申请。拿到凭证后模块通过https://wenxin.baidu.com/younger/portal/api/oauth/token换取 access_token供后续所有生成请求使用。三、模型 API 预测3.1 命令行预测安装完成后可以通过hub run命令直接进行预测。以作文创作为例# 作文创作 # 请设置 --ak 和 --sk 参数 # 或者设置 WENXIN_AK 和 WENXIN_SK 环境变量 # 更多细节参考下方 API 说明 $ hub run ernie_zeus \ --task composition_generation \ --text 诚以养德信以修身参数说明--task(str)指定任务名称与 API 名称保持一致即下文中各生成方法的函数名。--text(str)根据不同的任务输入所需的文本。其他参数请参考后续 API 章节。结合 module.py 中runnable修饰的cmd方法可以看到命令行还支持--min_dec_len、--seq_len、--topp、--penalty_score、--stop_token、--task_prompt、--penalty_text、--choice_text、--is_unidirectional、--min_dec_penalty_text、--logits_bias、--mask_type、--ak、--sk等全部参数。其中--ak与--sk同时非空时会重新获取 access_token 覆盖初始化时的凭证。若--task指定的不是custom_generation命令行会自动剥离仅自定义接口专用的高级参数如stop_token、task_prompt等只保留通用生成参数避免调用出错。3.2 预测代码示例在 Python 中使用 PaddleHub 加载模块并调用import paddlehub as hub # 请设置 ak 和 sk 参数 # 或者设置 WENXIN_AK 和 WENXIN_SK 环境变量 # 更多细节参考下方 API 说明 model hub.Module(nameernie_zeus) # 作文创作 result model.composition_generation( text诚以养德信以修身 ) print(result)模块的单元测试 test.py 中覆盖了全部九个 API 方法均断言返回值为字符串类型例如composition_generation(诚以养德信以修身)、copywriting_generation(芍药香氛的沐浴乳)、text_cloze(她有着一双[MASK]的眼眸。)等可作为各任务调用方式的直接参考。3.3 API 详解构造函数def __init__( ak: Optional[str] None, sk: Optional[str] None ) - None初始化 API。参数ak(Optional[str])文心 API Key默认为 None即从环境变量WENXIN_AK中获取sk(Optional[str])文心 API Secret Key默认为 None即从环境变量WENXIN_SK中获取。自定义文本生成 APIcustom_generation这是所有任务的底层接口其余预置任务本质上都是对该接口的封装。def custom_generation( text: str, min_dec_len: int 1, seq_len: int 128, topp: float 1.0, penalty_score: float 1.0, stop_token: str , task_prompt: str , penalty_text: str , choice_text: str , is_unidirectional: bool False, min_dec_penalty_text: str , logits_bias: int -10000, mask_type: str word ) - str参数说明text(str)模型的输入文本为 prompt 形式的输入。文本长度 [1, 1000]。注ERNIE 3.0-1.5B 模型取值范围 ≤ 512。min_dec_len(int)输出结果的最小长度避免因模型生成 END 或者遇到用户指定的 stop_token 而生成长度过短的情况与 seq_len 结合使用来设置生成文本的长度范围 [1, seq_len]。seq_len(int)输出结果的最大长度因模型生成 END 或者遇到用户指定的 stop_token实际返回结果可能会小于这个长度与 min_dec_len 结合使用来控制生成文本的长度范围 [1, 1000]。注ERNIE 3.0-1.5B 模型取值范围 ≤ 512topp(float)影响输出文本的多样性取值越大生成文本的多样性越强。取值范围 [0.0, 1.0]。penalty_score(float)通过对已生成的 token 增加惩罚减少重复生成的现象。值越大表示惩罚越大。取值范围 [1.0, 2.0]。stop_token(str)预测结果解析时使用的结束字符串碰到对应字符串则直接截断并返回。可以通过设置该值过滤掉 few-shot 等场景下模型重复的 cases。task_prompt(str)指定预置的任务模板效果更好。可选值包括PARAGRAPH引导模型生成一段文章SENT引导模型生成一句话ENTITY引导模型生成词组Summarization摘要MT翻译Text2Annotation抽取Correction纠错QA_MRC阅读理解Dialogue对话QA_Closed_book闭卷问答QA_Multi_Choice多选问答QuestionGeneration问题生成Paraphrasing复述NLI文本蕴含识别SemanticMatching匹配Text2SQL文本描述转 SQLTextClassification文本分类SentimentClassification情感分析zuowen写作文adtext写文案couplet对对联novel写小说cloze文本补全Misc其它任务。penalty_text(str)模型会惩罚该字符串中的 token。通过设置该值可以减少某些冗余与异常字符的生成。choice_text(str)模型只能生成该字符串中的 token 的组合。通过设置该值可以对某些抽取式任务进行定向调优。is_unidirectional(bool)False 表示模型为双向生成True 表示模型为单向生成。建议续写与 few-shot 等通用场景采用单向生成方式而完型填空等任务相关场景建议采用双向生成方式。min_dec_penalty_text(str)与最小生成长度搭配使用可以在 min_dec_len 步前不让模型生成该字符串中的 tokens。logits_bias(int)配合 penalty_text 使用对给定的 penalty_text 中的 token 增加一个 logits_bias可以通过设置该值屏蔽某些 token 生成的概率。mask_type(str)设置该值可以控制模型生成粒度。可选参数为 word、sentence、paragraph。返回text(str)生成的文本。从 module.py 可以看到该接口将上述参数连同access_token通过requests.post发送至https://wenxin.baidu.com/moduleApi/portal/api/rest/1.0/ernie/3.0.28/zeus?frompaddlehub并校验响应码code 0后从results[data][result]中取回生成文本。这意味着每次调用都依赖网络连通性与云端服务可用性。完形填空 APItext_clozedef text_cloze( text: str, min_dec_len: int 1, seq_len: int 512, topp: float 0.9, penalty_score: float 1.0 ) - str完形填空 API。text(str)文字段落使用[MASK]标记待补全文字。其余参数含义与custom_generation中同名参数一致。返回text(str)补全词语。从源码实现看module.py该方法在底层将task_prompt固定为cloze并采用is_unidirectionalFalse双向生成与“完型填空适合双向生成”的官方建议一致。作文创作 APIcomposition_generationdef composition_generation( text: str, min_dec_len: int 128, seq_len: int 512, topp: float 0.9, penalty_score: float 1.2 ) - str作文创作 API。text(str)作文题目。其余参数含义同上。返回text(str)作文内容。实现上module.py会先构造 prompt 格式作文题目{} 正文.format(text)并将task_prompt设为zuowenmin_dec_len默认抬升到 128保证生成的作文具备足够篇幅。自由问答 APIanswer_generationdef answer_generation( text: str, min_dec_len: int 2, seq_len: int 512, topp: float 0.9, penalty_score: float 1.2 ) - str自由问答 API。text(str)问题内容。其余参数含义同上。返回text(str)问题答案。实现上会构造问题{} 回答.format(text)的 prompt使用task_promptqa、penalty_text[gEND]并采用单向生成。对联续写 APIcouplet_continuationdef couplet_continuation( text: str, min_dec_len: int 2, seq_len: int 512, topp: float 0.9, penalty_score: float 1.0 ) - str对联续写 API。text(str)对联上联。其余参数含义同上。返回text(str)对联下联。实现上构造上联{} 下联.format(text)的 prompt使用task_promptcoupletmask_typeword。文案创作 APIcopywriting_generationdef copywriting_generation( text: str, min_dec_len: int 32, seq_len: int 512, topp: float 0.9, penalty_score: float 1.2 ) - str文案创作 API。text(str)产品描述。其余参数含义同上。返回text(str)产品文案。实现上构造标题{} 文案.format(text)的 prompt使用task_promptadtextmin_dec_len默认 32 以保证文案的基本长度。小说续写 APInovel_continuationdef novel_continuation( text: str, min_dec_len: int 2, seq_len: int 512, topp: float 0.9, penalty_score: float 1.2 ) - str小说续写 API。text(str)小说上文。其余参数含义同上。返回text(str)小说下文。实现上构造上文{} 下文.format(text)的 prompt使用task_promptgPARAGRAPH并采用单向生成与“续写场景建议单向生成”的建议一致。文本摘要 APItext_summarizationdef text_summarization( text: str, min_dec_len: int 4, seq_len: int 512, topp: float 0.0, penalty_score: float 1.0 ) - str文本摘要 API。text(str)文本段落。其余参数含义同上。返回text(str)段落摘要。该任务在实现上构造文章{} 摘要.format(text)的 prompt使用task_promptSummarization。注意其topp默认值为0.0即默认采用接近确定性的生成方式保证摘要结果稳定、忠实于原文。四、服务部署PaddleHub Serving 可以部署一个在线文本生成服务将上述 API 以 HTTP 接口的形式对外开放。第一步启动 PaddleHub Serving运行启动命令$ hub serving start -m ernie_zeus这样就完成了一个文本生成在线服务 API 的部署默认端口号为 8866。结合 serving.py 的实现可以看到hub serving start支持-m/--modules指定模块、-p/--port指定端口默认 8866、--use_multiprocess多进程模式Windows 不支持以及--config/-c配置文件方式启动端口被占用时会报错提示更换端口停止服务可用hub serving stop -p 端口号。第二步发送预测请求配置好服务端后以下代码即可实现发送预测请求并获取预测结果import requests import json # 发送HTTP请求 # 参数参考自定义文本生成接口 data {text: 巨大的白色城堡} headers {Content-type: application/json} url http://127.0.0.1:8866/predict/ernie_zeus r requests.post(urlurl, headersheaders, datajson.dumps(data)) # 获取返回结果 print(r.json()[results])Gradio App 支持从 PaddleHub 2.3.1 开始支持在浏览器中访问链接http://127.0.0.1:8866/gradio/ernie_zeus查看并交互使用 ernie_zeus 的 Gradio App。该能力由模块内的create_gradio_app方法module.py提供界面内置了任务下拉框text_summarization、copywriting_generation、novel_continuation、answer_generation、couplet_continuation、composition_generation、text_cloze 七种任务以及 min_dec_len、seq_len、topp、penalty_score 四个滑杆控件并预置了多个示例输入无需编写任何前端代码即可体验各任务的生成效果。其路由实现位于 app_compat.py访问/gradio/module_name时服务端动态创建 Gradio App 并将/gradio/module_name/path下的所有资源代理到 Gradio 服务器。五、更新历史1.0.0初始发布。1.1.0移除默认 AK 和 SK即要求用户显式提供文心 API 凭证。1.2.0添加 Serving 和 Gradio App 支持。如需安装指定历史版本可使用$ hub install ernie_zeus 1.2.0六、小结ERNIE 3.0 Zeus 模块以“云端 API PaddleHub 封装”的方式让开发者无需管理模型权重和 GPU 资源即可获得中文文本生成能力。本文覆盖了从凭证申请、环境安装、命令行与 Python 调用到七类预置任务 API 的完整参数语义以及 PaddleHub Serving 在线部署和 Gradio 可视化交互的完整链路。实际使用中建议根据任务类型选择合适的task_prompt与is_unidirectional组合并通过min_dec_len/seq_len控制输出长度、topp/penalty_score调节多样性与去重效果以获得理想的生成结果。赞分享人工智能大模型微调模型推理服务【免费下载链接】PaddleFormersPaddleFormers is an easy-to-use library of pre-trained large language model zoo based on PaddlePaddle.项目地址https://gitcode.com/gh_mirrors/pa/PaddleFormers点击查看免费下载相关推荐PaddleFormers 中 Stable Diffusion 文图生成模型PaddleHub 安装、推理 API 与在线服务部署实战PaddleFormers 中 Stable Diffusion 文图生成模型PaddleHub 安装、推理 API 与在线服务部署实战 导读 本文基于 Pa人工智能大模型微调模型推理服务PaddleFormers 中文词向量模型 w2v_people_daily_target_word-bigram_dim300 实战指南安装、API 调用与 Serving 在线服务部署PaddleFormers 中文词向量模型 w2v_people_daily_target_word bigram_dim300 实战指南安装、API 调用与人工智能大模型微调模型推理服务PaddleFormers 色情文本检测porn_detection_gru 模型安装、API 预测与服务化部署完整指南PaddleFormers 色情文本检测porn_detection_gru 模型安装、API 预测与服务化部署完整指南 本指南基于 PaddleFormer人工智能大模型微调模型推理服务创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考