PaddleNLP 3.0 完整安装指南：pip / Conda / 源码 / Docker 多途径部署与验证

PaddleNLP 3.0 完整安装指南pip / Conda / 源码 / Docker 多途径部署与验证【免费下载链接】PaddleNLPEasy-to-use and powerful LLM and SLM library with awesome model zoo.项目地址: https://gitcode.com/gh_mirrors/pa/PaddleNLP本指南以 docs/zh/get_started/installation.rst 为骨架系统讲解 PaddleNLP 3.0 的四种安装方式pip、Anaconda/Miniconda、源码、Docker并深入分析 setup.py、requirements.txt 等源码层面的依赖细节帮助读者根据自身环境CUDA 版本、操作系统、网络条件选择最合适的安装路径并在安装后完成版本验证与环境自检。安装前的核心前提飞桨PaddlePaddle3.0PaddleNLP 是构建在飞桨深度学习框架之上的自然语言处理与大模型开发套件因此安装 PaddleNLP 之前必须先安装好 PaddlePaddle。官方安装说明明确要求已安装paddlepaddle-gpu或paddlepaddle版本必须大于或等于 3.0README.md 中同样注明依赖paddlepaddle 3.0.0rc1Python 版本要求 3.8由 setup.py 中的python_requires3.8限定。注意PaddleNLP 3.x 属于大模型时代的新版本套件与基于 PaddlePaddle 2.x 的 PaddleNLP 2.x 版本在 API 和安装方式上均有差异务必保证飞桨主框架版本满足 3.0 要求后再继续。CUDA 11.8 与 12.3 的 GPU 版飞桨安装对于使用 NVIDIA GPU 的用户官方文档针对主流 CUDA 版本给出了对应的安装命令两个 CUDA 版本对应的 pip 索引源不同请务必按自己的 CUDA 环境选择# CUDA 11.8 环境 python -m pip install paddlepaddle-gpu3.0.0rc1 -i https://www.paddlepaddle.org.cn/packages/stable/cu118/ # CUDA 12.3 环境 python -m pip install paddlepaddle-gpu3.0.0rc1 -i https://www.paddlepaddle.org.cn/packages/stable/cu123/其中3.0.0rc1为当前版本对应的飞桨候选发布版本号-i参数指定了飞桨官方提供的按 CUDA 版本分发的软件源。如果本地 CUDA 版本与命令不匹配例如使用 CUDA 12.012.2建议到飞桨官网查阅对应 CUDA 版本的安装指引后再执行。CPU 用户则直接安装 CPU 版即可python -m pip install paddlepaddle方式一pip 安装最快捷pip 是 PaddleNLP 官方推荐的最简单安装方式在命令行终端中运行pip install --upgrade --pre paddlenlp3.0.0b4--upgrade将 paddlenlp 升级到指定版本如果已安装旧版本--pre允许安装预发布beta/rc版本PaddleNLP 3.0 系列目前以 beta 版本迭代必须带上该参数3.0.0b4固定安装 3.0.0 Beta4 版本即当前仓库的主版本见 setup.py 中__version__ 3.0.0b4.post。执行后 pip 会自动解析并安装 requirements.txt 中声明的全部运行依赖包括但不限于依赖说明datasets3.6.0/pyarrow20.0.0数据集加载与序列化numpy1.26.4数值计算有上限约束sentencepiece/tokenizers/tiktoken各类分词器后端huggingface_hub0.19.2HuggingFace 生态交互onnx/paddle2onnx模型导出与转换fastapi/uvicorn/typerWeb 服务与命令行框架visualdl训练可视化safetensors权重安全存储格式omegaconf/einops/jinja2等配置管理与算子支持需要注意tokenizers的版本根据 Python 版本动态选择见 requirements.txt且fast_dataindex仅在 Linux 平台安装说明 Windows/macOS 用户在部分功能上会有差异。安装完成后pip 会自动注册paddlenlp命令行工具见 setup.py 的entry_points配置可通过paddlenlp --help验证。方式二使用 Anaconda / Miniconda 安装Anaconda 和 Miniconda 是最流行的 Python 发行版本可以简化包管理与环境隔离特别适合需要同时维护多个 Python 版本或隔离实验环境的开发者。Windows 安装步骤下载访问 Anaconda 或 Miniconda 官网下载适用于Windows 64-Bit的安装包安装运行下载的安装包按照屏幕提示完成安装配置环境打开 Anaconda Prompt 或 Miniconda Prompt依次执行# 创建名为 my_paddlenlp 的环境指定 Python 版本推荐 3.9 或 3.10 conda create -n my_paddlenlp python3.9 # 激活环境 conda activate my_paddlenlp # 安装 PaddleNLP--pre 表示安装预发布版本 pip install --upgrade --pre paddlenlp如果希望安装 nightly每日构建版本pip install --pre --upgrade paddlenlp -f https://www.paddlepaddle.org.cn/whl/paddlenlp.html-f--find-links指定了飞桨官方 nightly 轮子包的查找页面--upgrade会覆盖到最新构建。Linux / Mac 安装步骤下载访问 Anaconda 或 Miniconda 官网下载适用于 Linux / macOS 的安装包安装打开终端进入下载目录并执行安装脚本bash Anaconda3-*.sh或类似脚本配置环境创建并激活环境、安装 PaddleNLP 的步骤与 Windows 完全一致上述命令同样适用。提示在 conda 环境中同样需要先安装满足 3.0 版本要求的飞桨再安装 PaddleNLP顺序不要颠倒。方式三源码安装开发模式需要阅读源码、参与二次开发或想使用最新develop分支特性的开发者可以采用源码安装方式。官方文档给出的步骤为克隆 GitHub 仓库并切换到 develop 分支git clone https://github.com/PaddlePaddle/PaddleNLP.git cd PaddleNLP git checkout develop在仓库根目录下可以根据需要选择以下安装方式# 方式 A直接以源码模式安装推荐开发者使用 pip install -e . # 方式 B先安装基础运行依赖再安装开发/测试/文档等扩展依赖 pip install -r requirements.txt pip install -r requirements-dev.txt结合 setup.py 源码可以看到几个值得开发者注意的点版本号自动生成setup.py会根据环境变量PADDLENLP_STABLE_VERSION决定输出稳定版本号还是带日期的post版本号setup.pygit commit 写入在 git 仓库内构建时会自动把当前 commit 写入paddlenlp/version/__init__.py方便追溯源码版本setup.py扩展依赖分组extras中按tests、docs、autonlp和dev分组了不同场景的额外依赖setup.py例如可通过pip install paddlenlp[dev]一次性安装开发所需依赖打包范围packages排除了examples、tests、applications等目录setup.py这些目录不属于 pip 包本体开发模式下需要配合 git 仓库使用。源码安装后的版本自检源码安装完成后可以通过以下方式确认版本与 commit 信息该能力由 paddlenlp/version/init.py 中的show()函数提供import paddlenlp paddlenlp.version.show() # commit: 当前源码对应 git commit id同时可打印完整版本号import paddlenlp print(paddlenlp.__version__)方式四使用 Docker 镜像体验Docker 可以在隔离的容器环境中体验 PaddleNLP避免污染宿主机环境适合快速验证或部署。前提是宿主机已安装并启动 Docker。# 假设已经拉取并启动了 PaddlePaddle 官方提供的 Docker 镜像 # 进入 Docker 容器后安装 PaddleNLP pip install --upgrade --pre paddlenlp如需在容器中使用 nightly 版本pip install --pre --upgrade paddlenlp -f https://www.paddlepaddle.org.cn/whl/paddlenlp.html容器内安装完成后即可直接使用。对于追求开箱即用的用户PaddleNLP 3.0 还提供了专门的推理部署镜像相关说明可参考 llm/server/README.md。安装后验证与常见问题验证安装是否成功import paddlenlp import paddle print(PaddlePaddle version:, paddle.__version__) print(PaddleNLP version:, paddlenlp.__version__)如果输出正常且无报错说明环境就绪。还可以进一步验证核心 API 是否可用from paddlenlp.transformers import AutoTokenizer, AutoModel tokenizer AutoTokenizer.from_pretrained(ernie-3.0-medium-zh) model AutoModel.from_pretrained(ernie-3.0-medium-zh) print(模型与分词器加载成功)常见问题排查现象可能原因与解决建议ImportError: no module named paddle未安装飞桨或飞桨版本低于 3.0请先按上文安装paddlepaddle-gpu/paddlepaddle 3.0.0rc1安装时 CUDA 相关报错检查本地 CUDA 版本选择 cu118 或 cu123 对应的索引源安装 GPU 版飞桨paddlenlp命令找不到确认安装成功并检查 Python Scripts 目录是否在 PATH 中源码安装可改用python -m paddlenlp.cli.main方式调用依赖版本冲突PaddleNLP 对numpy1.26.4、datasets3.6.0等有严格约束见 requirements.txt建议在干净的 conda 环境中安装训练或推理缺少自定义算子部分 CPU 高性能算子如基于 AVX512 的推理优化需要单独编译参考 csrc/cpu/README.md 中的bash setup.sh步骤关于 CPU 自定义算子的补充说明对于 X86 CPU 上的大模型推理PaddleNLP 还提供独立的 CPU 自定义算子编译入口csrc/cpu/README.md。流程为# 1. 先确认机器支持 avx512 指令 lscpu | grep avx512* # 2. 建议在 gcc 9.4.0 环境下编译安装第三方库与自定义算子 bash setup.sh这一步不是 pip 安装 PaddleNLP 的必要步骤仅在需要启用特定 CPU 加速算子时按需执行。安装路径选择速览安装方式适用场景关键命令pip最快上手、日常使用pip install --upgrade --pre paddlenlp3.0.0b4conda环境隔离、多版本 Python 共存conda create -n my_paddlenlp python3.9 pip install --upgrade --pre paddlenlp源码二次开发、跟踪 develop 分支git clone ... git checkout develop pip install -e .Docker隔离环境、快速验证、服务化部署容器内执行pip install --upgrade --pre paddlenlp无论选择哪种方式前置条件始终一致Python 3.8 且 PaddlePaddle 3.0.0rc1。安装完成后建议按本指南末尾的验证步骤做一次环境自检确认版本号与模型加载功能正常再进入 10 分钟快速上手 或 大模型微调、预训练 等进阶流程。【免费下载链接】PaddleNLPEasy-to-use and powerful LLM and SLM library with awesome model zoo.项目地址: https://gitcode.com/gh_mirrors/pa/PaddleNLP创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考