LMFlow 快速上手实战指南：环境安装、Full/LoRA/LISA 三种微调、推理部署与 Benchmark 评测

人工智能大模型微调模型评测强化学习多模态【免费下载链接】LMFlowAn Extensible Toolkit for Finetuning and Inference of Large Foundation Models. Large Models for All.项目地址https://gitcode.com/gh_mirrors/lm/LMFlow点击查看免费下载本篇基于 LMFlow 仓库的官方快速上手文档docs/readme/README_ko.md 的中文版 docs/readme/README_zh-hans.md 同源整理而成覆盖从环境安装、数据集准备到全参数 / LoRA / LISA 三种微调策略、推理对话、Gradio 部署与 NLL Benchmark 评测的完整流程并结合仓库源码剖析accelerate训练脚本、关键参数默认值与 LISA 训练器的底层实现帮助读者在当前仓库中直接复现一套可运行的大模型微调与推理工作流。项目定位与核心特性LMFlowLarge Model Flow是面向大型基础模型的可扩展微调与推理工具箱目标是提供用户友好、快速、可靠且社区可访问的大规模机器学习模型训练工具链。仓库以 src/lmflow 为核心组织为args参数定义、datasets数据加载、models模型封装、pipeline微调/对齐/推理/评测管线、tokenization对话模板与utils六大模块examples/目录则提供了每个管线的命令行入口脚本。从 docs/readme/README_ko.md 的“Latest News”更新日志可以看到项目持续演进的重点方向对话模板conversation template支持预置 Llama-3、Phi-3 等常用模板训练脚本加一个--conversation_template参数即可启用LISA 支持24G 显存单机即可训练 7B 模型无需释放显存推测解码speculative decoding、Flash Attention-2、LLaMA 位置插值线性与 NTK 缩放等推理加速能力。环境安装Setup官方说明仓库已在 LinuxUbuntu 20.04上完成测试macOS、Windows 尚未完全测试可能在预期之外出错建议先在 Linux / WSL 或 Google Colab 上验证。基础安装git clone -b v1.0.0 https://gitcode.com/gh_mirrors/lm/LMFlow.git cd LMFlow conda create -n lmflow python3.9 -y conda activate lmflow conda install mpi4py pip install -e .从 setup.py 可以看到requires_python3.9基础依赖直接读取 requirements.txt因此 conda 环境中使用 Python 3.9 是最稳妥的选择mpi4py需要单独通过 conda 安装以获得预编译版本。可选依赖Extras基础安装即可满足 Full / LoRA / LISA 微调以及 HuggingFace 后端推理。其余功能通过 pip extras 按需开启。以下表格继承自原文档并结合 setup.py 中extra_require的实际声明补充了版本约束Extra激活的功能安装命令实际依赖setup.pyvllmvLLM 推理、iterative DPOpip install -e .[vllm]vllm0.8.0sglangSGLang 推理、iterative DPOpip install -e .[sglang]sglang、pybase64trlDPO / iterative DPO 训练pip install -e .[trl]trl0.11,0.12、richdeepspeedDeepSpeed 集成pip install -e .[deepspeed]deepspeed0.14.4flash_attnFlash Attention 2pip install -e .[flash_attn]flash-attn2.0.2ray分布式 reward model 推理pip install -e .[ray]ray2.22.0multimodal多模态模型pip install -e .[multimodal]PillowgradioGradio 聊天机器人 UIpip install -e .[gradio]gradioflaskFlask 部署pip install -e .[flask]flask、flask_corsextras 可组合使用例如 vLLM 版的 iterative DPO 需要pip install -e .[vllm,trl]SGLang 版则是.[sglang,trl]。重要提示vLLM 与 SGLang 依赖不兼容的 CUDA / PyTorch 版本不能安装在同一环境。两者都需要时请分别创建独立 conda 环境例如lmflow-vllm、lmflow-sglang。setup.py 中对pybase64的补充说明也印证了这一点——SGLang 会急切导入该依赖缺失时import sglang直接报 ModuleNotFoundError。准备数据集训练数据通过仓库自带的下载脚本获取。data/download.sh 支持按名称从项目公共服务器下载并解压多种数据集Quick Start 中的指令是cd data ./download.sh alpaca cd -该命令会拉取alpaca.tar.gz并解压到data/alpaca/其中train_conversation子目录即为后文微调脚本使用的指令对话数据。此外脚本还支持MedMCQA、MedQA-USMLE、PubMedQA、hh_rlhf、dpo-mix-7k、ultrafeedback-binarized-preferences-cleaned、wiki_cn、wikitext-2-raw-v1、各类*_eval评测集以及coco2017、llava_instruction_finetune_80k等多模态数据传入all可一次性下载全部数据集。自定义对话数据与文本数据的格式规范请参见官方数据集文档 docs/source/examples/DATASETS.md。微调Fine-Tuning三种微调方式共用同一个 Python 入口 examples/finetune.py其调用链清晰直接用HfArgumentParser解析ModelArguments、DatasetArguments与FinetunerArguments三组参数见 src/lmflow/args.py通过AutoPipeline.get_pipeline(finetuner, ...)构造微调管线src/lmflow/pipeline/auto_pipeline.py分别构建Dataset与AutoModel最后调用finetuner.tune(modelmodel, datasetdataset)启动训练。各scripts/下的 shell 脚本本质上是accelerate launch --config_file configs/accelerate_fsdp_config.yaml examples/finetune.py ...的参数化封装默认模型为meta-llama/Llama-3.2-3B-Instruct、数据为data/alpaca/train_conversation并统一设置了block_size 512、learning_rate 2e-5、lr_scheduler_type cosine、bf16、num_train_epochs 1等训练超参见 scripts/run_finetune.sh。全参数微调Full全参数微调会更新模型的全部参数GPT-2 的示例如下cd data ./download.sh alpaca cd - ./scripts/run_finetune.sh \ --model_name_or_path gpt2 \ --dataset_path data/alpaca/train_conversation \ --output_model_path output_models/finetuned_gpt2对话数据集可以指定对话模板在命令中追加--conversation_template参数即可。例如用 Llama-3-8B 训练时cd data ./download.sh alpaca cd - ./scripts/run_finetune.sh \ --model_name_or_path meta-llama/Meta-Llama-3-8B \ --dataset_path data/alpaca/train_conversation \ --conversation_template llama3 \ --output_model_path output_models/finetuned_llama3_8b从 src/lmflow/args.py 中DatasetArguments.conversation_template的定义可以看到该参数支持 LMFlow 预置模板名如llama3、qwen2_5、deepseek_v3也支持特殊值tokenizer/hf_auto以直接使用tokenizer.chat_templatetokenizer为严格模式hf_auto在模板不可用时回退到 LMFlow 默认模板。模板实现位于 src/lmflow/utils/conversation_template/涵盖llama、chatml、qwen、deepseek、gemma、phi、chatglm、internlm、yi、zephyr等家族。另外两个与数据切分相关的参数值得注意见 src/lmflow/args.pyblock_size控制 tokenization 后的截断块长度脚本默认为 512disable_group_texts默认为True表示长样本截断、短样本补齐到block_size而将其设为False则会把 tokenize 后的序列按每 1000 条分组再切块适合继续预训练 / 预训练场景。LISA 微调LISALayerwise Importance Sampling是一种内存高效的大语言模型微调算法通过周期性随机解冻少量层在显存占用与更新层数之间取得平衡。下面的脚本目前在单 GPU上测试通过cd data ./download.sh alpaca cd - ./scripts/run_finetune_with_lisa.sh \ --model_name_or_path meta-llama/Llama-2-7b-hf \ --dataset_path data/alpaca/train_conversation \ --output_model_path output_models/finetuned_llama2_7b \ --lisa_activated_layers 1 \ --lisa_interval_steps 20也可叠加对话模板./scripts/run_finetune_with_lisa.sh \ --model_name_or_path meta-llama/Llama-2-7b-hf \ --dataset_path data/alpaca/train_conversation \ --conversation_template llama2 \ --output_model_path output_models/finetuned_llama2_7b_lisa \ --lisa_activated_layers 1 \ --lisa_interval_steps 20LISA 的三个核心参数在 src/lmflow/args.py 的FinetunerArguments中有明确定义与默认值参数默认值含义--use_lisaFalse是否启用 LISA 训练策略脚本中传1--lisa_activated_layers2每个冻结区间内随机激活解冻的层数--lisa_interval_steps20每隔多少步随机切换一次解冻层--lisa_layers_attributemodel.model.layers层容器所在属性路径用于定位各 Transformer 层需要说明的是原文档“Supported Features”一节写作--lisa_step_interval而仓库源码中实际生效的参数名是lisa_interval_steps请以 scripts/run_finetune_with_lisa.sh 中的写法为准。LISA 的训练器实现位于 src/lmflow/pipeline/utils/lisa_trainer.py它负责在每个lisa_interval_steps区间内随机挑选层解冻、其余层冻结从而把激活显存压缩到与激活层数成比例的规模。LoRA 微调LoRA 是比全参数微调更参数高效的低秩适配算法cd data ./download.sh alpaca cd - ./scripts/run_finetune_with_lora.sh \ --model_name_or_path facebook/galactica-1.3b \ --dataset_path data/alpaca/train_conversation \ --output_lora_path output_models/finetuned_galactica_lora针对 Llama-2-7B 的对话模板版本./scripts/run_finetune_with_lora.sh \ --model_name_or_path meta-llama/Llama-2-7b-hf \ --dataset_path data/alpaca/train_conversation \ --conversation_template llama2 \ --output_model_path output_models/finetuned_llama2_7b_lora从 scripts/run_finetune_with_lora.sh 可以看到脚本内置了 LoRA 超参--lora_r 8、--lora_alpha 32、--lora_dropout 0.1并置--use_lora 1开启。仓库另提供量化 LoRA 脚本 scripts/run_finetune_with_qlora.sh 与自定义优化器脚本 scripts/run_finetune_with_custom_optim.sh后者可搭配 src/lmflow/optim/ 下的 Sophia、AdamW-schedule-free、SGDP 等自研优化器。LoRA 权重合并训练完成后可用如下命令把 LoRA 权重合并回基础模型./scripts/run_merge_lora.sh \ --model_name_or_path Qwen/Qwen1.5-1.8B \ --lora_model_path output_models/lora \ --output_model_path output_models/lora_merged从 scripts/run_merge_lora.sh 的实现看该脚本目前仅支持 CPU 合并--device cpu传入gpu会直接报错退出。推理Inference与部署Deployment命令行聊天微调完成后用模型路径与 scripts/archive/run_chatbot.sh 对话./scripts/archive/run_chatbot.sh output_models/finetuned_gpt2该脚本默认以gpt2为基础模型第一个位置参数为模型路径HF 名称或本地路径第二个位置参数可选用于加载 LoRA 权重--lora_model_path默认推理参数为max_new_tokens 256、temperature 1.0、end_string #。除基础聊天外仓库还内置了多种高性能推理入口vLLM 推理scripts/run_vllm_inference.sh需安装vllmextra对应 src/lmflow/pipeline/vllm_inferencer.pySGLang 推理scripts/run_sglang_inference.sh对应 src/lmflow/pipeline/sglang_inferencer.py直接调用 examples/inference.py、examples/vllm_inference.py、examples/sglang_inference.py 亦可完成相同流程。Gradio 本地部署若要在本地部署模型仓库提供 Gradio 聊天 UI。以 Robin-7b 为例pip install gradio python ./examples/chatbot_gradio.py --deepspeed configs/archive/ds_config_chatbot.json --model_name_or_path YOUR-LLAMA --lora_model_path ./robin-7b --prompt_structure A chat between a curious human and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the humans questions.###Human: {input_text}###Assistant: --end_string # --max_new_tokens 200其中--prompt_structure定义了指令前缀模板{input_text}为占位符--end_string指定生成停止符。模型评测LMFlow BenchmarkLMFlow Benchmark 是一个面向开源 LLM 的自动评测框架以Negative Log LikelihoodNLL作为统一指标评估模型在对话、常识推理与指令遵循等多个维度的能力。以 GPT-2 XL 为例./scripts/archive/run_benchmark.sh --model_name_or_path gpt2-xl--model_name_or_path是必填项接受 HuggingFace 模型名或本地路径。评测结果写入./output_dir/gpt2-xl_lmflow_chat_nll_eval、./output_dir/gpt2-xl_all_nll_eval与./output_dir/gpt2-xl_commonsense_qa_eval目录下的benchmark.log中。从 examples/benchmarking.py 可以看到其内部结构LOCAL_DATSET_MAP将评测名映射到本地数据目录gpt4_en_eval、gpt4_zh_eval、wiki_zh_eval、wiki_en_eval、multiturn_dialog_eval、MedMCQA、MedQA-USMLE、PubMedQA、alpaca、各类common_sense_eval_*与lmflow_chat_*多轮对话集这些数据集均可用data/download.sh的对应名称下载脚本随后以 NLL 为指标、结合--prompt_structure模板逐集计算并汇总日志。scripts/archive/run_benchmark.sh 则通过deepspeed启动该脚本默认附带--metric nll --prompt_structure ###Human: {input}###Assistant:。支持的特性纵览原文档“Supported Features”一节按五大类组织这里继承其骨架并给出仓库内对应落点微调加速与内存优化LISA层级重要性采样的内存高效微调算法通过选择性冻结层在显存受限环境下超越常规微调方法。开启方式为--use_lisa 1并用--lisa_activated_layers默认 2与--lisa_interval_steps默认 20控制采样行为参数定义见 src/lmflow/args.pyLoRA低秩参数高效微调用法见上文“LoRA 微调”一节FlashAttention支持 FlashAttention-1 与 FlashAttention-2详见 docs/readme/flash_attn2.md。训练脚本中的--use_flash_attention开关定义于 src/lmflow/args.py开启前需要安装flash_attnextraGradient Checkpointing以计算换显存的内存优化技术训练命令加--gradient_checkpointing即可参数默认值见 src/lmflow/args.pyDeepSpeed ZeRO-3仓库提供 configs/deepspeed/zero3.json 及 zero0/zero2 等一组 DeepSpeed 配置configs/deepspeed/另有配套的 configs/accelerate_dsz3_config.yaml 等 accelerate 配置可直接替换accelerate launch --config_file使用。推理加速LLaMA CPU 推理借助 llama.cpp 的 4-bit 量化路线在 CPU 上运行 LLaMA仓库提供将 LLaMA LoRA 权重转换为.pt文件的脚本再配合 llama.cpp 的convert-pth-to-ggml.py完成量化FlashAttention同上FlashAttention-2 同时服务训练与推理。长文本LLaMA 位置插值Position Interpolation通过线性与 NTK 缩放两种插值策略扩展 LLaMA 的上下文窗口实现位于 src/lmflow/utils/position_interpolation/原理说明见 docs/readme/Position_Interpolation.md。模型定制词汇表扩展vocab extension训练自定义 sentencepiece tokenizer 后与模型内置的 HuggingFace tokenizer 结合扩展词表。多模态多模态聊天机器人LMFlow 支持图像 文本输入示例脚本见 scripts/multimodal/run_vis_chatbot_gradio_minigpt4.sh训练入口为 examples/finetune_multi_modal.py多模态数据集类为 src/lmflow/datasets/multi_modal_dataset.py。许可与引用项目代码采用Apache 2.0许可见 LICENSE。若将项目中包含的模型用于商业用途请先向项目开发者申请许可。引用 LMFlow 及相关工作时可使用以下文献arXiv:2306.12420、arXiv:2304.06767、arXiv:2403.17919article{diao2023lmflow, title{Lmflow: An extensible toolkit for finetuning and inference of large foundation models}, author{Diao, Shizhe and Pan, Rui and Dong, Hanze and Shum, Ka Shun and Zhang, Jipeng and Xiong, Wei and Zhang, Tong}, journal{arXiv preprint arXiv:2306.12420}, year{2023} }article{dong2023raft, title{Raft: Reward ranked finetuning for generative foundation model alignment}, author{Dong, Hanze and Xiong, Wei and Goyal, Deepanshu and Pan, Rui and Diao, Shizhe and Zhang, Jipeng and Shum, Kashun and Zhang, Tong}, journal{arXiv preprint arXiv:2304.06767}, year{2023} }article{pan2024lisa, title{LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning}, author{Pan, Rui and Liu, Xiang and Diao, Shizhe and Pi, Renjie and Zhang, Jipeng and Han, Chi and Zhang, Tong}, journal{arXiv preprint arXiv:2403.17919}, year{2024} }如需帮助请在项目仓库的 Issue 区提交问题。需要强调的适用前提本文所有命令均以当前仓库的实际文件布局为准——例如聊天与评测脚本现位于 scripts/archive/ 目录DeepSpeed 配置位于 configs/deepspeed/与原文档中的历史路径可能不同执行前请先用仓库内脚本确认实际参数。赞分享人工智能大模型微调模型评测强化学习多模态【免费下载链接】LMFlowAn Extensible Toolkit for Finetuning and Inference of Large Foundation Models. Large Models for All.项目地址https://gitcode.com/gh_mirrors/lm/LMFlow点击查看免费下载相关推荐LMFlow 快速上手Full / LoRA / LISA 微调、推理、部署与 Benchmark 评估完整实战指南LMFlow 快速上手Full / LoRA / LISA 微调、推理、部署与 Benchmark 评估完整实战指南 本文基于 LMFlow 官方文档日语版人工智能大模型微调模型评测强化学习多模态LMFlow 快速上手实战指南从环境搭建、数据集准备到全量/LISA/LoRA 微调、推理与评测LMFlow 快速上手实战指南从环境搭建、数据集准备到全量/LISA/LoRA 微调、推理与评测 本文基于 LMFlow 仓库的官方多语言 README d人工智能大模型微调模型评测强化学习多模态Unsloth 快速微调与本地推理实战指南从环境安装、LoRA 调参到动态量化与 GRPOUnsloth 快速微调与本地推理实战指南从环境安装、LoRA 调参到动态量化与 GRPO 本文以 Unsloth 官方文档的完整抓取版 llms txt.mAI 技能人工智能大模型深度学习上一篇Subagent编排难题everything-claude-code如何解决上下文问题与迭代检索模式下一篇把安卓APK装进WindowsAPK Installer使用全记录创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考