DeepSeek-R1 模型从下载到跑通推理，零门槛全流程指南

DeepSeek-R1 模型从下载到跑通推理零门槛全流程指南【免费下载链接】DeepSeek-R1探索新一代推理模型DeepSeek-R1系列以大规模强化学习为基础实现自主推理表现卓越推理行为强大且独特。开源共享助力研究社区深入探索LLM推理能力推动行业发展。【此简介由AI生成】项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-R1本文带你跑通 DeepSeek-R1 这一大规模推理模型的完整链路从版本选型、权重下载到单卡/双卡部署和效果验证。覆盖 2 个核心版本与 6 个蒸馏版本的选型速查、3 种支持断点续传的获取方式、环境依赖要求、官方推荐参数与常见报错速查表。选型 → 获取 → 部署 → 验证四步走。 先选哪个DeepSeek-R1 系列模型选型速查R1 系列分两层核心模型基于 DeepSeek-V3-Base采用 MoE混合专家架构671B 总参数中每 token 只激活 37B蒸馏版本则用 R1 生成的推理数据微调 Qwen2.5 和 Llama3 系列稠密模型。两者均支持 128K 上下文README.md 官方数据。模型参数量硬件规模约适合场景R1 核心版671B 总 / 37B 激活多机多卡需官方推理框架生产级推理、研究复现R1-Distill-Llama-70B70B 稠密4×80GB 级单机最强推理R1-Distill-Qwen-32B32B 稠密2×80GB官方示例用 tp 2单机双卡性价比首选R1-Distill-Qwen-14B14B 稠密1×80GB 或 2×24GB单卡/双卡通用R1-Distill-Qwen-7B / Llama-8B7B / 8B单张 24GB 卡快速验证、开发调试R1-Distill-Qwen-1.5B1.5B单张入门级卡轻量跑通流程怎么选目标只是跑通链路就从 7B/8B 单卡起步硬件到位再升 32B671B 核心版能力最强但依赖官方推理框架和多机环境建议先把蒸馏版跑熟。硬件列为权重重度估算32B 一行以官方 vLLM 示例双卡为准。选型定了下一步是权重怎么拿进来。 获取 DeepSeek-R1 权重的三种方式对比与推荐方式适用场景优点缺点huggingface_hub的snapshot_download任意规模模型、大量分片下载断点续传默认开启可按文件名筛选依赖 Hub 连通性国内建议配镜像git cloneLFS需要完整仓库配置 权重 代码一条命令拿全git lfs支持续传需预装 LFS671B 版克隆耗时长HTTP 直接抓单文件只取config.json、tokenizer.json等小文件无额外依赖不适合 163 个分片的大权重推荐主路径是snapshot_download中断后重新执行同一命令即可续传。当你要首次拉取模型或上次下载中断了时用这段from huggingface_hub import snapshot_download model_dir snapshot_download( repo_iddeepseek-ai/DeepSeek-R1-Distill-Qwen-32B, local_dir./r1-distill-32b, local_dir_use_symlinksFalse, ) print(下载到:, model_dir)备选一Hub 连通性受限时用镜像仓库直接克隆本文对应仓库地址git lfs install git clone https://gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-R1备选二只想核对架构配置时用curl从仓库 raw 地址抓单个config.json即可不必克隆整个仓库。⚠️ 下载前先查磁盘空间671B 核心版权重共 163 个分片见 model.safetensors.index.jsonconfig.json显示其为 FP8e4m3存储按 671B 参数量估算下载量在 671GB 以上建议预留 1TB 余量。执行df -h .确认后再开始。文件到位后先做环境检查避免部署阶段反复试错。️ 跑起来之前环境与依赖检查两个结论先行① 671B 核心版暂未被 Hugging Face Transformers 直接支持README 明确标注 NOTE本地部署以蒸馏版为主② 蒸馏版沿用 Qwen2.5/Llama3 标准推理栈transformers、vLLM、SGLang 均可直接跑。最小可运行配置7B/8B 蒸馏版GPU1×24GB如 RTX 4090软件Python ≥ 3.10torchtransformers仓库配置对应的版本为 4.46.3磁盘约 15GB 权重 KV cache 余量推荐配置32B 蒸馏版对齐官方示例2×80GBA100/H100 级服务框架选 vLLM 或 SGLang--max-model-len 32768。⚠️ 两个高频环境问题克隆完成后若.safetensors只有几百字节说明未装 git lfs拉到的只是指针文件。修复git lfs install后重新克隆或对已有仓库执行git lfs fetch --all。transformers 版本过旧会不认识config.json里的rope_scaling、MoE 路由字段而报错。修复pip install -U transformers4.46。⚙️ 部署推理服务从单卡 8B 到双卡 32B路径是先用最小配置跑通再扩到生产。单卡最小可运行示例7B/8B 蒸馏版下面这段代码在一个进程内完成加载 → 生成用于验证环境和链路是否通from transformers import AutoModelForCausalLM, AutoTokenizer model_dir ./r1-distill-8b # 换成你下载的蒸馏版目录 model AutoModelForCausalLM.from_pretrained( model_dir, torch_dtypeauto, device_mapauto, trust_remote_codeTrue ) tokenizer AutoTokenizer.from_pretrained(model_dir) user Please reason step by step, and put your final answer within \\boxed{}.\nWhat is 32 * 4? text tokenizer.apply_chat_template( [{role: user, content: user}], tokenizeFalse, add_generation_promptTrue ) outputs model.generate(**tokenizer(text), max_new_tokens4096, do_sampleTrue, temperature0.6, top_p0.95) print(tokenizer.decode(outputs[0]))双卡服务与参数速查32B 蒸馏版生产服务用 vLLM 拉起以下命令直接来自官方 READMEvllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \ --tensor-parallel-size 2 \ --max-model-len 32768 \ --enforce-eager习惯 SGLang 的话用官方示例python3 -m sglang.launch_server \ --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2推理参数推荐值全部取自 generation_config.json 与 README 的 Usage Recommendations参数推荐值说明temperature0.6区间 0.5–0.7超出区间易出现无限重复top_p0.95官方配置默认值do_sampletrue官方基准使用采样需开启max_new_tokens32768官方基准的最大生成长度⚠️ 官方强调的三点① 不要添加 system prompt所有指令放进用户提示② 数学题请在提示中写明把最终答案放入 \boxed{}③ 若发现模型跳过思考段只输出空的think标签强制输出以think\n开头保证完整推理。服务起来了最后一步是确认它真的会推理。✅ 跑通了之后效果怎么验证不必跑完整基准三步就够冒烟题给一道简单数学题如上面示例看输出是否包含清晰的思考过程且以\boxed{128}收尾。思考段检查R1 系列回答应带think.../think推理段。若直接甩结论先检查采样参数与提示格式而不是怀疑模型。对照官方数据可选官方 README 显示核心版 MATH-500 97.3、AIME 2024 79.832B 蒸馏版 MATH-500 94.3均为官方数据。你用少量题目自测的结果若明显低于这些数字优先排查参数与提示其次才是硬件。下图是仓库自带的官方基准图展示 R1 核心版、32B 蒸馏版与 o1/o1-mini 等模型在 AIME 2024、MATH-500、MMLU 等 6 项基准上的对比 常见报错速查表现象可能原因一条命令解决.safetensors仅几百字节未装 git lfs拉到的是 LFS 指针git lfs install后重新克隆或git lfs fetch --allCUDA out of memory显存或 KV cache 不足调小--max-model-len或提高张量并行数transformers 加载报架构/字段错版本过旧不认识 MoE 配置pip install -U transformers4.46输出无限重复、答非所问temperature 超区间或误用了 system prompttemperature改 0.6 并删掉 system prompt671B 核心版在 transformers 中加载失败官方暂不支持 HF Transformers 直跑全量模型改用蒸馏版或走官方推理框架 跑通自检清单权重分片与索引文件一致没有 100 字节级的 LFS 指针残留简单数学题能产出思考过程与\boxed{}最终答案推理参数为 temperature 0.6 / top_p 0.95且请求中无 system prompt三项全部勾选说明你已经跑通 R1。下一步建议看 671B 核心版的多机部署方案——官方指向 DeepSeek-V3 仓库的推理文档蒸馏版的日常使用可参照 Qwen2.5 / Llama3 的标准部署实践。【免费下载链接】DeepSeek-R1探索新一代推理模型DeepSeek-R1系列以大规模强化学习为基础实现自主推理表现卓越推理行为强大且独特。开源共享助力研究社区深入探索LLM推理能力推动行业发展。【此简介由AI生成】项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-R1创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考