中文预训练模型选型指南：大模型、小模型与相似度模型实战

简介这份资源面向中文自然语言处理方向的开发者与研究者提供一套可直接上手的中文预训练模型集合覆盖大模型、小模型与语义相似度模型三类需求。大模型在中文任务上达到当前最佳水平部分任务表现更优小模型速度较Bert-base提升约8倍与albert_tiny相当但效果更好语义相似度模型专为句子对与相似度问题设计效果往往优于直接使用预训练模型。一期已支持6个分类与句子对任务后续将覆盖CLUE benchmark全部任务。压缩包共211个文件以123个Python脚本和52个Shell脚本为主体辅以md说明、ipynb示例、txt配置及license等整体约1004KB结构轻量便于快速部署与二次开发。目前已有339人学习下载适合希望低成本复现中文预训练效果、开展分类与语义匹配实验的读者参考。1. 高质量中文预训练模型集合到底解决了什么问题很多做人工智能项目的同学第一次拿到「高质量中文预训练模型集合」这类资源时第一反应是——这不就是一堆权重文件吗下载下来加载不就行了。真上手才发现事情没那么简单大模型跑不动、小模型效果差、相似度任务用通用模型又不对味最后项目卡在「选哪个模型」这一步比写代码还费时间。这个集合的价值恰恰在于把「最先进大模型、最快小模型、相似度专门模型」三条路线打包在一起让你不用在 HuggingFace 上一个个翻、一个个试。它解决的核心问题是在中文 NLP 项目里如何根据算力、延迟、精度三个约束快速选到合适的预训练底座。适合谁做文本分类、语义匹配、检索召回、RAG 知识库的工程师以及要交人工智能大作业但不想从零训模型的学生。下面我按「选型逻辑 → 加载跑通 → 微调落地 → 避坑 → 进阶技巧」这条线把踩过的坑和能抄的配置都讲清楚。2. 三类模型怎么选大模型、小模型、相似度模型的边界2.1 先搞清楚三类模型各自的能力边界「最先进大模型」通常指参数量在 6B 以上的生成式模型比如 Qwen、Baichuan 这类架构优势是零样本能力强、指令跟随好缺点是推理显存高、延迟大。我一般用nvidia-smi看显存低于 16G 的卡基本别想全精度跑 7B得走量化。「最快小模型」指的是 BERT-base、RoBERTa-wwm-ext、RoBERTa-large 这一档参数量 100M 到 400M单卡甚至 CPU 都能推理适合做分类、NER、抽取式问答。热搜里常出现的 roberta中文预训练模型基本就是这一类的代表。「相似度专门模型」是第三类典型如 text2vec、CoSENT 系列它们不是通用底座而是在句对数据上做过对比学习直接输出句向量做语义检索、去重、聚类时效果比拿 BERT 取 [CLS] 好一大截。选型判断可以按这个顺序走任务是不是生成式是 → 大模型任务是不是判别式且对延迟敏感是 → 小模型任务是不是句对匹配/检索是 → 相似度模型。三者不是替代关系很多生产系统是「小模型召回 相似度模型精排 大模型兜底生成」的组合。2.2 用一张表把选型参数定下来维度大模型7B级小模型BERT/RoBERTa相似度模型典型显存占用14GFP161-2G1-2G单条推理延迟200ms-2s5-20ms10-30ms微调数据量千条以上几百条即可句对千条以上适合任务生成、指令、复杂推理分类、NER、抽取检索、去重、聚类部署方式vLLM/Ollama/量化ONNX/TorchScriptsentence-transformers这张表不是绝对标准但能帮你在项目启动会上快速拍板。我见过太多人拿 7B 模型去做情感分类结果延迟 800ms被产品经理追着问为什么这么慢——这就是选型没做。2.3 加载模型的最小可跑通代码不管选哪类第一步都是把模型加载起来、跑通一条推理。下面这段代码用 transformers 加载一个小模型和一个相似度模型验证环境是否正常from transformers import AutoTokenizer, AutoModelForSequenceClassification from sentence_transformers import SentenceTransformer import torch # 1. 加载小模型做分类以 RoBERTa 中文为例 model_name hfl/chinese-roberta-wwm-ext tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained(model_name, num_labels2) model.eval() text 这个模型的中文效果到底行不行 inputs tokenizer(text, return_tensorspt, truncationTrue, max_length128) with torch.no_grad(): logits model(**inputs).logits print(分类 logits:, logits) # 2. 加载相似度模型做句向量 sim_model SentenceTransformer(shibing624/text2vec-base-chinese) emb sim_model.encode([今天天气不错, 今天阳光很好]) # 计算余弦相似度 from numpy import dot from numpy.linalg import norm cos_sim dot(emb[0], emb[1]) / (norm(emb[0]) * norm(emb[1])) print(相似度:, cos_sim)逻辑说明第一段用AutoModelForSequenceClassification加载底座并接一个分类头num_labels2表示二分类实际项目按类别数改。truncationTrue和max_length128是防止长文本爆显存的关键参数中文场景 128 覆盖大多数短文本长文本建议 256 或 512 但要评估显存。第二段用 sentence-transformers 加载相似度模型encode直接输出归一化前的句向量后面手动算余弦相似度。注意text2vec-base-chinese这类模型输出维度通常是 768如果做向量检索记得建 FAISS 或 Milvus 索引别用 numpy 暴力算十万条以上会卡死。参数说明max_length不是越大越好超过模型预训练长度RoBERTa 是 512会被截断num_labels必须和你的标签体系一致改错了训练时 loss 会异常。加载大模型时把AutoModelForSequenceClassification换成AutoModelForCausalLM并加上device_mapauto让 accelerate 自动分配显存。3. 微调落地从数据格式到训练参数的完整链路3.1 微调数据的三种格式和转换脚本预训练模型再好不微调也很难直接命中你的业务。微调第一步是数据格式。分类任务用text,label句对任务用text_a,text_b,label生成任务用instruction,input,output。我一般统一转成 JSONL每行一个样本避免 CSV 编码问题。import json # 把分类 CSV 转成 JSONL import csv with open(train.csv, r, encodingutf-8) as f, \ open(train.jsonl, w, encodingutf-8) as out: reader csv.DictReader(f) for row in reader: sample {text: row[content], label: int(row[label])} out.write(json.dumps(sample, ensure_asciiFalse) \n) print(转换完成)逻辑说明ensure_asciiFalse保证中文不被转义成\uXXXX方便人工检查。int(row[label])强制标签为整数很多训练脚本对字符串标签会报错。如果做句对相似度把text换成text_a和text_b标签用 0/1 表示不相似/相似。参数说明JSONL 每行必须独立不能有换行符在字符串里否则json.loads会失败。数据量少于 500 条时建议先做数据增强或直接用零样本大模型微调容易过拟合。3.2 训练参数怎么设学习率、batch size、epoch 的经验值微调 BERT 类模型学习率是最大的玄学。我踩过的坑用 1e-3 直接训崩loss 不降反升用 1e-5 训 10 个 epoch 几乎没变化。经验值是 2e-5 到 5e-5小模型用 3e-5大模型 LoRA 微调用 1e-4 到 2e-4。batch size 受显存限制BERT-base 在 16G 卡上可以开到 327B 模型全量微调基本不可能得用 LoRA 或 QLoRA。epoch 一般 3 到 5超过 5 大概率过拟合看验证集 loss 回升就停。# 用 transformers Trainer 的典型启动命令 python run_train.py \ --model_name_or_path hfl/chinese-roberta-wwm-ext \ --train_file train.jsonl \ --validation_file dev.jsonl \ --learning_rate 3e-5 \ --per_device_train_batch_size 32 \ --num_train_epochs 3 \ --max_seq_length 128 \ --output_dir ./output \ --evaluation_strategy epoch \ --save_strategy epoch \ --load_best_model_at_end True逻辑说明evaluation_strategy epoch表示每个 epoch 结束评估一次load_best_model_at_end自动保留验证集最好的 checkpoint避免手动挑模型。max_seq_length和加载时的max_length保持一致否则训练和推理分布不一致。参数说明per_device_train_batch_size是单卡 batch多卡会乘以卡数。如果显存不够先降 batch 再考虑梯度累积gradient_accumulation_steps后者等效扩大 batch 但不增加显存峰值。learning_rate配合 warmup 更稳通常 warmup_ratio 设 0.1。3.3 大模型微调用 LoRA 而不是全量7B 以上模型全量微调需要 8 卡 A100个人开发者基本不现实。常见做法是 LoRA只训练低秩矩阵显存降到 1/4 以下。下面用 peft 库加载 LoRAfrom peft import LoraConfig, get_peft_model from transformers import AutoModelForCausalLM model AutoModelForCausalLM.from_pretrained( Qwen/Qwen2.5-7B, device_mapauto, torch_dtypeauto ) lora_config LoraConfig( r8, # 低秩维度 lora_alpha32, # 缩放系数 target_modules[q_proj, v_proj], # 作用在注意力层 lora_dropout0.1, biasnone, task_typeCAUSAL_LM ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 查看可训练参数占比逻辑说明r8是低秩矩阵的秩越大拟合能力越强但参数越多一般 8 或 16 够用。target_modules指定作用层Qwen 系列通常是q_proj和v_proj不同架构名字不同用model.named_modules()查。lora_alpha一般设成r的 2 到 4 倍。参数说明lora_dropout0.1防止过拟合数据少时调到 0.2。print_trainable_parameters()会显示可训练参数占比通常不到 1%这就是 LoRA 省显存的原因。训练完后用model.merge_and_unload()合并权重推理时不再有额外延迟。4. 避坑与排查模型加载和微调中最容易翻车的地方4.1 显存爆炸现象、原因、解决现象加载 7B 模型时报CUDA out of memory或者训练到一半突然 OOM。原因通常是默认 FP32 加载7B 模型需要 28G 显存16G 卡直接爆。解决加载时加torch_dtypetorch.float16或torch_dtypeauto显存降到 14G 左右还不够就上 4bit 量化load_in_4bitTrue需要 bitsandbytes 库。训练时开梯度检查点gradient_checkpointingTrue用时间换显存。4.2 中文乱码现象、原因、解决现象tokenizer 编码后 decode 出来是乱码或者模型输出一堆[UNK]。原因多半是文件编码不是 UTF-8或者用了英文 tokenizer 加载中文模型。解决读文件统一encodingutf-8加载模型确认是中文预训练版本如chinese-roberta-wwm-ext而不是bert-base-uncased。如果输出[UNK]多检查 tokenizer 的 vocab 是否匹配。4.3 相似度模型输出全一样现象、原因、解决现象用相似度模型编码不同句子余弦相似度都在 0.9 以上区分度极低。原因有两种一是模型没做归一化二是用了 base 模型直接取 [CLS] 而不是专门的 sentence-transformers 模型。解决用SentenceTransformer加载专门模型encode时加normalize_embeddingsTrue如果自己从 BERT 取向量至少要做 mean pooling 而不是 [CLS]。4.4 微调后效果反而下降现象、原因、解决现象微调后验证集准确率比零样本还低。原因通常是学习率太大、数据量太少、标签噪声大。解决先把学习率降到 1e-5 试一轮数据少于 500 条考虑用大模型零样本或 few-shot检查标签是否有错标我见过 10% 标签反了的案例微调越训越差。另外分类任务类别不平衡时加class_weight或重采样。4.5 推理速度慢现象、原因、解决现象小模型单条推理要 100ms 以上达不到线上要求。原因可能是没用 GPU、没做 batch、没导出 ONNX。解决确认model.to(cuda)推理时攒 batch一次 32 条比逐条快 10 倍用torch.onnx.export导出 ONNX 再用 onnxruntime 推理CPU 上也能到 10ms 级。大模型推理用 vLLM 或 Ollama比原生 transformers 快数倍。5. 进阶技巧用相似度模型搭一个可验证的语义检索5.1 从句向量到 FAISS 索引的完整流程前面讲的都是单点这一章把相似度模型串成一个能验证的检索系统。思路用相似度模型把所有候选句编码成向量建 FAISS 索引查询时编码 query 再检索 top-k。这套东西直接能用在 RAG 知识库、FAQ 匹配、文章去重上。import faiss import numpy as np from sentence_transformers import SentenceTransformer model SentenceTransformer(shibing624/text2vec-base-chinese) # 候选库 corpus [ 如何重置密码, 忘记密码怎么办, 修改登录密码的步骤, 发票怎么开具, 申请开发票的流程, ] embeddings model.encode(corpus, normalize_embeddingsTrue) dim embeddings.shape[1] # 建内积索引归一化后内积等价余弦相似度 index faiss.IndexFlatIP(dim) index.add(np.array(embeddings, dtypefloat32)) # 查询 query 密码忘了 q_emb model.encode([query], normalize_embeddingsTrue) scores, ids index.search(np.array(q_emb, dtypefloat32), k3) for score, idx in zip(scores[0], ids[0]): print(f相似度 {score:.4f} - {corpus[idx]})逻辑说明normalize_embeddingsTrue把向量归一化到单位长度这样内积就等于余弦相似度FAISS 用IndexFlatIP即可。k3返回最相似的 3 条。如果候选库上万条把IndexFlatIP换成IndexIVFFlat并训练检索速度提升明显。参数说明dim是模型输出维度text2vec-base 是 768。FAISS 要求float32别传float64。normalize_embeddings在编码和查询时都要开否则相似度计算方式不一致结果会偏。5.2 怎么验证检索质量召回率和阈值建完索引不能只看几条结果就完事得有量化指标。我一般准备 50 到 100 条 query人工标注正确候选算 Recallk。如果 Recall5 低于 0.8说明模型或候选库有问题。另一个实用技巧是设相似度阈值低于 0.6 的基本是无关直接过滤避免 RAG 里塞进噪声上下文。# 简单的 Recallk 计算 def recall_at_k(queries, ground_truth, model, index, corpus, k5): hit 0 for q, gt in zip(queries, ground_truth): q_emb model.encode([q], normalize_embeddingsTrue) _, ids index.search(np.array(q_emb, dtypefloat32), k) retrieved [corpus[i] for i in ids[0]] if gt in retrieved: hit 1 return hit / len(queries) # 示例 queries [密码忘了, 怎么开发票] ground_truth [忘记密码怎么办, 发票怎么开具] print(Recall5:, recall_at_k(queries, ground_truth, model, index, corpus))逻辑说明ground_truth是每条 query 的标准答案只要 top-k 里出现就算命中。这个函数虽然简单但能快速暴露模型是否适合你的领域。如果 Recall 低先换相似度模型再考虑微调。参数说明k一般取 5 或 10看下游能接受多少候选。阈值过滤建议在检索后做不要在建索引时做方便调参。5.3 我自己的习惯先跑通再优化做了这么多项目我最大的教训是——别一上来就追求 SOTA。先用小模型或相似度模型跑通全流程拿到 baseline再决定要不要上大模型、要不要微调。很多时候一个 text2vec 加 FAISS 就能解决 80% 的检索需求成本还低。模型集合里的三类模型不是让你全用而是让你有得选。希望帮到你。本文还有配套的精品资源点击获取