See-through annotators标注插件揭秘：SAM、mmdet3、LaMa等7大AI引擎的安装与调用指南

See-through annotators标注插件揭秘SAM、mmdet3、LaMa等7大AI引擎的安装与调用指南【免费下载链接】see-throughSingle-image Layer Decomposition for Anime Characters (SIGGRAPH 2026 Conference Paper)项目地址: https://gitcode.com/gh_mirrors/se/see-throughSee-through是一款面向动漫角色的单图像分层分解工具SIGGRAPH 2026 论文项目其annotators/目录下的标注插件是整条数据流水线的大脑内置 WDv3 打标签、GradCAM 热力图、LaMa 修复、Bizarre 姿态估计、LangSAM 文本分割、mmdet3 实例分割、动漫人脸检测共7 大 AI 引擎。本文带你快速完成安装并看懂每个引擎的调用方式。图一张动漫图被自动拆解为头发、上衣、下装、眼睛等独立图层——这就是 annotators 标注插件的输出成果annotators 标注插件全景图7 个模块各司其职全部以 Python 包形式安装在统一推理环境中模块功能安装档位wdv3_taggerWDv3 图像自动打标签Danbooru 风格基础包gradcamGradCAM 热力图解释标签为什么命中基础包lama_inpainterLaMa 图像修复去遮挡、补背景基础包bizarre_taggerBizarre 姿态估计 前景/背景分割[bizarre_tagger]lang_sam语言引导的 SAM2 语义分割[lang_sam]animeinsseg基于 mmdet3 的动漫实例分割[animeinsseg]anime_face_detector动漫人脸检测 关键点遗留版独立 conda 环境模块清单与职责详见 annotators/README.md各模块依赖声明在 annotators/pyproject.toml。一键安装步骤3 种档位按需选择第一步安装基础标注包克隆仓库后在仓库根目录执行依赖 torch ≥ 2.8pip install -e ./annotators一行命令即获得 WDv3 打标、GradCAM、LaMa 修复三件套约 5 分钟完成。第二步安装重型可选引擎姿态估计与 LangSAM 需要 C 编译器实例分割需要 CUDA 工具链# 姿态估计 语言SAM约 10 分钟需要 C 编译器 pip install -e annotators[bizarre_tagger,lang_sam] # mmdet3 实例分割需要 CUDA 工具链编译 mmcv pip install -e annotators[animeinsseg] # 或直接用预配置的分层文件 pip install -r requirements-inference-mmdet.txt # 全家桶 pip install -e annotators[all]detectron2 / SAM2 的安装顺序细节可参考 requirements-inference-annotators.txt 文件头部的注释需先装 detectron2 再装 sam-2并使用--no-build-isolation。第三步动漫人脸检测需独立环境anime_face_detector依赖 PyTorch 1.13 mmcv-full 1.7 等遗留版本与统一环境冲突必须单独建 conda 环境conda create -n ann_mmpose python3.10 conda activate ann_mmpose pip install torch1.13.1cu117 torchvision0.14.1cu117 \ --extra-index-url https://download.pytorch.org/whl/cu117 mim install mmcv-full1.7.0 mmdet2.28.2 mmpose0.29.0 pip install -e ./common完整步骤见 annotators/README.md。7 大引擎如何调用每个引擎一个入口函数1️⃣ WDv3 图像打标apply_wdv3_tagger输入一张图输出 Danbooru 风格的标签串general character 分开设阈值。模型支持 vit / swinv2 / convnext / eva 五种权重从 HuggingFace 自动下载from annotators.wdv3_tagger import apply_wdv3_tagger caption, taglist, ratings, character, general apply_wdv3_tagger( img_input, model_typeeva, gen_threshold0.35, char_threshold0.75 )模型映射表与打标逻辑见 annotators/wdv3_tagger.py。2️⃣ GradCAM 热力图apply_gradcam想知道模型为什么认为这是双马尾对目标类别跑一次 GradCAM 即可得到注意力热力图支持 GradCAM、ScoreCAM、LayerCAM 等 10 种方法from annotators.gradcam import apply_gradcam heatmap apply_gradcam(inputs, target_class_idx, methodgradcam, model_typeeva)入口在 annotators/gradcam.py。3️⃣ LaMa 图像修复apply_inpaint给定图像和掩码自动完成缩放、补边、推理、回贴全流程是制作遮挡数据集的关键引擎from annotators.lama_inpainter import apply_inpaint result apply_inpaint(img, mask, devicecuda)核心实现见 annotators/lama_inpainter/init.py。4️⃣ Bizarre 姿态估计 背景分割apply_pos_estimator输出 17 个人体关键点 置信度可选flip_augTrue做水平翻转增强以提升精度不传 mask 时会自动调用前景分割器裁出人物from annotators.bizarre_tagger import apply_pos_estimator kps, scores, bbox apply_pos_estimator(image, model_typefeat_concat, flip_augTrue)实现位于 annotators/bizarre_tagger/init.py。5️⃣ LangSAM 文本引导分割LangSAMGDINO 先按文字提示框出目标SAM2 再精修出像素级掩码——输入 hair 就能得到头发蒙版from annotators.lang_sam import LangSAM model LangSAM(sam_typesam2.1_hiera_large) out model.predict([image], [hair]) # 返回 boxes / masks / scores类定义见 annotators/lang_sam/init.py。6️⃣ mmdet3 动漫实例分割animeinsseg基于 mmdet3 框架 自定义 RTMo 头部识别头发、眼镜、头饰等动漫专属部件并可用 refine 网络对粗掩码做精修图UI 中按部件hair、pair 等展示实例分割结果右侧即为 mmdet3 引擎的分割输出分割流水线入口在 annotators/animeinsseg/instance_segmentation.py模型配置见 annotators/animeinsseg/rtmdet_inshead_custom.py。7️⃣ 动漫人脸检测create_detectorYOLOv3/Faster-RCNN 检测人脸 HRNet 提取关键点用于 Live2D 解析遗留环境运行conda run --no-capture-output -n ann_mmpose \ python inference/scripts/parse_live2d.py facedet --exec_list workspace/.../exec_list.txt检测器构建见 annotators/anime_face_detector/init.py模型权重首次运行时自动下载。引擎如何协作一条流水线走通全流程以上 7 个引擎并非孤立存在parse_live2d.py脚本将串联它们WDv3 打标 → GradCAM 验证标签 → 姿态估计定人物 → LangSAM/mmdet3 出部件掩码 → LaMa 修复遮挡 → 人脸检测定关键点。最终结果进入标注界面每个图层在右侧标签树中清晰可辨图标注界面右侧即 annotators 输出的完整部件图层树可逐层编辑脚本入口inference/scripts/parse_live2d.py常见问题速查问题解决方案安装 detectron2 报 iopath 冲突严格按 detectron2 → sam-2 两步安装且加--no-build-isolationmmcv 编译失败确认已装 CUDA 工具链再执行pip install -e annotators[animeinsseg]人脸检测 ImportError它只在ann_mmpose环境可用勿在统一环境中导入显存不足各引擎均惰性加载模型按需 import 而非全部加载只需pip install -e ./annotators一分钟你就拥有了这套动漫数据标注的全套 AI 引擎——从打标到分割再到修复See-through 的 annotators 插件让分层分解流水线开箱即用。【免费下载链接】see-throughSingle-image Layer Decomposition for Anime Characters (SIGGRAPH 2026 Conference Paper)项目地址: https://gitcode.com/gh_mirrors/se/see-through创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考