一条命令拉起来：Easy Dataset Docker 部署实战

一条命令拉起来Easy Dataset Docker 部署实战【免费下载链接】easy-datasetA powerful tool for creating datasets for LLM fine-tuning 、RAG and Eval项目地址: https://gitcode.com/gh_mirrors/ea/easy-datasetEasy Dataset 是专门给大模型造数据集的工具微调、RAG 问答和评测三条线都覆盖从原始文档导入一路做到 LlamaFactory / HuggingFace 格式导出。想把它跑在企业内网或自己的服务器上最省事的路线就是 Docker 容器化——不用手动装 Node.js、Prisma、一堆构建依赖拉个镜像、填三个参数就能开工。下面这套流程按确认环境→拉起来→确认在跑→上生产要改什么的顺序走每一步都给了能直接复制的命令照着敲就行。起步硬件够不够先摸一遍底跑之前花两分钟确认机器配置不达标就先别往下走后面会卡住。检查项最低门槛CPU2 核内存4 GB磁盘空间20 GB架构x86_64 / ARM64 均可系统Ubuntu 20.04 或 CentOS 8Docker≥ 20.10Docker Composev2 及以上环境没问题后把源码拉到本地git clone https://gitcode.com/gh_mirrors/ea/easy-dataset.git cd easy-dataset项目里有两个文件值得先翻一眼Dockerfile 用了多阶段构建最终镜像里只留运行时依赖体积比较克制docker-compose.yml 则写死了端口映射、数据卷和重启策略改端口或挂目录都在这上面动。数据库结构定义在 prisma/schema.prisma启动时自动初始化不用额外建库。跑通三个参数填好一条命令就活打开项目根目录复制一份.env.example成.env仓库里已有现成.env的话直接在上面改。需要动的就三个关键项# 对外暴露的端口默认 1717 PORT1717 # 数据落盘路径对应容器内 /app/local-db DATA_PATH/app/local-db # 安全密钥随便生成一串随机字符 SECRET_KEYyour_secure_random_key参数填完跑这一条命令服务就拉起来了docker-compose up -d启动过程里 docker-entrypoint.sh 会检查 prisma/schema.prisma 对应的 SQLite 文件不存在就自动建同时把静态资源加载进内存、把后台任务队列挂上。确认它是不是真的活了三个动作# 看容器是不是在跑 docker-compose ps # 盯最近 100 行日志 docker logs -f easy-dataset --tail100然后浏览器打开服务器IP:1717能看到登录页就说明服务已经就绪。用好第一次进去先点这三块登录之后首页会看到三个入口也是整套工具的主干数据集广场app/dataset-square/page.js浏览和搜索公开数据集适合我先看看有什么现成的。项目管理app/projects/[projectId]/page.js每个项目是一条独立的数据处理流水线文件、切片、问答、导出都挂在这里面。模型配置components/settings/ModelSettings.js接 LLM 提供商和具体模型Ollama、OpenAI、各类 API 都行后面生成问答和清洗都要调它。一条完整的数据处理链路走下来是这样的导入文档 → 智能切片与清洗 → 用 LLM 批量生成问答对 → 导出为 LlamaFactory / HuggingFace 格式。对应到代码里导入走 ImportDatasetDialog 上传 CSV/JSON清洗逻辑在 lib/services/clean.js 里处理空值和重复项问答对由 lib/services/ga/ga-generation.js 驱动生成最后导出组件 components/export/ 负责拼装成训练框架能直接吃的格式。上生产安全、持久化、多架构三件事别跳网络隔离。默认情况下容器能直接出公网生产环境里这不对。在 compose 文件里给服务指定一个自定义 network把外部访问锁死在反向代理后面容器之间按最小通信范围划网段。持久化升级。默认把./local-db挂到容器的/app/local-db单机测试够用。数据量大或者要做高可用把卷指到 NFS 或云存储上# docker-compose.yml 里替换 volumes 段 volumes: local-db: driver: local driver_opts: type: nfs o: addr192.168.1.100,rw device: :/nfs/easy-dataset多架构适配。如果要同时出 x86_64 和 ARM64 镜像Dockerfile 第 34–42 行已经处理了平台判断RUN if [ $TARGETPLATFORM linux/arm64 ]; then \ sed -i s/binaryTargets \[.*\]/binaryTargets \[linux-musl-arm64-openssl-3.0.x\]/ prisma/schema.prisma; \ else \ sed -i s/binaryTargets \[.*\]/binaryTargets \[linux-musl-openssl-3.0.x\]/ prisma/schema.prisma; \ fi这段逻辑根据TARGETPLATFORM切换 Prisma 引擎的二进制目标用docker buildx build --platform linux/amd64,linux/arm64一次构建出两套产物不用手动改 schema。资源兜底。在 compose 文件里给服务加上mem_limit和cpus防止单个任务把整台机器吃满。对外入口前面挂一层 Nginx 做 TLS 终止容器本身不直接暴露 443。管好日志、指标和一张故障速查表日志走 stdout生产上建议加个驱动限制文件大小避免磁盘被撑爆logging: driver: json-file options: max-size: 10m max-file: 3需要盯的指标不多就三类任务队列里还排着多少条看 TaskProgress 或 API/api/projects/[projectId]/tasks问答对的生成速率每秒能出多少条容器本身的 CPU 和内存占用。碰到问题先别慌90% 的坑就这几个现象大概率原因怎么解容器起不来1717 端口被占了ss -tlnp \| grep 1717找到占用进程改.env里的 PORT 后重新 up数据库报连接错误数据卷权限不对进容器执行chmod 777 local-db或改宿主机目录属主任务跑一半超时内存或 CPU 不够调大mem_limit同时检查 任务调度 里的并发参数放大单台扛不住了再加码节点多了以后最直接的方案是 Docker Swarm# 选一台做 manager docker swarm init # 把现有 compose 文件当 stack 部署 docker stack deploy -c docker-compose.yml easy-dataset镜像方面如果企业有自己的 Harbor 仓库构建完推上去就行docker build -t harbor.example.com/ai/easy-dataset:latest . docker push harbor.example.com/ai/easy-dataset:latest就到这里从裸机到能跑核心就是 clone → 改.env→docker-compose up -d这三步上生产再补上网络隔离、NFS 持久化和资源限制整套下来不到半小时。有具体环境问题可以翻 ARCHITECTURE.md 看架构细节或者直接到仓库提 Issue。【免费下载链接】easy-datasetA powerful tool for creating datasets for LLM fine-tuning 、RAG and Eval项目地址: https://gitcode.com/gh_mirrors/ea/easy-dataset创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考