影刀RPA 训练数据标注AI模型数据集自动构建作者林焱什么情况用这个做AI应用开发的同学应该深有体会模型效果好不好数据质量占七成。但高质量标注数据从哪来纯人工标注不仅慢还贵——外包团队每条数据几毛到几块不等一个中型项目动辄上万条数据需求。还有一个场景你已经在用某个AI模型比如OCR识别发票、NLP分类工单但通用模型的准确率在你们业务场景下就是差那么一点。你需要用自己的业务数据做微调Fine-tuning但首先得有标注好的数据集。用影刀RPA配合现有的AI服务来做半自动标注——机器先标一轮人工复核修正效率提升5-10倍。这就是本文要讲的内容。怎么做第一步设计标注任务的结构先明确你要标注什么数据、标注格式是什么。以最常见的三个场景为例场景A文本分类标注输入客服工单文本 输出分类标签退款/换货/咨询/投诉 格式JSONL每行 {text: ..., label: 退款}场景B图像分类标注输入商品图片 输出类目标签服装/电子/食品/家居 格式按文件夹分类存放或CSV记录路径标签场景C实体识别NER标注输入合同文本 输出标注实体甲方、乙方、金额、日期 格式BIO标注序列 [video(video-sMSRuKNa-1784927583575)(type-csdn)(url-https://live.csdn.net/v/embed/525000)(image-https://v-blog.csdnimg.cn/asset/23da3fe1f67a47106d725406cfde9a97/cover/Cover0.jpg)(title-拼多多店群自动化上架方案)]第二步用现有AI服务做预标注先用现成的AI服务做第一轮自动标注。比如用大模型API做文本分类预标注importrequestsimportjsonimporttimedefai_pre_label_text(text,categories,api_key,api_url): 用大模型API对文本做预分类 promptf请将以下文本分类到以下类别之一{, .join(categories)}只返回类别名称不要任何解释。 文本{text}类别headers{Authorization:fBearer{api_key},Content-Type:application/json}data{model:gpt-3.5-turbo,# 或其他模型messages:[{role:system,content:你是一个文本分类助手只输出类别名称。},{role:user,content:prompt}],temperature:0,max_tokens:20}try:resprequests.post(api_url,headersheaders,jsondata,timeout30)resultresp.json()labelresult[choices][0][message][content].strip()# 验证标签是否在类别列表中iflabelincategories:returnlabelelse:# 模糊匹配forcatincategories:ifcatinlabel:returncatreturnf待确认:{label}exceptExceptionase:returnf预标注失败:{str(e)}第三步影刀流程编排批量预标注用影刀批量处理待标注数据1. 【读取Excel】→ 读取待标注文本列表 2. 【ForEach循环】→ 遍历每条文本 3. 【Python节点】→ 调用ai_pre_label_text()预分类 4. 【写入Excel】→ 将预标注结果写入新列 5. 【等待】→ 0.5秒API速率限制 6. 【保存Excel】→ 导出预标注结果对于图像分类可以对接现有的图像识别APIimportbase64defai_pre_label_image(image_path,categories,api_key): 用多模态大模型对图片做预分类 withopen(image_path,rb)asf:image_base64base64.b64encode(f.read()).decode()headers{Authorization:fBearer{api_key},Content-Type:application/json}data{model:gpt-4o,# 支持视觉的模型messages:[{role:user,content:[{type:text,text:f这张图片最可能属于以下哪个类别{, .join(categories)}。只输出类别名。},{type:image_url,image_url:{url:fdata:image/jpeg;base64,{image_base64}}}]}],max_tokens:20}resprequests.post(https://api.openai.com/v1/chat/completions,headersheaders,jsondata,timeout30)returnresp.json()[choices][0][message][content].strip()第四步用规则引擎补充标注不是所有标注都需要AI。很多场景下规则比AI更准。用Python写规则引擎与AI标注互补importredefrule_based_label(text,rules_config): 基于规则的自动标注 优先用规则100%准确规则覆盖不了的才用AI forruleinrules_config:labelrule[label]keywordsrule.get(keywords,[])patternsrule.get(patterns,[])excluderule.get(exclude,[])# 先检查排除词ifany(exintextforexinexclude):continue# 关键词匹配ifkeywordsandany(kwintextforkwinkeywords):returnlabel,规则-关键词# 正则匹配ifpatterns:forpatinpatterns:ifre.search(pat,text):returnlabel,规则-正则returnNone,规则未命中# 规则配置示例客服工单分类RULES[{label:退款,keywords:[退款,退钱,退货退款,返还款项],exclude:[不退款,无法退款]},{label:换货,keywords:[换货,换一个,更换,调换],exclude:[]},{label:投诉,keywords:[投诉,举报,差评,曝光],patterns:[r客服.*[差垃圾烂],r服务.*太差]},{label:咨询,keywords:[请问,怎么,如何,咨询,问一下],exclude:[]}]第五步标注一致性检查预标注完成后做一致性校验——标完后找AI再审一遍把置信度低的挑出来人工复核defconfidence_check(text,label,categories,api_key): 让AI对预标注结果打分 返回置信度低于阈值的人工复核 promptf文本{text}预标注类别{label}可选类别{, .join(categories)}请判断预标注是否正确只返回数字分值1-5 5完全正确 4基本正确 3不确定 2可能错误 1肯定错误 分值# 调用API获取打分...代码类似上面# 返回分值# 简化返回return4# 占位第六步导出标准数据集格式标注完成后导出为模型训练所需的标准格式importjsonimportcsvimportosimportshutildefexport_dataset(labeled_data,output_dir,format_typejsonl): 导出标注数据集 支持的格式 - jsonl: 每行一个JSON对象 - csv: CSV表格 - folder: 按类别分文件夹图片分类 os.makedirs(output_dir,exist_okTrue)ifformat_typejsonl:output_pathos.path.join(output_dir,dataset.jsonl)withopen(output_path,w,encodingutf-8)asf:foriteminlabeled_data:f.write(json.dumps(item,ensure_asciiFalse)\n)# 统计信息labels{}foriteminlabeled_data:labelitem.get(label,unknown)labels[label]labels.get(label,0)1# 生成统计报告stats_pathos.path.join(output_dir,dataset_stats.json)withopen(stats_path,w,encodingutf-8)asf:json.dump({总数:len(labeled_data),类别分布:labels,导出格式:format_type},f,ensure_asciiFalse,indent2)returnoutput_path,stats_pathelifformat_typefolder:# 按类别分文件夹foriteminlabeled_data:labelitem[label]src_pathitem.get(image_path,)ifnotsrc_pathornotos.path.exists(src_path):continuelabel_diros.path.join(output_dir,label)os.makedirs(label_dir,exist_okTrue)dest_pathos.path.join(label_dir,os.path.basename(src_path))shutil.copy2(src_path,dest_path)有什么坑坑一API调用费用失控现象月底看账单标注5000条数据花了300块API费用完全没想到。原因每次API调用都消耗token大模型的token计费是累计的。5000条数据每条200 tokens就是100万tokens。解决先规则后AI能用规则匹配的先过滤掉只把规则覆盖不了的送AI批量处理一次API调用同时标注多条数据batch模式减少请求次数设置每日限额代码中加计数器超过预算自动停止classAPIBudget:API调用预算控制def__init__(self,daily_limit1000):self.daily_limitdaily_limit self.today_count0self.today_datedatetime.date.today()defcan_call(self):todaydatetime.date.today()iftoday!self.today_date:self.today_count0self.today_datetodayifself.today_countself.daily_limit:returnFalseself.today_count1returnTruedefremaining(self):returnmax(0,self.daily_limit-self.today_count)坑二预标注错误引入系统性偏差现象训练出来的模型表现很奇怪对某些类型的数据总是分类错误。原因AI预标注本身有偏见比如模型把价格太贵了总是标为投诉而非咨询你没纠正就直接用来训练了等于用错误答案训练模型。解决必须有人工复核环节。影刀可以把置信度低的标出来生成一个待人工确认列表。关键指标预标注准确率低于90%的数据集人工复核比例不能低于20%defsampling_for_review(labeled_data,confidence_threshold3,sample_rate0.2): 抽样供人工复核 - 所有置信度低于阈值的全部复核 - 置信度高的随机抽取 sample_rate 比例复核 importrandom review_list[]foriteminlabeled_data:confidenceitem.get(confidence,5)# 默认满分ifconfidenceconfidence_threshold:review_list.append({**item,复核原因:低置信度})# 从高置信度数据中随机抽取high_conf[itemforiteminlabeled_dataifitem.get(confidence,5)confidence_threshold]sample_countmax(int(len(high_conf)*sample_rate),10)sampledrandom.sample(high_conf,min(sample_count,len(high_conf)))foriteminsampled:review_list.append({**item,复核原因:随机抽检})returnreview_list坑三数据格式不统一TEMU店群如何管理运营现象导出的数据集训练时各种报错编码问题、缺少必填字段、JSON格式错误。原因不同来源的数据格式不一样合并导出时没有做统一归一化。解决在标注开始前先定义一个严格的Schema所有数据在进入标注流程前先做格式转换# 定义标准数据格式STANDARD_SCHEMA{id:str,# 唯一IDtext:str,# 文本内容必填label:str,# 标注标签必填confidence:int,# 置信度1-5source:str,# 数据来源labeled_by:str,# 标注方式ai/rule/humanlabeled_at:str,# 标注时间ISO格式reviewed:bool,# 是否已人工复核}defnormalize_data(raw_data,schemaSTANDARD_SCHEMA):数据格式归一化normalized{}forfield,field_typeinschema.items():valueraw_data.get(field)iffieldin[text,label]andnotvalue:raiseValueError(f必填字段{field}缺失)normalized[field]field_type(value)ifvalueisnotNoneelsereturnnormalized坑四图片数据集文件路径混乱现象数据集导出后图片文件和标注记录对不上。原因标注过程中文件被移动/重命名或者路径使用了相对路径。解决全程使用绝对路径标注记录中同时保存文件路径和MD5哈希importhashlibdefget_file_hash(file_path):计算文件MD5用于唯一标识hasherhashlib.md5()withopen(file_path,rb)asf:forchunkiniter(lambda:f.read(4096),b):hasher.update(chunk)returnhasher.hexdigest()# 标注记录示例image_record{image_path:os.path.abspath(D:/data/images/img001.jpg),md5:get_file_hash(D:/data/images/img001.jpg),label:电子,confidence:5}坑五标注工具选择不当现象标注效率低、容易出错、多人协作困难。原因用Excel直接编辑标注数据没有分类筛选、没有快捷键、没有一致性检查。解决如果标注量超过1000条建议对接专业标注工具如Label Studio、Doccano的API。影刀负责数据预处理和导出标注工具的API负责提供高效的标注界面defupload_to_labelstudio(data_list,labelstudio_url,api_token,project_id):将预标注数据导入Label Studioimportrequests headers{Authorization:fToken{api_token}}tasks[]foritemindata_list:task{data:{text:item[text]},predictions:[{result:[{from_name:label,to_name:text,type:choices,value:{choices:[item[label]]}}]}]ifitem.get(label)else[]}tasks.append(task)resprequests.post(f{labelstudio_url}/api/projects/{project_id}/import,headersheaders,jsontasks)returnresp.json()总结用影刀RPA做AI数据标注不是要替代人工标注而是做预标注辅助校验。机器标得快但不一定准人标得准但慢——两者结合才是最优解。核心流程是规则过滤→AI预标→置信度打分→低分送人工复核→导出标准格式。这套流程跑顺了标注效率提升5-10倍同时质量还有保障。
企业数字化 ERP 产品动态
相关推荐
零代码接入:用DeepSeek API低成本替换Codex官方模型 1. 背景与核心概念在当前的AI编程助手领域,Codex凭借其强大的代码生成和补全能力,成为了许多开发者的得力工具。然而,其官方模型高昂的使用成本,常常让个人开发者、学生或初创团队望而却步。与此同时,以DeepSeek为代表… · 2026/10/5 6:41:40
AI协同编程:SDD架构下的软件开发新范式 1. 项目背景与核心价值在软件开发领域,结对编程(Pair Programming)作为一种经典的敏捷开发实践已经存在了二十余年。两位开发者共用一台工作站,一人担任"驾驶员"(Driver)负责编写代码,… · 2026/11/21 21:19:47
WorkshopDL终极指南:无需Steam也能畅玩创意工坊模组的完整解决方案 WorkshopDL终极指南:无需Steam也能畅玩创意工坊模组的完整解决方案 【免费下载链接】WorkshopDL WorkshopDL - The Best Steam Workshop Downloader 项目地址: https://gitcode.com/gh_mirrors/wo/WorkshopDL
你是否在GOG、Epic Games Store或其他平台购买了… · 2026/11/17 11:34:15
大余电工证多久拿证?实操考试心里没底怕挂科?手把手教你搞定 大余电工证多久拿证?实操考试心里没底怕挂科?手把手教你搞定 实操考试心里没底怕挂科?你不是一个人,很多人都在担心大余电工证考试能不能一次通过,毕竟这是个关乎职业生涯的硬门槛。别慌,今天咱们就来聊聊 大余电工证… · 2026/11/21 19:49:28
枣阳在哪考低压电工证怎么操作?证书过期了不知道怎么复审延期 枣阳在哪考低压电工证怎么操作?证书过期了不知道怎么复审延期 证书过期了不知道怎么复审延期,这事儿真的挺让人头疼。尤其是你手里拿着一张低压电工证,但因为疏忽或者不了解政策,结果错过了复审时间,这下子不仅影响工作,还可能带来安全隐患。如果你在… · 2026/11/21 19:49:28
考电工证多久出结果在哪考别怕考不过白交培训费 考电工证多久出结果在哪考别怕考不过白交培训费 怕考不过白交培训费?考电工证多久出结果,是很多准备报考的学员最关心的问题。尤其在南阳卧龙区,不少学员在选择培训机构时,最怕的就是花了钱却考不过,耽误时间和精力。其实,只要掌握好考试时间、备考方法… · 2026/11/21 19:49:28
专业电工证培训班良心建议:实操考试心里没底怕挂科怎么破 专业电工证培训班良心建议:实操考试心里没底怕挂科怎么破 实操考试心里没底怕挂科,这几乎是每个准备考电工证的新手心里的坎。尤其是像周口市这样的地方,应届毕业生想进入电力行业,没有专业电工证培训班的系统训练,不仅拿不到上岗资格,还可能因为操作不… · 2026/11/21 19:49:28
考电工证多久出结果网上查询别踩坑 考电工证多久出结果网上查询别踩坑 怕考不过白交培训费?别急,先看看这几点再报名! 你有没有这样的经历:报了个电工证培训班,交了几千块,结果考试没过,证书也没拿到,培训费打水漂?别慌,咱们今天就来聊聊【考电工证多久出结果】,以及网上查询、报名… · 2026/11/21 19:49:28
特种作业操作证考试平台官网证书过期了不知道怎么复审延期?良心建议来了 特种作业操作证考试平台官网证书过期了不知道怎么复审延期?良心建议来了 证书过期了不知道怎么复审延期?这事儿真不是闹着玩的,特别是干特种作业这行的,手里没证就像没身份证,干不了活也找不到活干。别急,本文就从濮阳培训机构学员的实际操作经验出发,… · 2026/11/21 19:48:27
长春初级电工证怎么考?通过率揭秘全在这里 长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/21 18:32:10
国内电工证报考条件与考试时间 低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/21 19:16:17
电工作业时如何断电?电子证书到底能不能全国通用? 电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/21 18:32:13
电工证征求意见2026河南最新政策怎么应对?学历不高也能考! 电工证征求意见2026河南最新政策怎么应对?学历不高也能考! 你是不是也担心自己学历不高, 怕报不上名 ?尤其是像焦作水利工程这样的从业者,常年在一线作业,但证书却成了晋升、转岗、接项目的关键门槛。 2026河南最新政策… · 2026/11/21 0:00:17
电工证征求意见怎么填?含金量高不高?济源电工朋友看过来 电工证征求意见怎么填?含金量高不高?济源电工朋友看过来 不知道去哪报名怕被中介坑,电工证征求意见填错了不仅白费钱,还可能影响后续考试和工作。最近很多济源的电工朋友都在问: 电工证征求意见怎么填… · 2026/11/21 0:00:17
房建企业特种工考前押题怎么找?别让培训费打了水漂 房建企业特种工考前押题怎么找?别让培训费打了水漂 怕考不过白交培训费?房建企业特种工考试难度高、题型多,很多人报名后才发现没有合适的复习资料,最终考试落榜,白白浪费了时间和金钱。别担心,掌握【考前押题】的技巧,能让你事半功倍,顺利通过考试。… · 2026/11/21 0:00:17
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:37
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:30
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:32