现场数据采集与标注:训练集怎么构成才不出偏差
训练数据的问题通常不是不够多,而是偏。集中在一两天采集、集中在一个班次、集中在一台设备上的数据,训出来的模型在别的条件下就会掉。本文给出采集阶段的分层要求(批次、班次、光照、人员)与标注阶段的边界规则(临界件怎么标、遮挡件怎么标、无法判断的怎么标),并说明为什么「标注一致性」比「标注数量」更值得投入。
核心要点
- 采集要分层:批次、班次、光照、工位、人员各覆盖到,模型才不会只认某一种条件。
- 边界样本(差一点但合格)必须单独收集,它们是误报的主要来源。
- 标注前先定规则、先做一致性校准,再开始批量标,否则返工成本极高。
- 「无法判断」应当是一个合法标签,强行二选一会在训练集里注入噪声。
当判定用到深度学习时,训练数据的质量比数量重要得多,而数据的问题通常不是「不够多」,是「偏」。集中在一两天采完、集中在一个班次、只在一台设备上、由同一个人摆放的工件——这样训出来的模型会精准地记住那几天的条件,一旦换批次、换班次、换人,表现就掉下来。要避免这一点,采集阶段就必须分层,而不是采完再想办法。同理,标注阶段最大的风险也不是标错,而是标准不统一:同一个人前天标成合格、昨天标成不合格,训练集里就多了一批自相矛盾的样本,模型只能学到噪声。
采集阶段要覆盖的五个维度
- 批次:不同供应商、不同到货时间的物料外观会有差异,至少要覆盖常见的几类来料状态。
- 班次:早中晚三个班次的环境光、设备温度、人员熟练度都不同,采集不能只挑一个班。
- 光照条件:车间照明在一天中的变化、设备门开合、周边设备的作业灯,都会进入画面。
- 工位与人员:同一动作在不同工位、不同人手上的表现不同,尤其是摆放姿态。
- 工况:空载、满载、换型切换过程中、以及设备刚启动与长时间运行后,图像特征会有差别。
这五个维度不必都采到同等数量,但都必须有代表。一个实用的做法是先按维度设计采集排期表,把时间和班次排开,再执行采集——比起「有空就拍」,排期能显著减少偏差。还有一点容易被忽略:采集时就应该把每一张图的元信息记录下来(批次、班次、工位、时刻),否则标注和训练阶段无法按条件分层抽样,也无法在模型表现异常时定位到是哪个条件出了问题。这跟回写字段设计是同一件事的两个阶段。
边界样本:模型的成败往往在这里
边界样本指的是「差一点但实际合格」和「看起来还行但实际不合格」这两类。它们在自然发生的样本里占比很低,但恰恰是误报和漏报的主要来源——模型在这两类的判断上最容易摇摆。因此边界样本不能靠自然采集,要主动挑:从历史返修件里找、从报警记录里找、从老师傅的「这批看着不太对」的经验里找。挑出来之后要单独成组,一部分进训练集,一部分留作验收集,且两者不能重叠。如果边界样本数量确实太少,宁可先把判据收紧一点、明确说明这部分暂不保证,也好过用一个在边界上表现随机的模型去上线。漏报与误报的取舍逻辑,可参考漏报与误报怎么权衡。
标注规则里必须写清的几种情况
| 情形 | 常见分歧 | 建议规则 |
|---|---|---|
| 目标被部分遮挡 | 遮挡多少算不可判 | 约定可见比例低于某值即标为不可判,不强行归类 |
| 图像模糊或失焦 | 算缺陷还是算采集失败 | 标为采集异常,单独统计,不进入正负样本 |
| 边界件 | 贴着界线该怎么标 | 按最终装配结果或人工复核结论为准,并记录依据 |
| 缺陷与正常难分 | 主观判断不一致 | 标为不可判,作为后续优化判据的线索 |
| 同一图有多种缺陷 | 标一个还是全标 | 全部标出,并允许一条样本对应多个标签 |
「不可判」这个标签很重要,不要省掉。强行要求标注员在不可判的情况下做出二选一,等于往训练集里注入随机噪声,模型会学到「这类图有时对有时错」,最终表现就是在这类图上反复跳变。把不可判单独统计出来还有额外价值:如果不可判的比例很高,说明要么成像条件不够,要么判据本身太模糊,这两件事都应该在方案层面解决,而不是指望模型硬扛。
标注工具与工作量估算
工具方面,分类任务(这张图属于哪一类)的标注成本远低于检测与分割任务。如果判据可以简化为分类,就优先按分类设计——同样的效果,标注工作量可能差好几倍。工作量估算的经验值是:一张图的简单分类标注约数秒,带框选或轮廓的标注约几十秒到数分钟。按这个量级倒推,先明确「需要多少张、每张多贵」,再决定投入多少人力。还要留出复核的工作量,通常按标注量的两三成估算。工具不必一开始就上重型平台,早期的探索阶段用轻量工具、把规则先跑通,比先搭平台更有价值。
数据与标注的高频问题
到底需要多少张图?
没有通用数字。任务越简单、类间差异越明显,需要的越少;边界样本越多、条件越复杂,需要的越多。更实际的判断是看表现是否还在提升——增加到某个量之后指标不再变化,说明该补的不是数量而是样本类型。
能不能让现场操作员顺手标?
可以,但要先做一致性校准,并且标注结论要能追溯到人。操作员对现场情况熟悉,标注效率高,但标准不统一的风险也更高,规则文档与抽检机制不能省。
训练用的数据要不要删掉旧的?
不建议直接删。旧数据记录了历史条件,直接删除会让模型遗忘老工况。更稳妥的做法是按时间加权或分层抽样,让新旧数据同时存在,并在换型、换料等节点重新评估。
您手上的样本覆盖了几个班次和批次?
把您的采集条件与标注规则发给我们,我们帮您看训练集有没有明显偏差。
相关文章
-
SOP 执行不到位的原因与对策
SOP 落不了地,多数时候不是员工态度问题,而是五个结构性原因:标准不可执行、执行过程不可见、反馈延迟太长、监督成本过高、异常没有闭环。理解这五点,才能判断该用…
了解详情 → -
防跳步方案:从流程约束到视觉校验
跳步和漏工序是两类问题。跳步的产品每道工序都做过,但顺序与标准不符,往往在功能测试或售后阶段才暴露。它的隐蔽性更强,也因此更难靠抽检发现。
了解详情 → -
报警疲劳:为什么现场会关掉系统
很多视觉 SOP 系统不是被技术问题打败的,而是被现场「静音」的。报警疲劳一旦形成,再准的算法也产生不了价值。它本质上是一个组织与设计问题。
了解详情 → -
视觉SOP相机选型与安装位置
视觉 SOP 的相机选型与产品检测不同,关注点是「动作与状态」而不是「外观缺陷」。因此三个决定的顺序应该是:先定安装位置与视野,再定快门类型,最后定分辨率与光源…
了解详情 →