数据标注选型与采购指南
很多 AI 团队在第一次外购标注服务时,把注意力放在单价上,结果拿到了便宜但不可用的数据,返工成本远超节省的采购款。这篇指南整理了我们一线接项目中反复看到的问题,按选型、评估供应商、成本拆解、验收标准、风险规避五个部分展开。看完之后,你应该能自己判断手头项目该选什么任务类型、向供应商问哪些问题、验收时盯哪些指标。
一、先按模型类型选任务,再谈价格
标注任务的选型由模型决定,不由预算决定。训练目标检测模型,框选数据就够;训练分割模型,必须上多边形或语义分割;做语音识别,转写数据是唯一选项。常见的错误是"降配":明明分割模型需要像素级掩膜,却为了省钱买框选数据,训练效果上不去,又回头重标一遍。另一个容易忽略的维度是标注密度——每张图平均目标数直接决定工时,同样一万张图,密集街景的成本可能是稀疏场景的数倍。选型阶段建议先抽五十到一百条样例,人工估一遍平均密度和单条工时,再进入询价环节。
| 模型类型 | 适配任务 | 常见交付格式 |
|---|---|---|
| 目标检测 | 图像框选标注 | COCO / VOC |
| 实例分割 | 多边形轮廓标注 | COCO 多边形 |
| 语义分割 | 语义分割标注 | PNG 掩膜 |
| 目标跟踪 / 行为识别 | 视频逐帧标注 | 帧序列 JSON |
| 语音识别 | 语音转写标注 | 带时间戳文本 |
| 对话 / 意图理解 | 文本意图与对话语料标注 | JSONL |
| 自动驾驶感知 | 3D 点云标注(可搭配 2D) | 3D 框体坐标 |
| 文字识别 | OCR 文字转写 | 区域坐标 + 文本 |
二、怎么评估一家标注供应商
价格表看不出供应商水平,三件事能看出来。第一看试标流程:正规供应商会坚持先试标对齐再放量,如果一家供应商报价爽快、但对试标态度敷衍,批量阶段的合格率大概率失控。第二看质检独立性:质检员是否独立于产能考核运作,决定了抽检报告的可信度——既扛产能又扛质检的团队,有动机把边缘样本判为合格。第三看交付物清单:只交付数据文件、不附类别对照表和合格率报告的供应商,等于把验收责任全部推给客户。询问时可以直接要一份过往项目的质检报告样例(脱敏后),报告的颗粒度——是否分类别、是否写明不合格原因——比任何宣传话术都诚实。
三、成本结构:报价单里应该有什么
一个合理的报价由三部分组成:单条或单框单价、试标费用约定、返工条款。单价取决于标注密度、类别数量和质检比例,这三项任何一项变化,价格都应该跟着变——如果供应商对密度悬殊的两批数据报同样的价,要么是不懂行,要么是准备在质量上找补。试标阶段的成本最好单独约定,很多供应商愿意在承诺批量的前提下减免试标费。返工条款是采购方最该争取的部分:因规范理解偏差导致的不合格,返工成本应由供应方承担;因客户中途修改规范导致的重标,则应按变更处理、另行计价。这一条写清楚,能避免项目后期最常见的扯皮。
四、验收标准怎么写才可执行
"合格率达到 95%" 这样的验收条款基本不可执行,因为合格的定义没写。可执行的验收标准要落到三件事上:第一,以试标阶段冻结的标注规范为唯一判定依据,规范版本号写进合同;第二,抽检方案明确——抽检比例、分层方式(按类别分层而不是随机混抽)、单类合格率的最低线;第三,不合格处理路径明确——是整批回炉还是定向修补,重新抽检由谁执行。我们的做法是按类别出具合格率报告,比如"车辆类 98.2%、行人遮挡类 96.5%",客户能定位到具体薄弱类别,而不是面对一个笼统的总体数字。详细的问答见我们的常见问题详解。
五、四个常见的坑与规避方法
第一个坑是规范模糊就放量。边界情形(遮挡过半、类别归属两可)没有提前裁定,批量阶段会产生系统性偏差。规避方法是试标批次必须覆盖足够多的边界案例,且规范冻结后不再口头变更。第二个坑是格式在交付时才谈。交付 schema 应在试标阶段冻结,包括字段名与嵌套结构,否则交付后转换格式又是一轮成本。第三个坑是数据安全没有书面约定。数据留存期限、删除确认、保密义务都应写进协议,而不是依赖口头承诺。第四个坑是只看单价不看总成本。低单价若伴随高返工率,总成本反而更高,评估时应把"单价 × 预计返工次数"作为比较口径。
