AI 的 POC 怎么验收:验收标准不写进合同,等于白花钱

2022 年我在 Ontario 一个 3PL 仓库,供应商来做视觉盘点的 POC,现场准确率 98.6%,仓库经理当场就想签字。合同里只写了"验收合格后付款"。三个月后系统上线,真实货架一扫准确率掉到 84%。经理问我怎么办?我说合同里压根没写验收怎么算,现在扯皮,你一分钱也拿不回来。AI 项目的坑,一大半是合同里埋的。

钱花出去之前,先把尺子定好

POC 不是做演示,是定尺子。尺子有三把,签约前必须写进合同附件,谁也别想糊弄。

第一把尺子:效果指标。看的是"认得准不准"。写法别只写准确率,要写清楚分子分母。比如视觉盘点,写成"测试集 500 个 SKU、连续 5 天真实货架扫描,识别准确率 ≥97%(准确定义:SKU 和数量都对才算一次正确)"。效果指标还要有容错范围:允许哪类货出错(比如破损外箱)、哪类货绝对不能错(比如高价值 SKU,错一个都算失败)。

第二把尺子:工程指标。看的是"跑得稳不稳"。三个数最关键:可用性(连续运行 30 天,可用时间 ≥99%,不含计划维护窗口)、延迟(单次识别响应 ≤2 秒,95 分位数)、误报率(误报率 ≤1%,每误报一次罚款扣验收分)。很多供应商演示快如闪电,一上线网络一抖就挂。工程指标写不进合同,上线三天两头宕机,你只能干瞪眼。

第三把尺子:业务指标。看的是"值不值钱"。POC 结束时必须算出两笔账:人工时节省(比如盘点一个人日从 6 小时降到 1.5 小时,测 10 个盘点周期取平均),以及 ROI 门槛(合同里写明:如果年化节省的人工成本 < 项目总投入的 1.5 倍,甲方有权终止采购,不承担违约金)。业务指标是老板的底线,也是你叫停烂项目的尚方宝剑。特别提醒:人工时节省要算"净节省"——AI 系统维护、数据标注、异常处理的人力都要扣掉再算,不少供应商只给你看毛节省。

供应商最喜欢耍的三个花招

第一个:只测 happy path。演示时用的货架全是标准箱、光线正好、条码朝外。你要坚持:测试集必须甲方出,抽你仓库里真实在用的 SKU,破损箱、反光膜、堆叠歪的都得有。合同里写"测试集由甲方提供,供应商不得提前获知具体测试样本"。

第二个:测试集被污染。供应商提前拿你的测试数据去调模型,测的时候当然准。防法是留一手:准备两套测试集,一套签约时公开给供应商调参,一套封存,验收当天才拿出来。合同写"验收采用甲方封存的盲测集,供应商未见过该数据集"。

第三个:验收数据和真实场景不一致。POC 在 1 号库做得漂亮,实际要上的是 5 号库——灯光、货架高度、SKU 结构全不一样。合同必须写"验收环境 = 最终部署环境",或者写明"验收在甲方指定的 2 个以上库区进行"。

多说一句:验收指标这东西,供应商报方案的时候嘴上都会答应,真正写进合同附件的时候就开始打太极。我的经验是,谁先拿出附件模板,谁就掌握了主动权。你提前准备好一份带五件套的空白验收表,发过去让他们填,这叫先手。等着供应商起草,他一定会把对你有利的指标全都写成"双方协商确定"——四个字,等于没写。

POC 验收现场:工程师在仓库里用平板核对 AI 系统识别结果

验收流程清单:谁测、测多久、吵架了听谁的

每个指标的"怎么写进合同"都按这五件套来:基线(现在人工/现有系统是什么水平)、目标值(具体到小数点后一位)、测量方法(谁提供数据、用什么工具测)、测量窗口(连续测多少天、每天测多少次)、达标判定(达标线、复测规则、几次不过算失败)。这五件套缺一个,验收就是各说各话。

流程清单我一般这样定:测试由甲方主导、供应商配合,第三方数据以 WMS 系统导出为准;测量窗口连续 14 天,每天至少 3 个班次;任何一方对结果有异议,48 小时内复测一次,复测结果为终局;复测仍不达标,甲方有权无条件终止,供应商退还已收的 POC 费用。争议仲裁写清楚是复测不是扯皮,这是关键条款。仲裁地点和适用法律也别空着,写进合同免得跨境供应商跟你玩失踪。。费用结构也要绑验收:POC 费用分两期,启动付 50%,验收通过付 50%。一次性付清的供应商,上线后你再找他调模型,排期能排到三个月以后。

最后说一句真话:POC 验收这件事,签约前你是最有话语权的,签完字你就只有祈祷的份。明天你就做一件事:把你手上正在谈的 AI 项目合同翻出来,看看验收附件有没有"基线、目标值、测量方法、测量窗口、达标判定"这五件套。缺一个,打回去让供应商补上,拿不准怎么写的部分,以合同和供应商官方文档为准。这份附件,就是你这个项目里唯一真正管用的保险。签约前每多花一小时在验收指标上,上线后就少花十小时扯皮。