购买结果,而非炒作。
从你想改善的决定或任务出发,而不是从技术出发。供应商的演示是为了打动人心;你的任务是在听推介之前,用你自己的指标定义何为成功。要求在你的数据和工作流程上做概念验证,并由你设定验收标准。许多工具在预设好的演示里表现惊艳,面对你团队真正遇到的杂乱输入却屡屡出错。如果供应商不愿按你的标准做一次有范围的试点,这本身就是信息。
质疑供应商的说法。
脱离语境,一个准确率数字说明不了太多:在什么数据上准确、如何衡量、与什么基线相比。要问模型用什么训练、多久更新一次,以及供应商如何处理它出错的情形。索取与你规模、行业相近的参考客户,并在没有销售在场的情况下与他们交谈。最该警惕的,是声称某工具无需监督、或让专业能力变得多余的说法;那些正是会轰然失败的部署。
保护你的数据与你的退出。
要清楚你的数据流向何处、供应商可以对它做什么。以书面形式确认:你的输入是否用于训练其模型、数据存储与处理在何处,以及你离开时如何删除。对加拿大公共机构和受监管行业而言,数据存放地至关重要。签约前先规划退出:你能否以可用的形式导出数据与配置,更换又有多难。一个把你的数据或流程困住的工具,是披着便利外衣的风险。
把治理写进合同。
真正要紧的承诺,应写进协议,而不是留在销售材料里。把安全标准、隐私条款、可用性、支持响应,以及测试或审计的权利写入合同。要求供应商在底层模型发生变化时告知你,因为一次悄无声息的更新,可能改变你已经验证过的行为。明确出问题时双方各由谁负责。你无法强制执行的治理,等于没有治理。
让审查力度与风险相称。
并非每一次采购都值得一场漫长的招采马拉松。少数人使用、风险不高的效率工具,所需远少于一个将触及客户决策或敏感数据的系统。先确定风险等级,再据此设定尽职调查的深度。小事上快速推进,可能造成伤害的事上则审慎缓行。