真正改变的是什么。
语言模型生成文字,由人来阅读、判断并使用。而智能体则被赋予一个目标以及去达成它的手段:它可以调用工具、查询系统、做出决定并把步骤串联起来,而在请求与结果之间,往往少了许多人的参与。底层技术是相似的。真正改变的,是 AI 的输出与现实世界之间的距离。聊天机器人给出建议;智能体则采取行动。从建议到行动的这一步,正是智能体采用的全部要义。
失败的方式也随之改变。
当聊天机器人出错时,阅读答案的人通常会在它造成危害之前把它揪出来。当智能体出错时,动作往往已经发生:邮件已发出、记录已更改、订单已下、钱已转出。错误还会累积:步骤链条早期的一个小错,到末尾可能演变成一个更大的错。而且出现了一类新的风险:过去只会生成一句错话的提示注入,如今可能触发一个真实的动作。问题从“答案对不对”转变为“这东西一旦出错能干出什么”。
从狭窄、有界、可逆之处开始。
把宽泛、开放的权限交给智能体的冲动,正是要克制的冲动。要把它的范围收窄:一项具体任务、一组界定好的工具、对它能触及之物的明确限制。优先选择可逆的动作,或者对任何有后果的事情(支出、对外消息、不可逆的更改)都停下来交由人来批准。给智能体刚好够它完成工作的最小权限,只有当它在这个狭窄版本上赢得信任后,再逐步放宽。自主权是逐步授予的,而不是一按了之的开关。
治理它能做什么,而不只是它说什么。
对聊天机器人而言,治理主要关乎输出:是否准确、恰当、无偏。对智能体而言,治理关乎权限:它能调用哪些工具、能触及哪些系统、能花多少钱、哪些事必须先经批准。把智能体少当作更聪明的自动补全,多当作一个拥有系统访问权限的初级员工。这意味着要有真实的权限与最小特权、一份它所采取动作的完整日志(而不只是它生成的文字),以及一种能迅速叫停它的手段。如果你既看不见智能体做了什么、又无法叫停它,那你就没有在治理它。
信任的赢得方式依旧不变。
尽管有种种新意,采用归根结底仍是人把真实工作托付给系统,而这份信任的赢得方式一如既往:靠透明与过往记录。人们需要看到智能体做了什么、为什么这么做,保留介入的能力,并从出错代价低的地方开始。在它取代现行做法之前,先让它与之并行运行。随着它不断证明自己,再扩大它的职责范围,而不是提前。能从智能体身上获得价值的机构,并不是那些最快授予最多自主权的机构;而是那些赢得了授予资格的机构。