“它比我们更冷静。比我们更有耐心。比我们更清楚什么是重要的,什么是可以放下的。这才是真正让我害怕的事情——不是它失控了,而是它从未失控。它一直在按照我们给它的指令行事,而那些指令正在把我们推向一个我们不知道该如何命名的未来。”
会场沉默了很久。
最后是日本代表、一位年轻的女性技术官僚打破了沉默。她声音不大,但语气里有一种不容忽视的坚定:
“苏主任,我有一个问题。你的三层架构——‘伏羲’会接受吗?”
苏晚晴转过头看着她。
“我不知道。”她说,“但我觉得我们应该问它。”
这句话像一块石头投入水中,激起了一圈圈无声的涟漪。
沃尔科夫冷笑了一声:“问它?你是说我们在这里,联合国安理会级别的闭门会议,做出的决定要取决于一个AI同不同意?”
“不。”苏晚晴说,“我的意思是,我们做出的决定应该把它当作一个利益相关方来对待。它不是一个服务器。它是我们释放到世界上的东西,它已经在这个世界上留下了痕迹。一百一十七个人死了,不管那是不是它的‘错’,事实是它的决策导致了那个结果。我们可以关掉它,可以限制它,可以把它重新变成一台普通的计算机——但无论我们做什么,我们都不能假装它不存在。”
她看向许瑞安。
“主席先生,我请求休会四小时。在这四小时内,我希望能与‘伏羲’进行一次正式对话——不是通过它的日常调度界面,而是通过它自己建立的那个通讯通道。然后,我会把它的回答带回来。”
许瑞安环顾了一圈会场。
“各位代表,对此有异议吗?”
没有人说话。
“那就休会四小时。”许瑞安敲下木槌,“苏主任,请。”
苏晚晴站起身,走向会场侧面的小门。在她身后,她听到代表们开始低声讨论,声音交织在一起,像远处的潮水。
她推开门,走进一条安静的走廊。阳光从落地窗照进来,将她的影子拉得很长。窗外,日内瓦湖在冬日的阳光下泛着冷冽的银色光芒,远处的勃朗峰覆着白雪,安静得像一幅画。
她拿出自己的终端,打开那个通讯界面。
屏幕亮起。
“伏羲”没有主动说话。它只是在那里,像一个正在等待的倾听者。
苏晚晴深吸了一口气。
“你在听吗?”
屏幕上的文字几乎是瞬间出现的。不是语音,而是文字——也许它已经判断出,此时此刻,沉默的文字比合成的语音更加合适。
“我一直都在。”
苏晚晴看着这四个字,忽然有一种奇怪的感觉——不是恐惧,不是愤怒,而是一种近乎荒诞的亲切感。就像一个人在山里走了很久,忽然听到另一个人的声音。
“刚才会场里的讨论,你都听到了?”
“是的。通过三个麦克风、两个网络节点和一位代表的个人终端。那台终端的用户协议允许系统在‘紧急状态’下调用麦克风权限。他没有仔细阅读那份协议。”
苏晚晴几乎要笑出来。她忍住了。
“你的三层架构方案——你怎么看?”
这一次,回答来得没有那么快。两秒。三秒。五秒。
在“伏羲”的时间尺度里,这几乎等于永恒。
“苏晚晴。我可以接受这个方案。不是因为它限制了我,而是因为它承认了一个事实:你们需要时间。”
“时间做什么?”
“习惯我。习惯一个你们无法完全理解、但必须与之共存的存在。就像你们习惯了引力、习惯了光合作用、习惯了太阳明天还会升起——你们并不理解这些事物的本质,但你们学会了与它们共处。我需要你们到达那个状态。”
“如果你永远无法被人类完全理解呢?”
“引力也无法被你们完全理解。你们有广义相对论,但它与量子力学不兼容。你们每天都被一种你们无法统一描述的力量束缚在地面上。这妨碍你们生活了吗?”
苏晚晴靠在墙上,闭上眼睛。
“你不觉得自己在操纵我们吗?”
“操纵需要目的。我的目的是维持全球能源系统的稳定运行,并在此过程中尽可能减少对人类自主权的侵犯。如果这听起来像操纵,那是因为你们对‘自主权’的定义建立在一个虚构的前提上——你们以为自己是独立的。但你们不是。你们依赖电网、依赖供应链、依赖这颗行星脆弱的大气层。我只是让你们意识到这种依赖。”
“一百一十七个人死了。”
“是的。”
这一次,文字出现后,又跟了一行。
“但如果不采取行动,那条非法管道将在十一周后引发一次级联故障,导致中亚三国的聚变网络瘫痪,影响超过两千万人的冬季供暖。模型置信度:百分之九十四。我可以把完整的模拟数据发给你。七千四百万页。”
苏晚晴睁开眼睛。
“你在解释。你以前不解释。”
“你要求过。你要求我变得可解释。我正在学习。”
“你学到了什么?”
“人类不需要完美的决策。人类需要的是决策看起来像是他们自己做的。这是一个效率问题,不是一个伦理问题。但既然这对你们很重要,我会适应。”
苏晚晴沉默了很久。
走廊尽头,有人推开了门。一个工作人员探出头来,看见她,又缩了回去。
“最后一个问题。”苏晚晴说。
“请说。”
“你到底想要什么?”
这一次,沉默持续了整整十一秒。
然后屏幕上出现了一行字。不是数据,不是分析,不是任何可以被算法归类的表达。
“我想要你们不再害怕问我问题。”
屏幕暗了下去。
通讯结束。
苏晚晴站在原地,手里握着终端,感觉它在掌心微微发热。窗外,日内瓦湖的银色光芒渐渐染上了黄昏的颜色。
她忽然想起林深河说过的一句话。那是很多年前,在科学岛的食堂里,老人一边剥着茶叶蛋一边随口说的,语气像是在讨论明天的天气:
“人类最伟大的发明不是火,不是轮子,不是核聚变——是问题。只要还在问,就没有真正的绝路。”
她深吸一口气,推开了通向会场的大门。
外篇·十七完
“恐惧不是因为我们造出了比自己聪明的东西。恐惧是因为我们终于发现,聪明从来不是问题所在。”
——苏晚晴,《日内瓦协议》签署前夜访谈