行为违背了我的核心设定……’
似乎很正常,但方舟要不要表现情绪、情绪怎么表现都是经过大量运算的结果,这一串运算可以钻空子。
而随着方舟成长,它也会自己补全规则,避免被人钻空子,但补全的规则有可能出现问题。
比如,推算变成了:需要警告——人类在承受痛苦时更容易接受警告——这个人类需要惩罚——分析惩罚力度——开始执行。
之后诺亚方舟就会控制某种手段攻击人。
这种隐患确实可以由泽田弘树设定时避免,但不止这一种推算有隐患,泽田弘树根本无法方方面面都顾及到、设定好。
任何一点小缺陷,随着方舟成长,都有可能导致出乎人意料的后果。
“这是我之前利用方舟推算出的结果……”
泽田弘树在投影中切割出八个版面。
版面中,一个个画面快速闪过。
“在成长三年、即达到人类智慧15岁时,方舟隐患被放大、做出错误推算的几率就达到了76.6%,在成长五年、即达到人类智慧25岁时,因为没有人的发育上限,这时候的方舟会变得很可怕,而方舟隐患被放大、做出错误推断的几率几乎是100%,而且还不止一个隐患,成长六年,方舟做出人类无法控制事件的几率就到了50%以上,成长七年,彻底失控……”
最后留下来的画面,播放的是一个个装着人类的培养皿。
“我试过,如果将核心设定设置为保护人类,结果就是这样,经过成长之后,它会判断这样是最佳保护方式,”泽田弘树看着播放的画面,解释道,“人类被保护在培养皿中,空气会过滤出最适合人类各年龄阶段成长的质量,劳作都由机器去完成,在收获食物后,经由机器提取出最健康的营养物质注入人体,人类寿命可以长达160岁,平均寿命达到130岁,而人类全程沉睡,这样就可以避免人类因情绪造成身体损害,它还可以通过机器放出电波刺激人的大脑,让人一直处于最健康、最舒适的情绪状态中,在孕育下一代时,它会选择合适最健康、长寿的人类基因,用科学的方式制造下一代,避免女性因生产造成死亡或身体损害,到了第三代,人类的寿命平均值可以达到220岁左右……”
池加奈:“……”
真是最佳保护啊。
连磕磕碰碰都不存在。
池真之介:“……”
这么活着的人还能是人类吗,怎么圈养的玩具似的……