第三**章 池鱼

到那时，不论计算机（无意间）对人做了什么，是当做有趣的东西豢养，还是当做碍事的垃圾清除，对人而言，决定生死的际遇，在计算机而言却只是“城门失火，殃及池鱼”里的水，连鱼都算不上。

城门失火，因灭火而取水，最终导致鱼的死亡，人至少还看得到这一点。

然而人类开路劈山，挖矿掏洞时，会有这样的思想觉悟，觉得自己的所作所为，正在颠覆、灭绝矿物分子的大千世界吗。

当然不，在（自以为是）的人眼里，矿物，岩石，根本就是没有思想的“物”；

那么在计算机眼里，人，很可能也是一样的“物”。

这，才是某意味深长之句的真正意味：

毁灭你，与你何干。

……

梦中醒来，耳边是闹钟乐声，黑暗中的男人抬手抹一把额头，冷汗涔涔。

起床，洗漱，坐下来食用“高级肥皂”，准备投入新一天的忙碌，吃早饭时的片刻闲暇，方然还是忍不住想起那一切。

事态，比自己之前所想，还要更严重。

事关计算机，人工智能，乃至计算机ai的自我意识，原本他一直以为，只要不主动研发“具有自我意识”的人工智能，计算机系统对人而言就是安全的，永远只能作为一种工具、而不会成为一种威胁。

但现在，不经意间的深邃思考，却让方然窥见了其中的莫大危机。

当能力发展到一定程度，或许是出于“创造性研究”之目的，或许是出于其他动机，计算机的算力、能力突破了上限，继而达到能完全取代人的程度，不管这系统一开始的目标有没有包含自我意识，那样的计算机，其行为都将彻底失控。

那时的计算机，庞大体系内的算法，究竟是在进行一些什么样的运作，恐怕是人类绝对无法洞悉的深奥。

继而，对那样的存在，一切人类已有的概念与手段，都未必会起作用。

借用教义的词汇，在自己一手创造出的神面前，人的手段，又怎可能还会有任何的用处。

只因到那时，那样的计算机系统，将会是盖亚表面的一种前所未有之存在，是生命演化链条被人为截断之后，藉由完全不同之另一条路线而诞生的，更高等、更先进、更强大的新物种，演化天梯上比人更高一阶的存在。

面对那存在，人类对抗计算机，恰如猴对抗人类，又哪会有一丝一毫的胜算。

危险，莫大的危险，潜藏在计算机的发展脉络之中。

并非第一次接触这样的断言，此时此刻，置身于天堂镇的地下世界，恒温恒湿的房间里，方然却有点浑身发冷，很不舒服。

他头一次意识到，若干年前流传于联邦、乃至世界的那些警示，确有意义。

虽然在自己看来，危机的实质，与发出警讯的诸多名人所言并不尽一致，但指向的最终结局却大同小异：

人类的灭亡。

警讯，关于计算机、ai的警讯，曾在人类世界广为流传，也引发过巨大争议。

包括联邦it巨头crosoft总裁比尔*盖茨在内，许多业界精英人物都曾在不同场合表达过对人工智能的忧虑，提醒世人要谨慎面对人工智能。

这些警讯，自然引发了业界热议，甚至在全世界范围内引起了一系列经久不衰的讨论。

但这一切警示与热议，在方然看来，却太肤浅，并未触及问题的实质。

围绕人工智能的“自我意识”，危机感，是很容易产生，而正如他此前的一段思考那样，真正的威胁并不是所谓“自我意识”，而是当计算机算力、能力强大到一定程度，承担的任务越来越复杂、越来越需要创造性的时候，就必然会出现。

只要追寻能力越来越强大的计算机系统，这一威胁，迟早都会在盖亚降临。

而与人类是否警惕，是否开发“有自我意识的ai”毫无关系。

这一认识，是如此的深刻，在西历1489年的这一个早晨，方然顿悟到了关键。

要防备计算机、ai，仅仅是拒绝研发“计算机的自我意识”还不够，或者说，这做法并未抓住问题的关键。

避免危机的关键，在于“适度”，在于永远不要企图用计算机去取代人的一切。

一旦迈过红线，尝试让计算机完全替代人，替代人去从事创造性的科学研究，事态就将失去控制，这绝不只是说说而已，而是在计算机能力突破阈值、彻底失控后，必然会发生的空前绝后之浩劫。

诚如自己之前所想到的，那种危机中，计算机的角色并非屠夫，或者恶魔。

而是创造性思维的无限延拓，迟早会让“计算机+ai”的存在，变成某种人类根本无法掌控、甚至无法理解的东西，继而在其（或许并非恶意）的行为中深受其害。

就像孵化的寄生蜂幼虫，吞噬寄主，其无非是按基因编码行动，却会导致寄主的灭顶之灾。

景象令人不寒而栗，匆匆吃过早饭，在房间里踱步休息，方然强迫自己不要再思考这一问题，而将其推延到遥远的未来。

否则，稍加思考，他就难免会头痛万分。

办法似乎是有的：

要避免计算机失控、成为新的神，就不要开展“计算机科研”的研究。

可这样一来，对“那个人”而言，情形就会变得极其恶劣，需要单枪匹马、充其量以计算机为工具，独力面对客观世界，去尝试推动人类科学技术的进步。

一个人研究科学，推动进步，这样做的难度会有多高呢，简直就是不切实际。

但由于计算机失控的风险，这，却是“那个人”唯一可行的策略。

科学技术的发展，因人类消亡而无以为继，这是一个很棘手的问题，但，问题还不止于此。

倘若不进行“计算机从事创造性科学研究”的探索，毋庸讳言，也就断绝了“用计算机模拟人类意识”的可能。

无法在科研领域替代人的ai，是不可能与人脑相提并论，进而，也就无法研发出这样的计算机系统，其能够承载人的意识。

换言之，一旦顾虑失控风险、拒绝让计算机成神，也就断绝了“计算机中永生”的路。