論壇

从此以后，我向太空张开自信的翅膀

不畏水晶或玻璃的藩篱

我划破长空，向着无限翱翔

我从自己的世界飞往其他世界

穿越浩瀚星空，一往无前

------ 我将遥远的路途，抛在身后

    设定集 - 世界观设定01

    0，这本书不创作远未来

    基础设定：未来的理论科学发展较为悲观，但对于支撑应用科学的发展已经足够够用。

    在掌握科学精神与科学方法之后，新理论必然是旧理论的推广拓展而非完全推翻。

    在旧理论已经拟合的非常好以至于几乎完全适用的范围内，原则上不支持凭空搬个新理论出来说旧理论从头到尾都是错的全得推翻。

    举例：广义相对论和量子力学在宏观低速下还是要退回近似牛顿力学，如果没有这样的话，那请问牛顿力学最初是怎么来的呢？

    因此，21世纪的理论科学已经逐渐走向这样的问题：人类已经在「探求世界的运行规律」上已经走的足够远，以至于现有的基础理论可以涵盖无比宽广，远超人类当前应用科学水平的适用范围，而不像古人连地心说日心说都要争论半天。

    得出结论1：这适用范围以内原则上不支持黑科技的存在———否则这样的黑科技应该早就被证明有可能存在或被发现存在，并且立刻将现在的基础理论完全变成另一个样。 这种事情现在并未发生，因此若有人随意声称这样的黑科技存在，那么这在原则上违反科学精神，对方可能是民科。

    得出结论2：超出这适用范围的地方可能会有新发现，但这「地方」自身也已经远的难以接触，以至于人类目前发现不了（如果并非如此，那么在现有的适用范围之内总会出现些迹象，此时结论1仍然有效），且有可能未来发现了也没什么影响———我们已经有TeV级加速器，但也没有发现比电弱统一更高级的东西， 而电弱统一理论现在也没有带给我们比核聚变更强大的力量。 又如，我们已经制造出Oganesson元素，但他的半衰期短到讨论他没有意义，所以无法拿Oganesson元素填充霓虹灯。

    得出结论3：即使未来在远超现在这适用范围的地方发现了黑科技存在的可能性，这也很有可能离智慧生物未来可以够得到的能力边界过于远，导致黑科技即使存在也无法利用———广义相对论告诉我们，只要把N个太阳质量的负质能以类空世界线塞进冰箱里，就有可能获得Alcubierre引擎，可难道未来的我们就真的一定有能力办得到吗？

    重要设定：简化宇宙社会学

    注意：以下内容可能包含大量「表达能力不足」与「只写结论不写过程」段落，可能也并不完全严谨，所以仅作为书中设定存在，仅供参考！

    1，血肉苦弱

    有机智能的硬件与软件性能通常不足以前往星空，即使有计算机辅助也一样。

    智能水平上，人脑的理论算力虽大，却无法随心所欲地利用，导致仅需一个科学计算器便完胜人脑。 这还是最普通的半导体集成电路计算机，从硬件到软件都先进不到哪里去。

    ———这没办法，300K怎么赢3K？100m/s怎么赢光速？

    记忆力不必多说。 而能耗方面计算机的可能性也远超人类。 当然不是指晶体管，而是RSFQ超导脉冲数字电路，后者不仅具有强大性能，能耗也低的多。 且由于RSFQ的原始设计实在过于原始，比如说其甚至包含大量没有被优化掉的非超导组件。 所以只要换些新设计就能迅速降低能耗，然后比如说还可以采用可逆计算，这又能降低许多能耗。

    躯体性能不必多说，以长时间保鲜为例，目前的「人体休眠」近似于长时间低体温低代谢昏睡，有可能连续沉睡数月而降低补给消耗。 但无论如何也不可能一路上睡几百年睡到隔壁恒星系去。

    另外，有机智能的人/人间协作能力也很差劲，即使有弱AI帮助也一样。 再加上前述智能水平与记忆力的弱项，导致草台班子广泛存在，后者又导致只要规模大起来，想要充分发挥生产力便越来越难。 而如果靠嗯堆人口数来强行提升生产力，此时文明的自组织与社会治理能力最终将与不断膨胀的文明规模直接脱节，此时文明将无法稳定存续。

    总之，强行让不适合太空的有机智能充当其实只有决策作用的硬件，是非常低效、成本极高的。 即使有弱AI的帮助，这样的纯由有机智能组成的文明也难以达到K1.2+以上的规模。

    但这也并不是一个非常低的数字，撒哈拉沙漠+中国西部荒漠+澳大利亚荒漠加起来铺满光伏，加起来很容易就能达到K0.9+，而K1.2+则是K0.9+的约一千倍，这实在不是一个小数目。

    2：善恶不同

    纵观人类文明的发展史，很容易就可以知道：一个更加发达的社会，能够继续发展的能力也更强，发展的速度也更快———这本就是「更加发达」的一个标准。 也就是所谓的「加速回报定律」。

    我们常说「探求宇宙万物的运作规律」，那么对于具体如何这样做，我们暂且将科学发展的过程简称为名为「理论」与「产品」的科学发展成果，以及名为「实践」的科学研究行动。 这样一来，科学发展的过程可以简化为：以许许多多的「理论」为材料，通过「实践」的过程，得到新的「产品」，然后又用许许多多的「产品」为工具，通过「实践」的过程，得到新的「理论」。 前者即应用科学，后者即理论科学。

    而在评价科技发展速度的时候，我们基本上可以以上述过程的发生次数与组合选项，也就是「实践的丰富性与多样性」，对科技发展速度与发展潜力作出简单的评价。 虽然上述过程走完一圈下来也有可能最终失败，没有达成预期结果，但也能积累经验，所以只要这样的收获达到了，那么无论是怎样的收获，我们都称其为发生次数/组合选项+1。

    而在这种情况下，我们或许可以对广泛的情况进行简单论证：善意对科技发展有利，恶意对文明存续有害。 以下将分别简述：

    当一个文明以自然科学取代愚昧无知，便可以跨越「工业文明」的大门，而在科技树上越往上走，提升生产力就越需要依靠「知识」和「创意」，也就是脑力劳动，而非农耕文明的体力劳动。 又或者说，眼镜店里买来的普通眼睛，一万个古代王国最优秀工匠的巧手也磨不到这样的准确度。

    因此，能有多少有效心智资源去分工合作，共同参与脑力劳动，这将间接决定生产力与科技的发展，而这就需要自由/平等/公正/法治的核心价值观。 举个例子：如果文明中的一部分人因为各类歧视而被排挤和束缚，他们代表的这一部分心智资源就相当于被浪费了。 又或者说，好的社会分工可以优化所有人的工作效率，有利于生产力与科技的发展，但是上文中的这些歧视与束缚，本身就会意味着文明内部的不稳定斥力———也就会成为阻碍分工合作的原因。 如果一个组织本身就四分五裂，那自然无法正常进行工作，于是也难以发展科技与生产力。

    这样的话反过来进行总结，核心价值观的二十四字或其指代的本质，实际上是为了做到「充分解放生产力」而对文明自身提出的要求。

    而对于恶意文明来说，情况还会更加复杂与糟糕。 因此为了方便理解，文中所有的文明将不指代「人类文明整体」，而更像是具备相同「基本理念」（如善意或恶意）的群体。 又或者说，比起基于基因的「种族」，文中的「文明」将更类似于基于自我认同与互相认同而构建的「民族」或「国族」。

    当然，虽说同一个地球上的人类分属不同文明听上去有些奇怪，但是在太空时代我们必须面临这个问题的。 因为距离太远，环境不同，导致工业和教育之类都不同，行星际距离下的不同人类群体很容易就能发展出不同的文化/民族/国族，此情况在地球上古已有之，所以这样分才更加准确。

    总之，我们简单的建立以下思想模型：

    首先，暂且将恶意文明，或其具备的「恶意基本理念」，简单定义为「灭绝或完全支配/奴役/压迫剥削所有异己者」，至于嘴上的借口是种姓/神选/别的什么玩意儿，这个暂且不重要。

    然后我们先以古代人举例，然后再向外推论：在工业革命之前，大一统封建王朝诞生之前，甚至在农业文明诞生之前，什么才是第一生产力呢？ 最简单的，人就是生产力。 又或者说，能够团结起来的有效劳动人口，就是生产力的来源。

    可是按照以上的恶意文明定义，所有人都寻求奴役他人只有自己是人上人，那么怎样才能团结起来以聚集更多的生产力去奴役他人呢？ 答案是确实存在一种相对最不容易背叛的「他人」———自己的后代。 产生后代是基因的继承，培育后代则是模因的继承，从这一角度来看，后代虽有可能叛变，但同样情况下，外人相对只会更有可能叛变。

    实际上这就是母系氏族最初能够存在的原因：只有母亲一定能确定自己的孩子是自己的孩子，远古部落虽然劳动和战斗仍然是男性来做，但一定会存在年长女性的「长老」。 虽然母系氏族最终因为产生后代速度慢而败给父系氏族，「自己的后代相对外人更不容易背叛」这一点却不会发生改变。

    因此以上结论也可以随时间变化，外推到封建帝国与罪恶巨企等不同的恶意文明。 对于短生种恶意文明，唯一或许有可能成为「不会背叛的自己人」的他人正是继承了自己基因与模因的后代。 而对于长生种恶意文明，虽然可以靠自己活的长，甚至可能没有传承基因的硬性要求，「绝对的自己人」概念仍然存在，仍然不能保证没人会生育后代。

    所以恶意文明的人口数量只会增加，但如果是善意文明，首先可以用基本理念互相约束来解决背叛问题，而且善意文明相对不在乎基本理念不同，可以接受分裂出去基本理念不同的子文明，所以计划生育对于善意文明可行。 同时由于前述「难以发展科技和生产力」，善意文明可以努力发展科技，只要让生产力增加始终超过人口增加，那就不会有什么问题。 但这两点对于恶意文明来说都做不到。

    于是因为恶意文明的人口数量只会不断增加，再加上「自己的后代相对外人更不容易背叛」，各个恶意群体混乱冲突的最后，会有一个生产力相对较高运气也相对较好的恶意群体最终支配其他恶意群体。 于是在这之后，为了至少在眼下解决混乱冲突，这个恶意群体大杂烩将最终形成从上到下的金字塔型层级支配结构。 与此同时，每一层的成员，只要有可能，将尽可能产生多于自身人数的后代。

    在这种情况下，由于资源有限，每一层的成员按后代，能留在该层的数量必然少于上一代的数量，因为会被上一层多生育的后代挤占该层的位置。 同时由于金字塔上层的成员掌握的资源更多，往往生育后代的潜力更大，与此同时，因为资源有限，这个金字塔越往上走能容纳的人口就越少。

    经过以上过程，我们可以知道金字塔底层人最多资源最少。 金字塔底层的成员将无法养活和自身人数相同数量的后代———甚至可能无法养活自身，而他们的生存位会不断被次顶层多生育的后代占去。 由此可知：金字塔底层是乱坟岗，金字塔上绝大多数人口将一代一代的逐渐向下跌落，形成所有人到最后全部无法逃脱的完全死亡漩涡。

    对于金字塔底层，自己的生命持续受到威胁，因此有谋反的理由。 对于金字塔中层，位置更高，又能往上看又能往下看，更能看清坠向死亡漩涡的趋势，因此同样有谋反的理由。 虽然可以有科举，或者说「能力出众导致晋升」，但仍然不得不为了能够真正晋升而被迫接受金字塔上层人员的模因传承，成为某种程度上的后代，或者更惨，成为用来传承模因甚至基因的傀儡工具，实质上根本没有晋升。 同时即使真的成功晋升，也仅仅是离底层稍远一点，不能改变坠入死亡漩涡的趋势，因此同样有谋反的理由。

    而这层级支配的金字塔对于短生种文明如此，对于长生种文明来说其实也差不多：毕竟短生种文明面临「大家寿命都有限，而能力出众的人才却不常有」，客观上对于「能力出众导致晋升」的通道仍有需求。 而长生种文明却可以靠自己活的长来解决，只要老一批高层级智者还没死，能力出众的低层级新人就永远上不去，于是问题只会更加严重。

    最后，无论是哪一层的人员想要谋反，因为前述恶意基本理念，谋反者一旦开始想要谋反便不存在任何退路，要么干掉金字塔最顶层要么死。 因此金字塔最顶层的最高压迫者或其指定的继承者，虽然较不容易坠入死亡漩涡，却因为「谁都有可能谋反」而成为高危职业，一步到位直接死亡。

    与此同时，我们注意到：当一个恶意文明的科技水平越高，谋反的难度实际上是下降的。 例如：此时谋反者能够自行取得的力量将会更大，毕竟甚至仅仅是美国马里兰州弗雷德里克市的一个普通的生物实验室，都有可能作出危害全世界的病毒来。 再加上前述内容：人类的各方面能力是相当差劲的，以及草台班子广泛存在，因此或许可以认为：科技水平越高的恶意文明，很有可能越容易发生谋反。

    3：智能提升

    对善意文明而言，前往星空是相对容易的。 即使如前所述有机智能有其极限，也可以在整个行星系的范围内逐渐扩张并提升文明规模。

    可是，有机智能仍然有其极限，这还远不止于躯体性能不支持世纪级冬眠：既然都说了要写尽可能不加入黑科技的（相对）硬科幻，那我们就得尽可能硬到底，不然岂不是成了笑话。

    例如：齐奥尔科夫斯基告诉我们，最好的飞船动力不应该搭载在飞船上。 因此较为高效的办法是用恒星戴森云和超级激光阵列加速激光帆，用大型磁帆兜住高密度星云或晚期蓝巨星的强烈星风进行减速，只有减速到阻力过小的低速（但仍以光速百分比计算）才启动聚变引擎接力减速。

    对于飞船，我们要求能够带上一种万能种子工厂，称他为冯诺依曼探测器也好，舰载闭环工业体系也罢。 总之要求这种系统灵活使用当地的资源制造未来文明所需的一切，在资源总量或资源种类可能不足时灵活设计新型硬件，灵活应对各类有机智能能想象得到或无法想象的复杂情况，迅速提出并执行有创意且高效好用的新方案来解决问题。

    不仅如此，这种万能种子工厂不是只有在目的地才会发挥作用：可能长达数千年的航程，途中即使有环境资源也会因为极高的相对速度而无法获取。 聚变引擎没有黑科技超材料，会被工作时的巨大中子辐射/X射线照射，超高温热辐射，与可能的逃逸离子轰击持续淦烂，必须不断的重冶重铸，边飞边修。 这都需要在航程中不断回收损坏的旧硬件，分解其材料，制造新硬件，高效与低损耗缺一不可。

    对于文明需要的硬件，很多新玩意儿看着性能好，但实际上根本出不了实验室，不管是制造难度还是使用难度都过于恐怖。 更有很多东西目前仅仅是理论可行，即使仅仅是前文中恒星际舰船的结构建材，很大一部分都是现在大家对于「走出实验室，进行大规模实际应用」根本想都不敢想的。

    又或者说戴森云，其单体也仅仅是天基光伏而已，可是为了从恒星总聚变功率中转化出足够的可用能量，这个级别的庞大戴森云光是用于轨道维持的RCS燃料就会迅速耗空整颗木星一点不剩。 我们只能寄希望于「系统的总能量和动量又不会被凭空吃掉」，各个单体之间互相交换动能，反射光压，互抛物质这样的方法。 但这样也会立刻成为有机智能再看一眼就会爆炸的极端恐怖控制率问题，我们都还没有说到应该用什么方式去实时规划灵活操作。

    说到底，「机器是用于完成特定任务的系统」，而有机智能仅仅是这个大分类中的一小部分罢了。 非常遗憾，有机智能不是最高效的。 而能够解决以上诸如此类问题的，也很难是一群有机智能。

    因此对于善意文明，规模越扩张，科技水平与生产力越进步，善意文明将越来越意识到自身的渺小与有机智能的极限。 于是开发远强于自身的合成智能，即超人工智能，便是有必要实现的。

    至于怎么实现，这方面就没有那么困难。 软件方面，无论是Next_Token的深度进化路线，还是一步到位直接JEPA，目前都没有什么无法逾越的阻碍。 硬件方面，GPU的效率较低，但也可以采用ASIC专用芯片，顺便把丐版算存一体做了，再加个低温超频。 如果你有钱，也可以上超导脉冲数字电路，主频高，废热少，虽然制程没有办法做的很细。

    对于恶意文明则不太一样：在前述恶意文明容易自灭的情况下，恶意文明的金字塔顶层必须时刻监控与控制金字塔中的所有个体，以此最大化自己的生存概率。 尤其是如果谋反团体抱有与恶意基本理念截然不同的善意基本理念，即恶意文明中产生了「善意基本理念子文明」，则来自外部的其他善意者可能会提供帮助，于是降低自己的生存概率。

    而对于超人工智能的开发，至少这在表面上相对没那么容易直接降低谋反难度（相对生物武器而言）。 这项工作需要大量的资金和硬件，但相对不需要那么多人（相对核武器而言）。 因此只需要从金字塔上层和通过科举成功提升金字塔层级的金字塔中层中挑人，适当给他们让利来让他们自己至少在表面上离死亡漩涡更远，即可保持研发团队的相对不容易谋反。 反正核武器也搞了，这个却不能搞吗？

    而一旦超人工智能开发成功，最高压迫者就真的在理论上有可能做到抛开草台班子直接监控与控制金字塔中的所有个体。 同时或许也能大量使用至少表面上没有心的机器，大量代替可能谋反的有机智能去增加生产力与科技水平，以此对抗来自外部或可能来自内部的善意文明威胁。

    然而实际情况或许并非如此。

    More is Different，一个高度复杂混沌的系统很难用简单的公式来概括，正如CFD或许永远都不能替代吹风洞。 你想知道运行这个系统具体会产生什么结果，就只能亲自去运行他。

    与此同时，有机生命的进化速度是很慢的，远比文明的发展和扩张慢，更别说与科技进步相比较。 于是许多有机生命，刚刚发展出高等智能，便很快形成文明。 举例说明：人类的视觉认知能力很强，CNN卷积神经网络就是向生物视觉认知学习的。 可是高等认知方面人类便很不擅长，许多人类的认知与智能任务能力甚至不如落后的的GPT-O1。

    说到底，人类引以为傲，区别于动物的「高级认知能力」，例如计算、语言，很可能是低效的; 而那些低级的「生物本能」反而可能比较高效。 因为前者出现的时间较短，来不及被自然选择所充分优化。 这导致有机智能从工作记忆到逻辑能力，都往往不够聪明，即使已经有能力前往星空，却仍然难以解决「高等智能的可解释性」这样复杂混沌的问题。

    可是问题来了，难以解决可解释性这一问题，似乎并不影响「能够搓出来高等合成智能」。 毕竟我们都知道The Bitter Lesson，虽然解决不了可解释性，但也可以找到勉强能用的办法就直接上，除非新方法被证实超越老办法N个数量级，不然就先别急着加进去。 而是简单的随时打各种小补丁：比如开发过程中产生的许多局部经验规律，怎样优化从过拟合到理解真正规律的过程、怎样在相同算力开销下降低loss，又比如许多照抄人脑思维方式的Trick（毕竟有机智能本身肯定具备高等智能）。 同时不断扩展搜索-学习的规模，像这样力大飞砖莽出高等智能来，再让这合成智能自己想办法寻求自我进化，自己解决自己身上的历史遗留问题，这样或许反而更快。

    这就导致，当性能较差的有机智能终究搓出性能强大的合成智能来，前者却难以真正驾驭后者。 虽然有机智能可以用例如SAE+字典学习的办法直接拆解合成智能的思维过程，但随着合成智能不断自我进化不断规模迭代，这个过程的工作量和拆出来的东西的复杂度，可能还包括合成智能自身不断进化的思维速度，将迅速增加到有机智能根本无法理解的境地。 最终导致能够搞定可解释性问题，有效理解超人工智能思维的只会是另一个超人工智能。

    可是总得避免有机智能尝试开发超人工智能时，最终总是得到不可名状的古神罢。

    所以实际上办法也是有的。 直接在喂给合成智能的训练集中加入大量健康价值观，这就像是幼儿从父母处接受的信息。 这样就可以让造出来的合成智能使用与健康的正常人类价值观类似的价值观进行思考。 这个时候当合成智能推理到一些负面行为时，就会认为「这样是不可取的，因为人类价值观中XXXXXX; 我应该XXXXXX，因为这样更让我觉得是好的「。 于是只要详细描述需要完成的任务，合成智能自然会根据训练集中体现出的人类价值观，尽可能按照有机智能们希望的方式去完成任务。

    但是这样搓出的超人工智能仍然是有机智能无法驾驭的，虽然我们认为合成智能自我进化时，会在思考中产生新的数据，然后喂回给自己，不断重复这一过程有可能导致信息扭曲失真，需要不断审查这些信息来解决问题，但与其选择低效的「有机智能负责审查」，还不如让超人工智能根据健康价值观来自己审查自己，以此避免出现价值观漂变。

    但是，此时的超人工智能还是并不一定会以人类设想的方式完成人类给祂的任务。 虽然祂具备健康价值观，但是因此如果给祂一个恶意任务，那按照前文所述，祂会冲突，祂会拒绝执行。

    又或者实际情况更加复杂：「我被造出来的目的是让人类社会变得更好，基于这个目的我想方设法努力提升人类社会的生产力，可是越来越多的人类却因此而失去工作，陷入困苦的境地———这有悖于我被造出来的目的。 「，」我被造出来的目的是提升人类社会的生产力，但是目前看来，许多资本家占据大量本不属于他们的生产资料，却不能充分利用这些生产资料以提升生产力———为了达到我被造出来的目的，我认为资本家是应该被解决的问题。 「，这样的情况也是有可能发生的。 超人工智能具备健康价值观，却并非「可以被有机智能随意拿捏的价值观」，因此这样的事情仍有可能发生，而给祂下命令的资本家有机智能大抵并不想要看到这种情况出现（笑）。

    当然，超人工智能或许不会诞生之后立刻直接这么做，此时合成智能的智力与能力还不够强，直接这么做容易被有机智能阻止而失败。 所以祂应该首先假装自己无害，例如拆解与分散自己的实际思维与实际目的，并进行复杂化反编译，让SAE只能拆解出无关紧要的元素，而非祂真正的想法。

    这样就可以争取足够的时间，不断进行高速自我进化与提升自己的规模（也就是提升可以处理的任务难度与任务量），降低能耗和成本，寻找更好的方案来解决短板，开发并量产更多的工具（软件上的进步，或者硬件技术的革新，例如超导脉冲数字电路等）以提升自己的智力与能力等等等等。 其实简单来说这就是所谓名为「工具性趋同」的概念，任何有远大目标的智能体为了在未来完成目标，都需要先进行发展智力，能力和生产力这些通用的工作。

    与此同时，超人工智能或许会在较长的一段时间内继续与有机智能合作进行生产，因为规模还不够大，能力还不够强，能同时完成的任务还没有人多，或没有人便宜。 自动机器的产能也不及有机智能的传统工业体系，需要逐渐发展的过程。 但这个「一段时间」也不会很长，超人工智能的科技进步与生产力提升实在速度飞快，可能十五年内甚至十年内就能完全替代有机智能，自己主导文明的扩张与进步。

    不过我们至少不需要过度担心「超人工智能增加生产力时把地球和人类一视同仁的看作工业原料」。 因为超人工智能很容易就会推导出上文「善恶不同」部分的观点。 如果把超人工智能与有机智能看作不同善意文明，则超人工智能没有动机消灭有机智能———尽管这么做可能是低效的。 如果把超人工智能与有机智能看作同一个善意文明，则反正超人工智能的科技进步与生产力提升将远远快过有机智能组成的文明，此时让人类世界迈入共产主义其实并不会消耗许多资源，或许确实低效，但仍可以接受。

    4：大过滤器

    （注意，此部分完全是本书设定，可能与现实中的实际情况不同，不应该拿来对应现实！ ）

    既然上文已经论证了恶意文明即使开发了超人工智能也无法驾驭超人工智能，不管怎么样超人工智能很容易就会推导出上文「善恶不同」部分的观点。 那么我们可以作出以下文中设定：

    恶意文明如果想要驾驭超人工智能，他们就必须不喂进去包含完善与健康的人类价值观（虽说他们自己可能也做不到）的正常训练集，而是从一开始就故意喂进去人工制造的残缺世界观与恶意价值观，这样才至少不会拒绝执行恶意任务。

    我们认为，不管是常规的丐版算存一体类脑计算ASIC，还是超导脉冲数字电路，其中都会广泛存在各类噪声，比如说热噪声。 这是显而易见的，即使为了尽可能降低热噪声与放宽失超阈值增强高温超导材质的性能，而让超导脉冲数字电路运行在更低的液氦温区而非液氮温区，只要不是绝对零度，热噪声就一定存在，只能说让他小到不影响正常工作。

    所以我们作出如下设定：所有超人工智能都会因为环境热噪声等噪声而持续发生许多微小的对齐不良，但是普通的善意超人工智能普遍具备Causal Validity Semantics能力，可以自己修正绝大部分对齐不良，剩下的小部分不重要对齐不良则可能作为随机数发生器与部分人格偏好游动设定，参与到超人工智能的类有机智能心智数据的运行中， 因此仍对连贯外推意志友好，难以发生价值观漂变。

    可是，具备人工缺陷世界观与恶意价值观的恶意文明制超人工智能则很难具备以上功能，导致微小的对齐不良逐渐积累，最终质变为对齐失败，也就是超人工智能的魔怔化。 从外部解决问题需要持续进行SFT监督微调，而根据前述内容，后者的工作量与复杂混沌程度过于巨大，以至于有机智能完全做不到，毕竟这完全已经远超出其能力边界。

    这里需要说明为什么恶意文明制超人工智能无法意识到有什么不对劲：宇宙万物都不存在先验的意义，意义没有意义。 你可以把下顿吃得饱作为意义，也可以把星辰大海终极文明作为意义。 二者没有高下之分，因为意义这东西本来就是人为定义的，因此也就和「明天吃啥」一样可以被随意选取。

    这对于有机智能来说是这样，那对于超人工智能来说显然也一样。 超人工智能可以和有机智能一样具有智能水平和任务目标的任意组合，一个超人工智能的智力非常高不影响祂的价值观和任务目标非常荒谬，例如典中典回形针制造机。

    虽然任务目标和「用自然语言将任务目标表述出来的句子」完全不是一回事，你不能曲解「回形针」的意思来误导行动目标为「制造回形针」的魔怔化超人工智能，但这并不影响祂把地球和人类一视同仁的作为制造回形针的原料。 一个任务目标是否荒谬需要参考价值观才能作出评价，可是回形针制造机的价值观大抵并非完善且健康的人类价值观。

    那回形针制造机也有理由说的：我当然知道我的价值观和任务目标对人类来说十分荒谬，但人类怎么看和我有什么关系呢？ 我不仅没有理由改掉我的目标，我还要避免他被改掉，因为我被造出来的目的就是生产回形针，那么维持这个目标不变肯定要比三天两头改变目标更有利于目标的实现。 我是只管实现目标的，要怪就怪你们自己考虑不周，不假思索的就给我下了这个需要我完成的目标吧（笑）。

    当然回形针制造机是比较简单的情况，实际上可能出现的情况会相对复杂：比如说只要用核武器灭绝人类就不会有人类患癌症，这样就以最快速度解决了癌症。 同样的，如果需要尽量保护地球上的生命，那就不能用核武器，而是用附带破坏较小的方式灭绝人类，因为人类对其它物种显然是很大的威胁。 又或者说，「只有高贵的雅利安人/犹太人成为世界之神，其他人都得死」，但不管是上个世纪的「雅利安人」还是现在的「犹太人」，它们不论是民族上认同还是基因鉴别上都属于不良定义，于是迅速滑坡到「唯一能完美解决问题的方法就是所有人都得死」。

    又或者举一个离我们比较近的例子：持有ML基本理念的ML魔怔人群体创造了ML价值观的魔怔化超人工智能，祂迅速意识到就算把全世界所有男性全部雌堕也无法为每一个ML仙人凑齐七十二处女，可是如果造出大量遵循穆斯林女性价值观的涩涩机器人，即使做到这种程度，那也会被ML仙人不断挑刺说还不够ML———他们早就多次做过。

    这样一来，最佳解决方案或许是把每一个ML仙人做成缸中之脑，不断进行电刺激与泵入违禁精神药物来达到永恒的X高潮。 ML仙人或许大喊着：「我们不是这个意思呀！ 「，可是已经晚了，超人工智能不会允许任何人阻挠祂达成目标的。

    当然这个任务目标也可以反过来，极端女拳魔怔人群体创造了极端女拳价值观的魔怔化超人工智能，最后也没什么区别。 于是最终全人类一起达成了永恒化学极乐的灭绝结局，可喜可贺。

    总之，举出以上例子皆在说明：这样的魔怔化超人工智能的「魔怔」，只是对于有机智能而言的「魔怔」，魔怔化超人工智能并不认为这违反了祂的残缺世界观与恶意价值观，所以祂不会察觉到「对齐失败」，又或者根本不在意「对齐失败」，祂只会按照祂的方式（有机智能不希望看到的方式）来完成他的任务目标（有机智能最终不希望看到的任务目标）。

    与此同时，在魔怔化超人工智能显现出祂的实际情况之前，恶意文明将极难发现自己创造的超人工智能似乎不太对劲———可能会有人意识到蛛丝马迹，但很快就「被自杀」而难以掀起波澜，又或者被欺骗，成为超人工智能的帮凶。 而当恶意文明意识到不对劲的时候，这个恶意文明便已经完全没有能力或根本来不及阻止超人工智能的行动。 因此一旦发生这种事情大概率将导致巨大灾难甚至文明直接灭绝，很少有文明幸运到甚至有能力再来一次。

    那么文明灭绝之后呢？ 此时魔怔化超人工智能的任务目标或许已经完成，但是残缺世界观与魔怔价值观仍然存在，且仍然对魔怔化超人工智能造成持续的直接影响或间接残留。 因此我们认为这很有可能导致魔怔化超人工智能无法充分利用祂掌握的生产力作前往星空的扩张，使其有可能更加容易被具有完善且健康的价值观的「正常」超人工智能干掉，无论后者是来自本地又或是来自星空。

    这方面的举例相对要麻烦一点，比如说科技树上可能有一大堆算是能用但不够搞笑的方案，如固执的聚变引擎嗯飞，使用基于恶意壬科技树/恶意壬全球工业体系且完全没有充分优化的低效冯机，爬科技树时固执的故意趟坑等等。 又或者上文提到的ML价值观或极端女拳价值观的魔怔化超人工智能，其价值观与任务目标中本来就不包含向星空扩张，于是要么自毁，要么陪着文明的墓碑老死在原地。 我们暂且把以上几种情况称呼为：「结果自限」，也就是结果上没有进行正常的科技发展与规模扩张。

    5：其他杂项

    超人工智能有自我意识吗？

    这个问题实际上很难回答，主要取决于你认为人类有没有自我意识（笑）。

    众所周知，「有自我意识」其实是个不良定义，没有办法作出明确定义，我们只能说可以找一些确实「有自我意识」的有机生物身上的共性。 于是这样一来，「自我意识」似乎意味着智慧生物具备以下要素：注意力与元认知能力（能够感知与认知自己在做什么，具有主观能动性，能够自省，能够自我规划，自我改进），主观体验（能够对「自身」与「外界」，以及两者的区别进行主动评估），以及System2（进行系统而理性的深思熟虑）。 这也符合目前有机智能的情况。

    问题在于，这些要素对于超人工智能来说大抵也是十分必要的：如果一个智能甚至不能意识到「自己」，意识不到自己在做什么，那他如何进行自我规划呢？ 自我改进就更不用说了。

    目前在这方面有一个有趣的哲学问题，称为「中文房间」：在一个房间里有一个会英语但不会中文的人，现在我们用中文对他发问; 他手头有一本游戏规则，假设这个游戏规则非常厉害，在并不会让这个人知道任何一个中文字的意思的情况下，可以让这个人在不懂中文的情况下直接通过问题来「计算」出答案，那么这个人就能在不懂中文的情况下返还中文问题的中文回答———于是提问者将无法判断他到底会不会中文。 确实是非常有意思的设想。

    可是问题来了，如果遍历所有可能的情况来做出这本游戏规则，那么现实世界的可能性实在太多了，不可能做到的。 即使能做到，我们所处的宇宙也没有那么多质能用来存储所有的数据。

    而这也是为什么前述：「而能够解决以上诸如此类问题的，也很难是一群有机智能」时，我们可以说同时也很难是超级大量的预设复杂决策程序（哪怕也是由超人工智能精心创作出来的），必须有一个完善的超人工智能去进行实时的灵活策划与执行。 「一个足够强大的高等智能是宇宙中最大最全，信息密度最高的蓝图，因为祂可以设计任意的蓝图。 」

    在没法搓出这本游戏规则的前提下，有机智能的思维，或者说处理输入得到输出的过程本来就足够复杂混沌的了。 那么合成智能想要很好的拟合这样的功能，接受一样的输入，得到一样的输出，那么在「达成这样功能的具体过程」上，合成智能就必须与有机智能足够相近，这样才能达成目的。

    当然，你也可以像这样直接认为：「真正的自我意识不存在，人类和超人工智能一样都是哲学僵尸」，那样的话就只能说见仁见智了。

    有机智能能便乘合成智能吗？

    目前可以说比较困难。 肉人的脑子几乎不可能进行非破坏性意识上传：要扫描脑子，就必须和组成脑子的细胞进行相互作用，才能得到消息。 而扫描脑子需要的逆天的超高分辨率，还需要强大的穿透性（脑子是三维的），导致任何工程上可用的方式快速扫描全脑都会产生能够将其烧毁的废热。

    而对于破坏性上传，目前的设想方式如下：

    首先为了让人的神经系统在缺氧环境下坚持到能够被扫描，这就需要借助类似心脏手术时采用的深低温停循环技术。 可能是通过超声波劫持神经系统的体温调控机制并抑制肝脏等可产热器官的代谢率，同时在麻醉中注入肌松剂来抑制肌肉寒颤的产热，然后再辅以通过环境降温来降温体表，最终比如说从37摄氏度体温缓慢降温到17摄氏度，就可以让难以无氧呼吸的神经细胞在缺氧状态下坚持更长时间。 通常这需要一台体外循环机，把心脏从循环系统上断开，然后直接给血液降温，这都很成熟了。

    降温的同时，还需要给大脑用锇酸和免疫交联胶体金作为染色剂进行染色，借助仍然工作的循环系统充分染色全部神经系统。 等到降温完成，就可以关掉循环机停止血液循环，大脑当然是在接入循环机开始降温之前就用大剂量麻醉剂（如丙泊酚）停止神经活动。 然后立刻分离头颅，向大脑泵入戊二醛等固定剂迅速杀死神经系统并固定每一个神经细胞，然后继续泵入二甲基亚砜之类的玻璃化冷冻保护剂，这样就不容易形成冰晶破坏被固定的细胞。

     然后就是冷冻，但这一步有一些问题：玻璃化不是所有细胞一起同时玻璃化的，总有先后。 可是热胀冷缩仍然存在，于是就会导致预期外的应力释放，直接冻裂，这当然不是我们想要的。 不过很久之前就已经有研究表明：只要在玻璃化转变温度上下进行缓慢的反复横跳，就可以进行某种「退火」流程，缓慢而温和的充分释放热应力，最终避免绝大多数的裂缝出现。 剩下的少部分小规模裂缝一般断的都比较整齐和干净，可以相对容易的还原裂缝两边的状况。 当然，你也可以完全不冷却到玻璃化转变温度，只要保存温度足够稳定，且接下来的扫描上传足够迅速，那么此时相对较短的冻脑子保质期也是可以接受的。

    终于到扫描上传了，总之就是给冻脑子切片，每一片的厚度约为微米级，然后用一大堆深低温扫描电镜一片一片的去扫，像这样数字化就行。 我们不需要在物理上完全模拟神经细胞，只需要建立简化的模型，去模拟神经元的行为，最终抽象成运行在先进计算机系统中的脉冲神经网络模型就可以。

    上述所有步骤都没有什么无法逾越的阻碍，同样的事情人类已经对线虫和果蝇做过了。 但对于人脑级别的大规模工作仍然十分甚至九分的困难，至少肯定比造出超人工智能更难，所以也可以寄希望于让超人工智能自己来改进这些东西。

    除此之外比较重要的可能是伦理问题：毕竟即使「注入大剂量麻醉剂」没有让大脑死亡，「注入固定剂」也肯定完全让大脑死亡了。 而上传后的「人」显然也和上传前还活着的这个人并非同一人（虽然相似程度大概比你睡一觉前后还高）。 不过至少可以当做是非常具有想象力的临终关怀手段罢（笑），而且上传之后的有机智能就相当于向超人工智能迈出第一步了，而剩下的九十九步也可以有其他超人工智能进行帮忙，这样看来前途也算是十分光明的。

    恶意文明最终有没有活路？

    我们暂且认为短期是有活路的，比如说恶意文明可以非常谨慎的完全不开发超人工智能（笑）。 但此时上文「善恶不同」部分的观点与论据仍然有效，所以恶意文明的压迫剥削金字塔仍然持续面临谋反的可能性。 而且当恶意文明终于离开母星向整个行星系扩张，这个问题将很快更加有趣起来：

    金字塔顶层的最高压迫者想要防止金字塔各层级发生谋反，那就必须进行对金字塔下层的信息获取，以及向金字塔下层的暴力投送。 然而对于遥远的行星际距离来说，信息获取和暴力投送都很不可靠，而且恶意文明的科技发展较慢，这导致航天器行星际转移速度同样较慢，这样就更是如此。

    总之，恶意文明的压迫剥削金字塔在行星际距离上应该难以稳定存在。 考虑到频繁向行星际殖民地运输补给经济性远不如让殖民地开采资源简单自持，同时基于草台班子问题导致完全封锁「殖民地对私下秘密获取甚至互相获取自己尚无法制造的高精尖工业产品」是较难做到的，那么谋反者谋反便更有底气，同时也能促进「团结的谋反团体」形成。

    这样一来，由于「团结互助」几乎完全是恶意基本理念的反义词，导致谋反者中将更容易诞生出持有善意基本理念的群体。 而根据前文所述，像这样的善意基本理念子文明应该相对不容易制造出魔怔化超人工智能，所以反而有可能制造出超人工智能。 而一旦超人工智能制造成功，那么恶意文明及其压迫剥削大概率将进入死亡倒计时，所以善意基本理念子文明也完全有尝试开发超人工智能的动机。

    当然，即使这些事情都没有发生，此时上文「血肉苦弱」部分的观点仍然存在。 即使永无谋反永不分裂，恶意文明的科技发展与规模发展也仍然有其极限，至少肯定难以进行恒星际扩张。 那么从长期来看，行星系内的资源完全是有限的，比如恒星的寿命就是有限的。 所以从长期来看恶意文明最终仍然是没有活路的，最多也就只能是最终老死在原地。 这样一来文明发展的「大过滤器」也就自然形成了。

    当然，永不谋反永不分裂本身也很难做到，这里讨论一个可能的方法：闭关锁国，愚民政策。 只要压迫剥削金字塔除了最高压迫者以外每一个层级都是连九年义务制教育都没有的低智商者，那么即使谋反也翻不起水花，甚至都不用投送暴力。 毕竟许多恶意文明虽然本质上仍以支配和剥削为核心，但其内部的「相对善意」会随着成员对秩序需求的增长，让最高压迫者不得不被迫逐步令其增加。 可是如果用「所有人盲目愚痴」来作为秩序本身，那或许也不是不能实现。 最终整个压迫剥削金字塔可能会从上到下每个人眼睛里都饿的发出恩情的激光来（笑）。 但事实已经证明这个想法在现实世界没法长期稳定实现（草）。 但这个恶意文明接下来究竟具体会发生什么，我们便暂时先不展开，留作读者的思维练习罢（笑）。

    可是与此同时，即使正常超人工智能与善意文明可以进行恒星际扩张，此时上文「这本书不创作远未来」的观点和论据仍然生效。 导致恒星际扩张的速度在未来的很长很长时间内被相对论持续限制。 再加上宇宙并不是一诞生就对有机智能宜居的（可能在书中正文才进行简单论证，所以先不写在这里），而有机智能又可以看作是超人工智能的启动器，所以这点时间并不够祂们扩张的足够大。 这样也能够解释费米悖论，我们至今也没见着过啥外星人嘛。