摘要
人类价值观是否会主导以地球为基础的太空殖民浪潮还远不清楚，但即使会，太空殖民似乎更有可能增加而不是减少总体的痛苦值。尽管如此，有许多人非常关心人类的生存和向宇宙的扩张，所以我认为减少痛苦的人应该让其他人追求他们的太空梦想，以换取更强有力的措施来防止未来的痛苦。总的来说，我鼓励人们专注于让星际未来变得更人道(如果它发生的话)，而不是确保一定会有星际未来。
目录
引言
"如果我们把绿色的火种从一颗星球带到另一颗星球，并在每颗星球周围点燃生命的烈火，我们就能触发宇宙的蜕变。[...] 因为我们 [...] 废渣将变成土壤，草将发芽，花将盛开，森林将在曾经贫瘠的地方生长。1 [...] 如果我们拒绝我们令人敬畏的挑战;背弃生命的宇宙，放弃我们的宇宙命运，我们将犯下难以言喻的罪行。"
--Marshall T. Savage， 《千年计划:八个简单步骤殖民银河系》， 1994 (引自"太空名言")
"让我们祈祷人类永远不会逃离地球，将其罪恶传播到其他地方。"
--C.S. Lewis
人类价值观可能无法主导未来
Nick Bostrom的"人类进化的未来"描述了一种情景，在这种情景中，人类对乐趣、休闲和关系的价值观会被能在达尔文竞争中更好地争夺我们未来光锥控制权的超优化智能体所取代。Bostrom认为，我们唯一能避免这种竞争性情景的方法是通过一个"单一体"，即一个统一的主体或治理结构来控制进化。当然，即使是单一体也可能不会延续人类的价值观。人类可能构建的许多简单的AI可能会优化一个人类认为毫无意义的目标函数。或者即使人类确实掌控了方向盘，我们也很难保证能在未来的重大自我修改中以稳定的方式保持我们的目标。Caspar Oesterheld 提出，即使地球上出现了单一体AI，它可能仍然面临来自外星人的竞争前景，因此，它可能感到有压力要迅速建立更强大的继承者，而它无法完全验证这些新的行动者的目标一致性，从而导致目标偏移。
这些因素表明，即使在人类技术继续进步的条件下，人类价值观在未来得以实现的概率可能并不很大。实现人类价值观似乎需要一个不是盲目优化器的单一体，它能稳定地保持价值观，并由关心人类价值观而不是自私利益或其他东西的设计者塑造。在我们想象未来人类可能用他们的技术带来什么时，这一点很重要。
有些人认为，足够先进的超级智能会发现道德真理，因此必然会做正确的事。因此，据称，只要人类生存下来并变得更加智能，正确的事情最终就会发生。这种观点有两个问题。首先，奥卡姆剃刀反对道德真理的存在(不管那是什么意思)。其次，即使这种道德真理存在，为什么超级智能应该关心它呢?地球上现在有很多聪明人吃肉。他们非常清楚这会造成痛苦，但他们的动机系统并没有足够关注他们对农场动物造成的伤害。超级智能也可能如此。事实上，思维空间中的任意智能不需要对有情众生经历的痛苦有丝毫同理心。
未来一些可能的痛苦场景
即使人类确实控制了地球生命的未来，让人们实现他们想要的积极未来，但太空殖民仍然很可能会增加痛苦。以下是一些可能的方式。
野生动物的扩散
人类可能会殖民其他行星，通过地球化传播充满痛苦的动物生命。一些人可能会利用他们的资源在整个银河系播种生命，这被一些人悲哀地认为是一种道德义务。
有意识的模拟
鉴于天文数字级的计算能力，后人类可能会运行各种模拟。这些模拟可能包括许多野生动物生命的副本，其中大多数在出生后不久就痛苦地死去。例如，一个旨在探索不同类型外星人分布的超级智能可能会运行大量关于各种行星上进化的模拟。此外，科学家可能会运行更多模拟可能存在的生物，探索思维空间。他们可能会模拟数以亿计的强化学习者，这些学习者有足够的自我意识来感受我们认为是有意识的痛苦(以及快乐)。
除了模拟更原始的、进化的思维外，一个超级智能文明可能会模拟自身无数可能的未来轨迹。在对抗情况下，人工智能可能会使用(一种大大改进的)蒙特卡洛树搜索(MCTS)来模拟战争中许多假设互动的结果。这些战斗的细节需要为了准确性而模拟，但战争的精细模拟在道德上比如说在执行游戏AI的MCTS算法时模拟的原始行动要重要得多。当然，未来很可能会使用比MCTS更好的东西，但模拟某种对规划的重要性似乎永远不会消失。
痛苦的子程序
可能某些算法(比如说强化学习)在执行先进AI需要大规模运行的复杂机器学习计算时非常有用。这些子程序可能与我们大脑中的痛苦程序足够相似，以至于我们认为它们确实在受苦。但利润和权力可能优先于同情，所以这些子程序可能会在AI的马特里奥什卡大脑中广泛使用。
黑天鹅事件
我们能想象的场景范围是有限的，可能会出现许多我们没有想到或者甚至无法理解的可能性。
即使是人类控制的未来也可能增加痛苦
如果我现在必须做出估计，我会给出~70%的概率，如果人类或后人类殖民太空，这将造成更多的净痛苦(忽略稍后讨论的妥协考虑)。这个说法里，我只包含总体痛苦，忽略幸福和其他积极价值。2
想想太空殖民如何可能减少痛苦。对于大多数这些机制，似乎都有反机制会至少同样多地增加痛苦。以下各节与上面的部分相对应。
野生动物的扩散
David Pearce 创造了"宇宙救援任务"这个短语，指的是向其他行星发送探测器以减轻它们所包含的野生外星生物(ET)痛苦的可能性。这是一个不错的想法，但有几个问题。
- 我们还没有发现任何外星生物，所以不清楚是否有大量的外星生物在等待从达尔文式的痛苦中被拯救。
- 地球上已知的动物生命特有的有意识痛苦不一定会在外星生物中找到。最有可能的是，外星生物是细菌、植物等，即使它们是智能的，它们也可能以机器人那样的方式智能，而没有我们非常关心的那种情感。(然而，如果它们非常复杂，我们不太可能认为它们没有意识。)
- 不清楚人类是否会支持这样的任务。环保主义者会要求我们不要干扰外星栖息地。其他人除非计划从这些行星开采资源，否则不会想花精力进行救援任务。
相比之下，传播野生动物痛苦的可能性有:
- 人类可能会将生命传播到许多行星(例如，通过地球化将生命传播到火星，通过定向播种将生命传播到其他类地行星)。可以支持生命的行星数量可能明显大于已经有生命的行星数量。(参见德雷克方程中fl的讨论。)此外，可以转化为能模拟野生动物痛苦的计算机的行星百分比可能接近100%。
- 我们已经知道地球上的生命是有意识的，而外星生物则不然。
- 传播生物生命是缓慢和困难的，但分发小型产生生命的胶囊比派遣快乐帝国探测器或毁灭者探测器更容易。
幸运的是，人类可能不会那么支持传播生命，尽管有些人支持。对于地球化，在短期内有生存压力去做，但可能定向播种在长期内是一个更大的问题。此外，考虑到地球化估计需要至少数千年，而人类级别的数字智能应该在最多几百年内发展出来，从灾难风险的角度来看，地球化可能是一个无关紧要的问题，因为数字智能不需要地球化的行星。
虽然我指出外星生物不能保证有意识，但我确实认为意识在智能文明中相当可能是收敛的。这是基于(a)地球上动物之间意识似乎收敛的迹象和(b)意识似乎对规划、操纵图像、自我建模等有用的一般原则。另一方面，这可能反映了我人类想象力的贫乏，无法设想不需要意识就能智能的方式。
即使在不太可能的情况下，源自地球的智能致力于减少宇宙中野生外星生物的痛苦，即使在我们未来光锥中的每个行星都包含有意识的野生外星生物痛苦这种不太可能的情况下，我预计太空殖民仍会增加而不是减少总体痛苦。这是因为受行星束缚的生物生命只捕获了母恒星辐射能量的一小部分。利用更多的太阳能将允许运行比生物目前做的多几个数量级的智能计算。除非这些计算中的痛苦密度极低，否则增加智能计算可能会增加痛苦。
有意识的模拟
考虑到可以从恒星中提取的巨大能量，源自地球的智能可能会运行大量的模拟。
当然，也许有外星人出于科学或娱乐目的运行自然模拟，或者为了研究生物学、心理学和社会学而运行一般思维的模拟。如果我们遇到这些外星人，也许我们可以说服他们更人道一些。
我认为人类可能比平均文明更有同理心，因为
- 我们似乎比地球上的平均动物更有同理心，这可能部分是由于父母的冲动，部分是由于贸易，尽管这些因素中的一些可能必然存在于任何技术先进的文明中
- 一般来说，我们会更同意我们自己社会的道德观，而不是随机其他社会的道德观，因为我们社会的道德观是我们成长过程中接受的价值观，也是我们的生物学驱使我们追求的。
基于这些考虑，通过与外星人互动似乎有改进的空间。事实上，我们通常应该期望任何两个文明或派系都能通过交易获得收益，如果它们对施加的控制量有递减的边际效用的话。此外，仅仅通过增加智慧和更好地理解重要考虑因素，可能就有一些便宜的帕累托改进。
话虽如此，也存在一些下行风险。后人类自己可能会创造痛苦的模拟，更糟糕的是，后人类运行的模拟在思维空间中更接近他们自己，因此更有可能是有意识的，而不是随机外星人运行的模拟。他们可能出于审美欣赏运行自然模拟，出于科学实验运行实验室模拟，或者作为宠物运行宠物模拟。
痛苦的子程序
痛苦的子程序可能是任何AI的收敛结果，无论是受人类启发的还是其他的。外星人也可能运行它们，也许人类可以要求外星人以更人道的方式设计它们，但这似乎是推测性的。
黑天鹅事件
未来的痛苦似乎很可能会被完全意想不到的事情所主导。这可能是物理学、神经科学，甚至更普遍的哲学方面的新发现。有些人提出"选择价值"的论点:因为我们现在知道的太少，所以人类最好继续存在，因为如果人们后来意识到扩张是不好的，他们可以停止，但如果他们意识到他们应该扩张，他们可以继续以某种我们没有预料到的新方式减少痛苦。
当然，"选择价值"论点的问题在于它假设未来的人类会做正确的事，而事实上，根据我们现在可以想象的推测例子，未来的人类很可能会在很多时候做错事。例如，面对某处存在大量计算能力的新发现，大多数人类会用它来运行更多的思维，其中一些可能会遭受可怕的痛苦。一般来说，大多数巨大力量的来源都是双刃剑，可以创造更多的幸福和更多的痛苦，而人类典型的促进生命/意识而不是消除它们的冲动表明，以痛苦为中心的价值观处于劣势。
尽管如此，等待和学习更多可能是卡尔多-希克斯效率的，也许通过向减少痛苦的人提供额外的让步作为补偿，可以使其成为帕累托效率。
那么回形针最大化者呢?
上面我主要假设了一个具有我们认可的价值观的以人类为导向的文明。但如果，正如似乎有些可能的那样，地球被一个回形针最大化者接管了，也就是一个不受约束的自动化或优化过程?这不是会减少痛苦吗?因为它会在传播整个银河系时消灭野生外星生物，而不会造成任何额外的痛苦?
也许，但如果回形针最大化者实际上是通用智能，那么它不会仅仅满足于用回形针铺满太阳系。它会想要做科学、进行实验室实验、可能运行痛苦的子程序等等。它将需要许多智能且可能有意识的机器人来协调和维护其回形针工厂、能量收集器和采矿作业，以及设计它们的科学家和工程师。回形针最大化场景会带来类似的黑天鹅事件，就像人类启发的AI一样。回形针最大化者可能比"友好的AI"本质上更不人道，所以一些可能会造成显著更多的痛苦，尽管其他一些，特别是"最小化"的回形针最大化者，例如癌症最小化者或死亡最小化者，可能会造成更少的痛苦。
如果回形针最大化者不是通用智能，我很难看出它如何能导致人类灭绝。在这种情况下，它就像许多其他灾难性风险一样 - 致命和破坏稳定，但无法消灭人类。
如果人类殖民比外星人殖民更人道怎么办?
如果我们确定知道外星人会殖民我们宇宙区域(如果源自地球的智能不这样做的话)，那么人类是否应该尝试殖民太空的问题就变得不那么明显了。如上所述，人类比随机外星文明更富有同情心是可信的。另一方面，人类启发的计算也可能涉及更多我们认为算作痛苦的东西，因为所涉及的行动者的思维架构会更熟悉。而且让更多的行动者竞争我们未来的光锥可能会导致危险的结果。
但为了讨论，假设一个源自地球的殖民浪潮会比预期的外星文明的殖民浪潮更好。特别是，假设如果人类价值观殖民太空，它们只会造成-0.5单位的痛苦，相比之下，如果随机外星人殖民太空，会造成-1单位的痛苦。那么似乎只要其他外星人后来到来的概率P大于0.5，人类殖民并抢先外星人殖民就更好，因为对于P > 0.5，-0.5 > -1 * P。
然而，这个分析忽略了即使源自地球的智能确实殖民太空，也完全不能保证人类价值观会控制那个殖民过程如何进行。进化力量可能会将富有同情心的人类价值观扭曲成无法识别的东西。或者，一个失控的AI可能会取代人类，在整个宇宙中优化任意价值观。在这些情况下，人类高于平均水平的同情心并不会产生太大影响，所以假设这些殖民浪潮的价值为-1，就像随机外星人殖民一样。让这些非同情力量赢得地球殖民控制权的概率为Q。现在预期值是
-1 * Q + -0.5 * (1-Q) 对于源自地球的殖民
相对于
-1 * P 如果地球不殖民并留下后来外星人殖民的可能性。
为了具体起见，假设Q = 0.5。(这似乎可能太低了，考虑到地球过去已经看到了多少次霸权的更替。)那么源自地球的殖民更好当且仅当
-1 * 0.5 + -0.5 * 0.5 > -1 * P
-0.75 > -1 * P
P > 0.75。
考虑到费米悖论和大过滤器的不确定性，似乎很难保持超过75%的概率认为如果我们自己不殖民，我们的未来光锥会包含殖民的外星人，尽管这一节提出了一个有趣的论点，认为未来外星人的概率相当高。
如果失控的AI导致的危害程度与任意外星人不同怎么办?让H为失控AI殖民造成的预期危害。假设外星人发展出失控AI的可能性与人类一样大。那么源自地球的殖民的危害是
H * Q + -0.5 * (1-Q)，
而外星人殖民的危害是
P * (H * Q + -1 * (1-Q))。
再次取Q = 0.5，那么源自地球的殖民有更好的期望值，如果
H * 0.5 + -0.5 * 0.5 > P * (H * 0.5 + -1 * 0.5)
H - 0.5 > P * (H - 1)
P > (H - 0.5)/(H - 1)，
当我们除以负数(H - 1)时，不等式会翻转。这里是P的这些阈值作为H函数的图。即使H = 0，失控AI不会造成任何痛苦，源自地球的智能殖民也只有在P > 0.5时才更好，即如果外星人在其位置殖民的概率至少为50%。
这些计算涉及许多假设，在某些参数值下，源自地球的殖民可能具有更高的期望值。这是我对地球太空殖民的符号保持不确定的主要原因之一。然而，这整个部分都是基于人类启发的殖民比外星人启发的殖民更好这个前提，而反过来也可能是真的，因为如果人类进行殖民，未来的计算更有可能接近我们最重视和最厌恶的东西。
一些人提出了给予源自地球的AI外星文明的价值观的可能性。如果这样做了，那么人类有更好的价值观的论点甚至不适用，源自地球的殖民浪潮会和外星人殖民一样糟糕。
最后，值得指出的是，只要人类的决定在逻辑上与外星人的决定相关，如果人类选择不殖民太空或者未能殖民太空，这可能会使其他文明也不殖民太空的可能性略微增加，这将是好事。然而，假设不同行星文明之间的逻辑相关性很小，这一点可能相当微弱。
为什么我们应该保持合作
如果技术发展和太空殖民似乎会造成天文数字级的痛苦，我们不应该尽最大努力阻止它们吗?嗯，值得讨论我们作为一个社会在多大程度上想要这些结果，但我的猜测是有人会继续推进它们，这将很难在不采取极端措施的情况下遏制。最终，那些继续发展技术的人将掌握世界上大部分权力。这些人将，即使只是通过选择效应，也会强烈希望发展AI和殖民太空。
抵抗可能不是完全徒劳的。减少痛苦的人有一些小机会以这样一种方式影响社会，从而阻止太空殖民。但更好的做法是减少痛苦的人与技术专家妥协，而不是与他们对抗:我们会让你们传播到宇宙中，如果你们更重视我们对未来痛苦的担忧。这种合作方法不是为减少痛苦的人提供一个非常小的完全胜利的机会，而是提供更高的机会获得我们想要的痛苦减少的相当大一部分。此外，妥协意味着减少痛苦的人也可以在技术发展确实防止比造成更多痛苦的情况下获胜(在我看来，这种情况有~30%的可能性)，即使不考虑战略妥协的考虑。
理想情况下，这些妥协会采取稳健的讨价还价安排的形式。即使在短期内也可能有一些例子，比如如果减少痛苦的人和太空殖民倡导者同意取消相互对立的资金支持，转而支持一些共同商定的项目。
在任何给定时间投资资源以推进你的价值观的战略问题，相当于与其他价值体系进行囚徒困境，因为我们反复做出选择，在哪里投资、采取什么立场以及推动什么政策，这些囚徒困境是迭代的。在Robert Axelrod的锦标赛中关于迭代囚徒困境，表现最好的策略总是"友好的"，即不首先背叛。因此，减少痛苦的人不应该首先背叛太空殖民者。当然，如果太空殖民者似乎没有表现出任何减少痛苦的动向，那么我们也应该"可激怒"地暂时背叛，直到对方开始认识到我们的担忧。
我们这些对太空殖民持谨慎态度的人，通过与其支持者结盟可以获得很多 - 在思考可能发生的情况和如何朝更好的方向塑造未来方面。我们也想保持友好，因为这意味着支持殖民的人会更认真地对待我们的想法。即使太空殖民发生了，仍然会有许多子问题，减少痛苦的人希望在这些问题上发表意见:例如，不传播野生动物，不创造痛苦的模拟/子程序等。
我们希望确保减少痛苦的人不会成为一个被鄙视的群体。例如，想想优生学因纳粹暴行而比原本更加禁忌。反技术人士有时会因与邮包炸弹客有关联而受到诽谤。动物支持者可能会因为少数人的暴力行为，甚至是PETA的行为而受到污名化。我们需要谨慎，不要让减少痛苦也发生类似的情况。大多数人已经非常关心防止对弱势群体的伤害，我们不希望人们开始说，"哦，你关心防止对无力量的生物造成伤害?你是那些减少痛苦的人吗?"其中"减少痛苦的人"已经成为一个如此糟糕的名字，以至于引发自动仇恨。
所以不仅合作与殖民支持者是更有希望的选择，而且从某种意义上说，这可能是我们唯一的净正面选择。采取更对抗性的立场可能会强化反对，使人们远离我们的信息。记住，防止未来痛苦是每个人都关心的事情，我们不应该通过过度对抗来削弱这一事实。
智能未来的可能好处
不会两面都影响的黑天鹅事件
许多允许大幅减少多重宇宙中痛苦的推测性场景也会允许大幅增加痛苦:当你可以减少存在的生物数量时，你也可以增加数量，那些倾向于创造更多幸福/生命/复杂性等的人会倾向于推动增加的一面。
然而，可能有一些黑天鹅事件确实是单向的，在这种意义上，更多的知识最有可能导致痛苦的减少。例如:我们可能发现某些常规的物理操作映射到我们对痛苦的概念上。人们可能能够开发出重新设计这些物理过程的方法，以减少它们包含的痛苦。如果这可以在不对幸福或其他价值做出大牺牲的情况下完成，大多数人都会赞同，假设现今的价值观在未来的决策中有一定的代表性。
这可能是一个相当大的问题。我给予相当大的概率(也许~10%?)，经过充分反思，我会采用一种高度包容的观点，认为什么算作痛苦，以至于我会觉得整个多重宇宙的大部分包含密集痛苦的物理过程。毕竟，痛苦的机制从某种角度来看可以被视为非常简单，据我所知，使动物痛苦特殊的是动物意识涉及的附加功能 - 复杂的学习、思考、记忆等。但为什么多重宇宙中的其他物理对象不能是伴随其他物理过程痛苦的附加功能呢?这都是非常推测性的，但我们的后代可能会对多重宇宙的理解达到我们现在只能开始想象的程度。
重视反思
如果我们在某种程度上关心对我们自己价值观的道德反思，而不是假设以特定方式减少痛苦无疑是最好的方式，那么我们就有更多理由支持一个技术先进的未来，至少如果它是反思性的。
在像连贯外推意志(CEV)这样的理想化场景中，如果减少痛苦是最令人信服的道德观点，其他人会看到这一点。3事实上，任何道德哲学家提出的所有论点都会被放在桌面上供考虑(加上许多哲学家尚未提出的论点)，人们将有机会以受控的方式亲身体验极端痛苦，以评估它与其他事物相比有多糟糕。也许会有分析方法来预测人们会如何评价酷刑的糟糕程度，而不必真的折磨他们来找出答案。当然，我们可以阅读人类历史记录和互联网上的所有文章，了解更多实际人们对酷刑的看法，尽管我们需要纠正求生意志偏见和回忆情感时的准确性缺陷。但重要的是，在CEV场景中，所有这些限定条件都可以由比我们聪明得多的人来考虑。
当然，这种美好的图景不是一个可能的未来结果。历史上，有力量的人之所以可以掌控世界是因为它们最能施展自己的力量。很有可能有人会通过无视其他所有人的愿望来接管未来，而不是将它们结合和理想化。或者，对弱者的关心可能会被抛到一边，因为强大的AI关心弱者并不是真正适应性的，除非有强大、稳定的社会压力强迫它这样做。这表明增强反思性和宽容度的未来前景可能是一项重要的事业。我认为，与其关注未来是否发生，减少痛苦的人更应该关注如果未来发生，如何让它变得更好 - 通过鼓励妥协、道德反思、哲学智慧和利他主义。
致谢
Rob Wiblin的一个问题首先启发了这篇文章。与其他价值体系合作的讨论是由Carl Shulman鼓励的。最初我抵制他的主张，但 - 正如在事实和战略问题上经常证明的那样 - 我最终意识到他是对的，并接受了他的观点。