摘要
一些充满幻想的超人类主义者相信，如果人类能够在未来几个世纪里幸存下来，不被通用人工智能或其他灭绝风险所消灭，那么我们的后代很可能会创造一个体现人类价值观的乌托邦文明。本文提出了一些可能的论点来泼这个冷水，尽管我并没有深入思考过这个话题。我的猜测是，即使在某种人类价值观控制远未来的条件下，能够被称为"乌托邦"的结果的概率也很低（当然，这在很大程度上取决于一个人对"乌托邦"的定义有多宽泛）。在想象远未来场景时，我们应该关注比乌托邦更现实的文明轨迹。
乌托邦的冲突概念
一个棘手的问题是我们在谈论谁的乌托邦愿景。不同的人有不同的价值观，会希望不同的未来文明。对某些人来说算是乌托邦的东西，对其他人来说可能远非乌托邦。
Yudkowsky（"连贯..."）讨论了不同人的理想化价值观可能无法协调一致的可能性。他建议，如果
"人们连贯地希望不被回形针最大化者吃掉，但最终在个人和集体层面上对他们喜欢的披萨配料有广泛的可能性"，我们在规范上会希望一个友好的人工智能能够防止人们被回形针最大化者吃掉，但不去干涉人们在未来最终吃什么披萨配料。
然而，许多人类价值观不仅仅是"披萨配料"，而是彼此积极冲突的。以下只是几个例子：
- 一个乌托邦文明会给主体"自由意志"吗，即使这意味着一些主体会犯下邪恶的行为？有些人会认为对自由的限制是反乌托邦的。其他人则会说，存在选择邪恶的自由就使得这种情况不能算作乌托邦。
- 人们是否可以自由创造自己的模拟生物和环境？如果这些模拟中包含受苦的生命呢？自然爱好者是否被允许模拟生动的捕食场景？
- 脱衣舞俱乐部和卖淫是否被允许？有些人认为这些是基本自由。其他人则认为这些做法物化了女性。在许多其他"文化战争"问题上也可以看到理想社会的竞争概念之间的类似对立。
- 文明的价值观是应该被锁定还是允许漂移？有些人可能认为永久锁定任何一套价值观都是反乌托邦的，但不锁定价值观可能导致当今人类关心的道德理想的侵蚀。
Yudkowsky（"连贯..."）反对让完美成为好的敌人：
难道就没有办法帮助一大群人吗？这似乎不太可能。你至少可以给饥饿的人一些他们目前喜欢的披萨配料的披萨。如果你的哲学声称"哦不，即使那样也不算帮助，因为它不是完全连贯的"，那么你选择了错误的'帮助'解释。
这是公平的，最终这是一个语义争议，即在冲突的人类价值观之间的妥协——几乎没有任何一方能得到他们想要的一切——是否算作"乌托邦"。
历史先例
"乌托邦"在词源学上意味着"无处"，这个短语很恰当。除了可能有一些小规模的例外，人类的乌托邦迄今为止从未在地球上存在过。（如果我们也关心对动物的伤害，包括无脊椎动物，那么自从动物生命出现以来，乌托邦就从未在地球上存在过。即使是一个和平的人类公社，在园艺或在树林中行走时也会杀死昆虫。）
人类乌托邦如此罕见的部分原因是，当前的人类大脑受制于享乐适应性，总会因为这样或那样的事情而受苦。但即使后人类的思维可以被编辑以比现在的人类少受很多苦，潜在的冲突可能仍然存在。
在民主出现之前，人们可能想象民主会导致乌托邦。毕竟，如果人民可以控制他们的领导人，那么领导人怎么可能变成暴君呢？但在实践中，现实找到了许多搞砸事情的方法。金钱和关系对政治产生了不当影响，而那些掌权者努力保持系统保持这种状态。同时，许多选民无知、非理性或冷漠。正如温斯顿·丘吉尔所说，民主可能是一种更好的政府形式，"比所有其他不时尝试过的形式都要好"（Langworth 2009），但它仍然导致了像美国这样的社会，例如，数十万人无家可归，而亿万富翁说服政府给他们大幅减税。
再举一个例子：互联网。信息的自由交流应该会导致社会智慧和理解的提高，对吧？在某种程度上确实如此。但互联网也导致了4chan和人性阴暗面的其他表现，以及意识形态回音室、恶意软件的轻松传播等。如果没有社交媒体，我怀疑唐纳德·特朗普不会赢得2016年美国总统大选（尽管这种反事实很难讨论，因为一个没有互联网的世界会与我们自己的世界大不相同）。
一切都有缺陷，生活中没有什么能达到理想化的期望，这种普遍趋势在我看来是怀疑乌托邦未来的最强启发式论证。非凡的主张需要非凡的论证，而未来将是乌托邦的想法，尽管我们以前从未见过乌托邦，就是一个非凡的主张。
后稀缺时代？
我们当前世界中的许多冲突是由资源短缺引起的。但在远未来，满足人们的基本需求可能很容易。这是否会让乌托邦最终实现，尽管它在历史上从未实现过？
后稀缺的未来可能比我们现在的世界少一些争吵，但许多分歧与资源分配无关。当饥饿和安全等严重问题得到解决时，人类有办法发现新的问题。发达国家的中产阶级没有显著的资源稀缺，但他们仍然找到理由争吵。人们互相欺负、侮辱、嫉妒、生气，并坚持认为别人的行为是错误的。人们互相利用，有些人喜欢控制他人。正如有时所说，人类可能是"讨厌的小混蛋"，人性中包含一些黑暗的冲动。为什么一旦我们掌握了强大的技术，这种情况就会改变呢？
此外，我认为稀缺永远不会被消除。许多价值体系对资源有无限的胃口。例如，享乐主义功利主义者会倾向于将尽可能多的物质转化为快乐的计算。在Yudkowsky（"连贯..."）的一条评论中，Paul Christiano说，有人可能会认为"蛋糕会增长得如此之多，以至于这种冲突不是问题。我认为，对于那些只想过幸福、正常生活的人来说，这是真的。但许多人对世界上发生的事情有偏好，而不仅仅是对自己的生活有偏好。"
即使是利己主义者也可能有无法满足的胃口，因为他们可以创造任意数量的自己的复制品、亲属或他们恰好喜欢的其他东西。
总的来说，我们应该预期那些对资源最饥渴的主体会寻求最多的资源，不断繁衍直到资源再次变得稀缺。防止这种情况的主要方法是由中央政府限制这种行为，但这种限制对某些人来说不会被认为是乌托邦式的。
专制和价值观漂移
即使人类找到了控制通用人工智能的方法，这并不意味着人类的理想将控制通用人工智能。许多自私、专制或意识形态激进的行为者也非常有兴趣控制未来，他们有一定机会成为主导力量。
例如，想象一下美国军方决定美国需要保持其超级大国地位。它会将通用人工智能国有化，并寻求将世界其他地方置于美国政府的统治之下。虽然美国政府有一些人道主义的冲动，但它也可能有专制的冲动，在这样的未来，可能很少有自由，很少有资源被授予不受美国军方监督的行为者。可能会有压力要求世界其他地方遵从美国的价值观和做法。这可能会抑制世界其他文化的表达，从他们的角度来看，使未来成为非乌托邦。我不认为这种特定的失败模式很可能发生，但像这样的轨迹，甚至更糟的轨迹，肯定似乎是可能的。专制统治在许多人类文明中一直是常态，即使在今天仍然普遍存在。
社会的价值观随时间漂移的风险也很大，可能会以戏剧性的方式变化。现在的人类可能会认可一些这样的转变，因为我们的后人类后代可能更明智，能够获得比我们更好的道德论证。但许多形式的价值观漂移，比如由于进化压力或仅仅是社会熵，会使未来文明远离现在的人类经过反思后会认可的理想。（是否将这些"价值观漂移"的未来算作人类控制的未来是一个语义争议。）
稳定妥协如何？
也许人类控制的未来最有可能达成值得"乌托邦"标签的东西，是全人类之间的共享妥协安排。这样的协议不会让每个人都满意。例如，自由主义价值观可能不可避免地与一些防止痛苦或宗教价值观发生冲突。意识形态派系化贯穿人类历史。但也许文明可以达到一个大多数竞争阵营至少认为不是可怕的状态。（一些阵营仍然会认为文明是可怕的，比如那些对在技术先进的未来中不可避免地大量运行的痛苦子程序给予实质道德关注的人。）
我认为，想象通过某种理性、深思熟虑的过程，所有人的愿望都得到平等对待，从而达成稳定的妥协安排，这是一种痴心妄想。也许协议在纸面上会宣称这样做，但在实践中，就像在民主中一样，那些拥有更多财富和影响力的人会对最终结果产生过大的控制。在通用人工智能到来时拥有最大权力的人将继续在后通用人工智能世界中拥有最大权力，随着命运的起起落落会有随机波动。
妥协安排是否会稳定还不清楚。我们当前世界的民主决策总是在变化，因为合作各方的组成和目标在变化。目标保存似乎很难实现（Tomasik "Will ..."），但也许最终会发生，因为确保工程软件系统的目标对齐和遵从比确保进化的、自私的生物生物的目标对齐和遵从更容易。也许，在数千年或数百万年内，我们会看到一个稳定的单体实现某种妥协安排，这种安排是在单体形成时掌权的各派系之间达成的。我认为，当这种情况发生时，控制权的意识形态价值观的内容或分布看起来会像我们今天在地球上看到的任何东西，这是值得怀疑的，尽管不是不可能的。