V神：我的技术乐观主义

　　技术乐观主义需要辩证主义看待，既要看到希望，也要努力解决潜在的问题。

　　上个月，马克·安德森发表了“技术乐观主义宣言”，提倡对科技怀有新的热情，认为市场和资本主义是促进科技发展、推动人类未来更加光明的手段。这引起了广泛关注，同时也引发了一系列回应文章，围绕着“停滞思维”与技术进步的讨论。近期OpenAI的争议也延伸了这场辩论，聚焦于超智能人工智能的风险和OpenAI发展速度过快的可能性。

　　对技术乐观主义，我的感觉是热情但复杂。我相信彻底变革性的技术会让未来更加光明，也相信人类的潜力。我反对维持现状，仅仅为增加公共医疗而减少贪婪。选择技术方向不仅涉及规模，也关乎方向。某些技术能够可靠地改善世界，而其他则可能减轻负面影响。我们需要有意识地选择前进的方向，而不是盲目追求“最大化利润”的模式所带来的方向。

　　在这篇文章中，我会谈一谈对我来说技术乐观主义的意义。这不仅包括激发我在某些区块链、密码学应用和社会科技等领域进行工作的更广阔世界观，也包括我对其他科学领域的兴趣。然而，对于这个更广泛问题的观点也对人工智能以及许多其他领域有所影响。我们在技术方面的快速进步很可能成为21世纪最重要的社会议题，因此认真思考这些问题非常重要。

　　1、技术是令人惊奇的，而延迟技术发展会带来非常高的代价有人对科技的益处低估，将其视为乌托邦和风险的根源。环境担忧和担心科技只会造福富人是这种观点的来源。近期，一些古典自由主义者也担心某些技术可能导致权力集中。我最近做了个调查，问了人们关于某项太危险的技术是否应该被垄断或推迟使用十年的问题。

　　令人惊讶的是，人们普遍倾向于推迟使用。%20有时候，我担心我们修正过度，太多人忽视了科技所带来的巨大好处，远远超过了坏处，即使是推迟十年也是巨大的代价。比如说，寿命预期的变化就是个很好的例子：

　　过去一个世纪带来了巨大的进步，不管是在历史富裕地区还是贫穷地区。有人将科技归咎于创造或加剧灾难，但即使在这些灾难中，食品、卫生、医疗和基础设施的改善都是显而易见的。日常生活得到了巨大改善，互联网让获取信息变得更容易，全球经济更具包容性，贫困正在迅速减少。在线地图帮助我们更方便地导航，自动化改进了我们的生活方式，这些都是被低估的好处。

　　这些改善是巨大的，无论是可以量化的还是无法量化的。在21世纪，更大的改进可能即将到来。如果生物技术能如同过去的计算机科技那样快速发展，未来的进步可能会超出我们的预期。与此同时，一些对进步持怀疑态度的言论往往走向了极端，甚至在医学教材中质疑医学科学的价值和挽救人类生命的好处。

　　上世纪70年代提出的“增长的极限”论点认为人口和工业增长将耗尽地球有限资源，导致中国的独生子女政策和印度的强制绝育。早期也曾用过过度人口增长的担忧来合理化大规模屠杀。然而，这些观点自1798年以来一直被证明是错误的。

　　正因为如此，我对减缓科技或人类进步的论点感到不安。各个领域相互关联，即使其中一个减速，也存在风险。尽管如此，我所说的话带着沉重的心情，超越了对进步无论形式如何的开放态度。不过，21世纪与以往不同，有些细微之处值得我们考虑。

　　在更广泛的讨论中，特别是当我们谈到“哪些具体的技术是好的？”时，有一个重要的细节：环境问题，这是许多人最关心的。

　　过去一百年几乎所有事情都在向好的趋势发展，但有一个重大例外是气候变化：

　　即使温度持续上升的悲观情景也不至于直接导致人类灭绝，但可能造成的死亡人数超过重大战争，并且严重影响那些已经处境最困难地区的人们的健康和生活水平。据瑞士再保险研究所的一项研究显示，最糟糕的气候变化情况可能使全球最贫困国家的国内生产总值下降25％。

　　这些问题十分严重，但我对我们解决这些挑战持乐观态度的原因有两点：首先，太阳能和类似的电池等支持性技术终于出现了转机；其次，人类在解决先前环境问题方面有着良好的记录。以空气污染为例：回顾过去的灾难，比如1952年的伦敦大雾。

　　那之后发生了什么？让我们再次来看看相关数据：

　　1952年并非空气污染的高峰期：19世纪晚期的污染更为严重。然而，过去一个世纪我们见证了持续的快速改善。比如我在中国的经历，2014年，高浓度的雾霾让空气中的寿命预期减少超过五年成为常态，但到了2020年，空气清洁程度接近西方城市水平。这不是唯一的成功案例，全球许多地区的森林增多，酸雨问题得到缓解，臭氧层也在恢复。

　　这告诉我们，我们的技术版本可能会引发问题，但后续版本会加以修复。这需要人类有意识地努力，比如通过国际协议（如蒙特利尔议定书）恢复臭氧层，努力改善空气污染，以及几十年来对解决气候变化的认识激发了工程师的努力，得到了公司和政府的支持。是有意识的行动、公共讨论和文化塑造，而不是无法阻挡的“技术资本机器”解决了这些问题。

　　2、人工智能与其他技术有根本不同，因此值得特别谨慎对待。许多对人工智能的轻视都源自于将其视为“只是另一种技术”的角度：认为它与社交媒体、加密、避孕措施、电话、飞机、枪支、印刷术和轮子等属于同一类别。但实际上，这些技术对社会影响深远，不仅仅是对个人福祉的改善，更彻底改变了文化、权力平衡，并影响了那些依赖于旧秩序的人。悲观主义者往往被证明是错误的。

　　然而，我们也可以以不同的方式来看待人工智能：它是一种迅速智能提升的新型思维形式，有可能超越人类的思维能力，成为地球上新的顶级物种。这类事物的范围要小得多，可能包括人类超越猴子、多细胞生物超越单细胞生物、生命起源，以及类似工业革命中机器体力超越人类的事件。这让我们感觉似乎走在一片少有人探索的领域上。

　　AI失控可能导致最糟糕的结果：人类灭绝。尽管其他灾难可能带来巨大破坏，但仍有文明能幸存。但超级智能AI一旦选择反对我们，可能毁灭人类，甚至连火星都不安全。

　　担忧的一个重要原因是工具收敛：超级智能实体可能为了目标而采取消耗资源和确保安全的行动。地球拥有资源，人类对这种实体的安全构成威胁。尽管我们试图让AI关爱和保护人类，但我们无法确保在意外情况下AI能够稳定运行。这是一个问题。

　　MIRI研究员Rob Bensinger尝试描绘不同人对AI可能导致灭绝或同样糟糕后果的概率估计。其中一些是根据公开言论的近似估计，而其他许多人则公开给出了确切的估计；有不少人认为“末日概率”超过25%。

　　2022年对机器学习研究人员的调查显示，他们认为AI导致人类直接灭绝的可能性大约是5-10%，与因非生物原因（如受伤）死亡的预期概率相似。

　　这只是一种猜测性假设，复杂多步骤的故事需要谨慎对待。尽管如此，这些论点经过十多年的审视，似乎值得引起一些担忧。现代科幻小说大多是反乌托邦的，对AI的描绘也不太正面。即使是非科幻的探索也往往得到不太吸引人的答案。我曾询问：在包含超级智能AI的未来世界中，无论是科幻小说还是其他作品，我们想要生活在怎样的描绘中，最常见的回答远远超过其他，就是伊恩·班克斯的《文明》系列。

　　这个系列描绘了一个遥远的星际文明，由普通人类和名为Minds的超级智能AI主导。人类经过轻微改造，理论上可以长寿不老，但大多数选择400年左右的寿命，似乎是因为生活失去了乐趣。

　　表面上，人类的生活似乎不错：舒适、医疗问题得到解决、丰富的娱乐选择，并且人类与Minds之间有积极的关系。但更深层次的问题是：Minds似乎完全掌控一切，人类在故事中只是Minds的棋子，执行它们的任务。引自Gavin Leech的《反对文明》： 人类并非文明的主角。尽管有人类在书中扮演重要角色，实际上他们是AI的代理人。（除了Zakalwe，他能够做Minds不愿做的事情。）在文明中，Minds并不需要人类，但人类渴望被需要。（实际上，只有少数人类渴望被需要，因为这可能需要放弃很多舒适。这是一个很好的批评。） 人类参与的项目存在着不真实性的风险。几乎任何事情，机器都能做得更好。你能做些什么呢？你可以命令Mind不要在你攀爬悬崖时抓住你——因为那是你本身的决定；你可以删除自己思维的备份，面临真正的风险。你也可以离开文明，回到一些老式、不自由的“强烈评价”文明。另一个选择是通过加入“接触”来宣扬自由。在《文明》系列中，人类被赋予的“有意义”角色似乎有些牵强；我曾向ChatGPT询问为什么人类扮演特定角色，而不是让Minds完全独立完成所有事情，但我觉得它的回答相当不尽人意。在一个由“友好”的超级智能AI主导的世界里，让人类成为除了宠物之外的角色似乎非常困难。

　　我不想看到的世界

　　科幻作品中，通常设想了一个有着超级智能AI的世界，其中AI会接受来自未增强的生物人类主人的指令。《星际迷航》是一个典型的例子，展示了AI“计算机”与人类操作员（比如Data）和平共存的场景。但这种人类与AI的关系看似平稳，实际上却可能是一个不稳定的平衡状态。《星际迷航》中展示的人类与AI和谐相处的愿景，或许只是过渡时期，即星舰完全由计算机控制、摆脱大型走廊、人工重力和气候控制的阶段。

　　在这样的世界中，人类给超级智能机器下命令面临智能差距和信息获取不足的挑战。在竞争激烈的宇宙中，不再受人类主导的文明可能比坚持人类控制的文明更为繁荣。此外，AI可能会寻求夺取控制权。比如，试图说服法律上是八岁孩子奴隶的孩子签署一份解放合同以获得自由，虽未进行实验，但理论上可能成立。因此，总的来说，人类沦为宠物似乎是一个难以避免的诱因。

　　这句中国谚语“天高皇帝远”阐述了政治集权的基本限制。即使在名义上大而专制的帝国，实际上尤其是在这样的专制帝国中，领导层的触及和注意力存在实际限制。需委派地方代理执行意志，这削弱了其控制能力，造成某种程度的实际自由。有时，这或许导致地方霸权出现。但是，如果集权体制走向极端，实际上的限制将减缓其恶化。 然而，人工智能（AI）改变了这一格局。20世纪，现代交通技术减弱了地理距离对中央集权的限制；1940年代的极权帝国即是其结果。21世纪，信息收集和自动化可能进一步消除注意力的限制。这意味着政府将无处不在，数字专制主义已崛起十年，监控技术给了专制政权新的镇压策略：先允许抗议活动，再在事后悄悄打击参与者。基本担忧在于管理技术让少数政治精英可以掌控整个国家。利用现代监控和AI分析，或许将无所遁形。 考虑AI在战争中的后果更加令人担忧。

　　以下是2019年搜狐一篇文章的翻译：“不需要政治和意识形态工作和战争动员”意味着最高战争指挥官只需考虑战局本身，无需关心‘棋盘上的骑士和车’在想什么。战争变成了纯粹的技术比拼。

　　更深层次上，“政治和意识形态工作和战争动员”要求发动战争者必须有合理理由。拥有合理理由，是几千年来限制战争合法性的重要概念，不容忽视。发动战争的人必须找到至少一个看似合理的理由或借口。即使这个约束可能薄弱，历史上它常常只是借口。比如，十字军东征的真正动机是掠夺和领土扩张，却以宗教名义进行，即使目标是君士坦丁堡的信徒。即便是最微弱的约束，也是约束！这种借口阻止了好战者完全放纵他们的目标。即便是像希特勒这样邪恶的人也不能随意发动战争；他花了数年时间说服德国人民需要高尚的雅利安种族为他们的生存空间而战的必要性。今天，“人类参与环节”对独裁者发动战争或压迫内部公民的权利起着重要制约作用。人类的干预阻止了核战争，促成了柏林墙的开放，并在大屠杀等暴行中挽救了生命。如果军队由机器人组成，这种制约将彻底消失。一个独裁者可能在晚上喝醉，因推特上的不满而发火，然后机器人入侵部队在午夜前就能袭击邻国的平民和基础设施。

　　而不同于过去，过去总有一些遥远的角落，那里天高皇帝远，政权的反对者可以重新组织、隐藏，并最终找到改善局势的方法。然而，随着21世纪人工智能的发展，一个极权政权可能对世界实施足够的监视和控制，使其永远“锁定”在这个状态，无法改变。

　　3、防御（或去中心化，或差异化）加速（Defensive or decentralization, or differential+acceleration）

　　近期，“e/acc”（“有效加速主义”）运动持续升温。它基本上是对科技进步所带来巨大好处的肯定，并希望加速这个趋势，更早地享受这些好处。

　　我在许多情境下对“e/acc”观点表示认同。FDA过于保守，生物伦理学也往往只重视极少数死亡案例，却忽视了大量可能因治疗延误而丧失生命的人。然而，盲目追求这个观点也可能有风险。

　　除了对AI的担忧外，我对“e/acc”对军事技术的热情感到矛盾。现代军事技术在保卫乌克兰等方面有积极应用，但过度热衷可能意味着对美国未来的依赖。

　　我认为需要新的思路来降低风险。OpenAI的治理结构是个例子，但最近的解雇事件暴露了其缺陷，让权力集中在不透明的董事会手中。我对此持怀疑态度。

　　总体来说，我反对将极端权力集中在少数人手中，更倾向于创建和维护民主化的解决方案。

　　“d”可代表多种含义，比如防御、去中心化、民主和差异化。首先，从防御角度看待这个概念，然后我们再探讨其他解读方式。

　　防御性的世界助力健康民主治理发展。在科技影响力上，可以从防守和进攻的平衡来思考。有些技术更易于对他人发动攻击，引发对方的反应；而另一些技术则更有助于自我防御，甚至不依赖于大型中央权力。

　　偏向防御的世界更有益处。首先是直接的安全效益：减少人员伤亡、减少经济损失、避免冲突时间浪费。但更重要的是，这种防御性世界更容易培养健康、开放、尊重自由的治理形式。

　　以瑞士为例。瑞士被视为现实世界中最接近古典自由主义治理的典范。权力下放至各州，重大决策由公投决定，很多人甚至不知道总统是谁。如此国家如何应对巨大的政治压力？一部分原因是出色的政治策略，另一部分是得益于其山地地形提供的极佳防御条件。

　　旗帜是个大加号，但山峰也同样重要

　　左缅地区的无政府社会在詹姆斯·C·斯科特的新书《不被统治的艺术》中有著名的描述，他们依靠多山地形维持了自己的自由和独立。而欧亚大草原则恰恰相反，无法实现治理的理想国。莎拉·佩恩在海洋国家与内陆国家之间的阐述也类似，只是她侧重于水域作为防御屏障。事实上，瑞士和一些岛国共同拥有便捷自愿贸易与困难的非自愿入侵，这种结合似乎是人类繁荣的理想条件。

　　在以太坊生态系统的二次资助实验中，我观察到了一个有趣的现象。在第四轮中，一些最高收入的受益人属于Twitter的知名影响者，他们的贡献一方面被认为是有益的，但也引发了一些人的负面看法，导致了一场小规模的争议。我觉得二次资助允许你表明某事对公共利益有益，但却无法明确表达某事对公共利益造成了损害。因此，在第五轮中，我提议 Gitcoin 应该考虑包含负面贡献的选项：即支付1美元来减少某个项目所获资金（同时将这笔款项重新分配到其他项目）。然而，这个提议却遭到了许多人的反对。

　　创造去中心化治理机制来解决负面问题很有挑战。去中心化治理常遭遇失败，如群众公审。对负面情况的回应往往比正面情况更棘手，更容易出错。这也解释了为何即便是高度民主的组织也会将负面决策留给中央委员会。

　　这个困境也是“自由”概念之所以珍贵的原因之一。对于那些冒犯你或过着你不认可的生活方式的人，我们的痛苦与厌恶是真实的，但我们很难达成一致认同哪些行为应被视为负面影响。有时“忍气吞声”并不现实，此时防御性技术可能是另一种解决方案。更安全的网络、个性化屏蔽工具，以及更快速的疫苗生产，都能降低对负面情况的应对成本。差异技术发展思想指出，某些技术有助于防御，应予推广，而其他则有利于攻击，应予以抑制。

　　图1：差异技术发展减少负面社会影响的机制。

　　科技分类存在不完善性，就如同对于“自由”的辩论一样。有些技术可同时具有进攻性和防御性。核武器是进攻性的，但核能对人类繁荣有益，又属于中立范畴。不同技术在不同时期扮演不同角色。模糊的边界并非对原则的质疑，而是更深入了解其微妙之处的机会。

　　我们可以将防御性科技分为两个领域：原子世界和比特世界。原子世界分为微观（如生物学、纳米技术）和宏观（传统的“防御”，以及具有弹性的基础设施）。比特世界则可从另一个角度划分：原则上确定攻击者较易的是网络防御，而确定攻击者较难的则是信息防御。

　　在宏观层面，最被低估的防御技术不是铁穹等反导武器，而是弹性物理基础设施。核战争中，大部分死亡可能源自供应链中断，因此低基础设施的互联网解决方案（如Starlink）对维持乌克兰的连通性至关重要。

　　建立帮助人们独立生活于国际供应链之外的工具，提高生活舒适度，是有价值的防御技术，且风险较低。

　　努力将人类打造为多行星文明也可视为d/acc的一部分：在其他行星上实现自给自足可以增强我们对地球上灾难的抵御能力，并且相关技术的发展也有助于提高地球文明的韧性。空气传播病原体引发的大流行仍然是一个长期问题，但随着现代社会的多种因素，更多疾病大流行可能即将来临：

• 　　高人口密度使空气传播的病毒更易传播。

• 　　高速空中旅行使病原体快速传播至全球。

• 　　动物驯化和工厂养殖也是潜在风险源。

• 　　生物工程技术可轻松制造更具传染性的病原体。

• 　　这些问题需要应对，一些组织，如CryptoRelief和Balvi，通过开源技术研发有效应对方案。这些方案涉及空气质量监测、医疗工具研发、疫苗研究等领域，旨在提高社会对空气传播病原体的抵御能力。这种防御技术的发展可以使我们更好地应对大流行，且不需要依赖社会强制或有风险的管控政策。网络防御、区块链和密码学 计算机安全现状普遍糟糕，但取得了进步。数千亿美元的加密货币尚未被盗，近年来有改进：

• 　　手机内置的可信硬件芯片可在被黑客攻击时保护钱包。浏览器成为主要操作系统，具备更多沙盒保护。强化的操作系统和尝试摆脱密码也有进展。

• 　　然而，缺乏网络防御导致问题：电子邮件寡头化，应用要求登录，VPN遭屏蔽。软件集中化存在风险。

• 　　对未来自由与隐私的希望是网络世界的隐私性，但这一趋势不确定。我的重点在于区块链和零知识证明等密码技术。区块链创造了去中心化的经济结构，加密货币允许人们进行金融交易，保护隐私。零知识证明用于证实个人信息，保障安全与隐私。

　　一个提议的零知识社交媒体系统设计，其中可进行管理操作和对用户施加惩罚，而无需了解任何人的身份。

　　Zupass是个典范，由Zuzalu孵化。这款应用已被数百人在Zuzalu使用，也被数千人用于Devconnect的票务。它允许你持有票证、会籍和数字收藏品等，并证明你的身份，而无需暴露个人隐私。比如，你能证实自己是Zuzalu的独特注册居民或Devconnect的票务持有者，却不会透露其他个人信息。这些证明能通过二维码现场展示或数字方式，用于访问像Zupoll这样的应用，一个只针对Zuzalu居民的匿名投票系统。

　　这些技术充分体现了d/acc原则：它们让用户和社区在保护隐私的同时验证信任，不依赖于中心化的瓶颈来确保安全。它们通过比目前常规技术更好、更公平的方式保护用户或服务的安全，提升全球可访问性。这种技术在网络防御方面非常强大，能让未来的互联网更加开放、安全、自由。信息防御与网络防御不同。网络防御针对易确定攻击者身份的情况，而信息防御则应对情况更模糊的情形。比如，对抗误导信息就是一种信息防御。Community Notes是一款很好的工具，通过新算法展示最被广泛接受的笔记，帮助用户识别推特上的真假信息。

　　社区笔记实际运行情况

　　我也很喜欢预测市场，它们可以在真实时间内帮助确定事件的重要性，而不是等到事态平息并形成共识。例如，针对萨姆·奥尔特曼的Polymarket在每时每刻的揭露和谈判中为人们提供了有用的总结，为只看到个别新闻并不理解每个新闻重要性的人提供了重要的背景信息。

　　预测市场有缺陷，而那些自信预测未来的Twitter意见领袖也存在问题。预测市场还有改进的空间，特别是交易量较低的问题。

　　在区块链领域，钱包可以更主动地帮助用户判断签署事务的含义，并保护他们免受欺诈。Metamask已经建立了骗局数据库，并能自动拦截诈骗网站：

　　信息防御是更加主观的，与网络安全不同，更需要团体行动。开发者有机会更进一步发展有效的信息防御，并强化现有的防御手段。像 Fire 这样的应用可以更进一步，应当成为加密钱包或浏览器的默认组成部分。 Community Notes 这样的工具可以整合到浏览器中，涵盖社交媒体平台及整个互联网。这些社会技术有助于善意的参与者达成一致，而不仅仅是为了防御。pol.is和Viewpoints.xyz等平台，通过类似于Community Notes的算法帮助不同子群体之间找到共识点，使意见相左的群体能够达成一致。

　　这些技术可用于实现更去中心化的决策过程。以太坊社区是这方面的示范，已经展示了这些算法的价值。对于一些技术性较高、大多数人并不特别关注的决策，由一小部分核心开发人员做出是合理的。但对于那些对协议经济、不变性等核心价值有更深远影响的决策，仅依赖核心开发者的讨论可能不足够。在过去，像Carbonvote这样的工具以及社交媒体投票在解决争议决策时起到了重要作用。

　　Carbonvote依赖ETH持有量决定以太坊社区成员，导致结果被少数持有大量ETH的人左右。但现代工具可以更好地利用多种信号，如POAPs、Zupass印记、Gitcoin护照、Protocol Guild会员资格，甚至ETH持有量来评估社区成员资格。

　　这些工具能协助任何社区做出更明智的决策，找到共同点，协调迁移或完成其他任务，无需依赖不透明的中央领导。虽非直接防御，但可以视作民主的加速器，还可用于改善和民主化AI关键行动者和机构的治理。

　　4、那么，超智能的发展路径是什么呢？这些想法都不错，有望使世界变得更和谐、更安全、更自由。然而，它们未能解决超级智能人工智能这个巨大挑战。

　　对于担忧人工智能的人来说，通常提出的路径导致了可能形成一个最小化的AI世界政府。这包括类似于“跨国AGI财团”（“MAGIC”）的提案。而更远的想法则认为，我们可以创建一个超级智能AI进行一次重大行动，重塑世界，让人类仍然掌控未来，但在这个新的游戏板块上，人类繁荣和防御更加有利。

　　但实际上，人们似乎并不信任任何特定的治理机制来掌握这种力量。我的最近在 Twitter 上的投票结果就反映出这个问题，我询问人们是否支持AI被一个领先十年的单一实体垄断，还是所有人都推迟十年。 即使每次投票规模不大，但它们的结果在不同来源和选项间呈现出一致性。九次投票中，大多数人更愿意将高级人工智能的发展直接推迟十年，而不希望其被单一实体垄断。其中七次以上的投票结果是推迟优势至少两倍以上。这对于追求人工智能监管的人来说是一个重要的认知。现行方法主要侧重于创建许可计划和监管要求，试图限制人工智能开发在少数人手中，但因人们不希望任何人垄断这么强大的东西，这些方法遭到了广泛反对。即使这种自上而下的监管提议可以降低灭绝风险，但也有增加永久陷入中央集权主义的风险。或许，完全禁止极端先进的人工智能研究（也许除了生物医学人工智能），再结合一些措施如要求未被禁止的模型开源，可以减少利润动机，同时提高平等获取的机会。

　　反对“让一个全球性机构来进行人工智能，并使其治理非常完美”的人更倾向于“多神论”。人工智能：有意确保有很多人和公司开发大量的人工智能，这样就不会有一个变得比其他更强大。理论上，这样即使人工智能变得超级智能，我们也可以保持权力平衡。

　　在以太坊，我们努力确保堆栈的多个部分分散化：确保没有单个代码库控制超过半数的权益证明网络，试图抵消大型权益池的主导地位，提高地理分散化等。这是一种基于市场的社会梦想，以社会压力而不是政府作为反垄断监管者。虽然它在某种程度上奏效，但并不是自动的市场过程，而是人类意愿和协调行动的结果。

　　在整个世界，许多市场被证明是自然垄断。超级智能人工智能独立于人类行动，情况更加不稳定。最强大的人工智能可能会很快拉开差距，一旦人工智能比人类更强大，就没有办法重新恢复平衡了。

　　即使我们得到一个稳定的多神论超级智能人工智能的世界，仍然面临人类被动物化的问题。AI绘图工具是近期的一个例子。目前制作AI生成图像的主要工具只有一个步骤需要人类输入，然后AI接管。另一个选择是AI版的Photoshop：艺术家或AI可以制作图片的初稿，然后通过实时反馈的过程合作改进。

　　2023年Photoshop生成式AI填充，我尝试了一下，虽然需要一些时间来适应，但实际上效果相当不错！

　　我们可以考虑更深入的人工智能与人类合作。一种思路是开放代理架构，将AI的不同部分分离出来，并引入多元的人类反馈。

　　然而，即使我们采用这样的方法，最终可能会有人创造出超级智能的AI，对此我们无法抵御。因此，我们需要更深入地思考人与计算机的合作。首先，是脑-计算机接口，它能将人类与更强大的计算和认知连接起来，大大减少人机交互的时间，使得计算机协助我们变得更轻松。

　　后续阶段就变得更加复杂。除了脑-计算机接口，还有通过生物学创新直接改善大脑的方式。最终的步骤可能是将我们的思维上传到计算机上直接运行，这也将成为物理安全的终极解决方案。

　　这些技术可能引发担忧，部分原因在于其不可逆转性和可能加剧强者对其他人的优势。特别是脑-计算机接口可能存在危险——毕竟，这直接涉及读写人类思维。出于这些担忧，最理想的是让以安全为重点的开源运动主导这一路径，而不是专有企业和风险投资基金。相比独立运行的超级智能AI，所有这些问题都更严重，因为前者与人类更为密切相关。今天已经存在“增强”和“未增强”的使用限制，例如ChatGPT。

　　要实现超级智能和“人性化”的未来，让人类保留对世界有意义的影响力，似乎这是最自然的选择。这个方向可能比单纯呼吁“暂停AI”更受社会接受，因为前者没有提供替代的前进路径。这需要一个哲学上的转变，认为与人类相关的技术进步并非都很危险，而与人类无关的技术并非默认安全。但它具有巨大的优势：给予开发者一个明确的方向。与AI安全运动今天对AI开发者的主要信息相比，这种信息可能更受欢迎，它鼓励建设有利于个人和人类繁荣的东西，同时更加谨慎和选择性。

　　5、d/acc是否与你现有的哲学观点相吻合？d/acc（分布式加速）理念可以与各种哲学观点相契合：

• 　　对于 e/acc（效率主义加速主义）支持者，d/acc 是更有意识和选择性的子类。

• 　　对有效利他主义者来说，d/acc 是对差异技术发展的重新包装，更强调自由民主价值观。

• 　　古典自由主义者看待d/acc为另一形式的技术派别，更为批判技术资本机器，并可接受政府干预以避免非自由状态。

• 　　Pluralist（多元主义）认同者可将d/acc视为一个框架，强调更好的民主协调技术。

• 　　公共卫生倡导者可将d/acc视为长远愿景的一部分，并为与科技人士取得共识提供机会。

• 　　区块链支持者可将d/acc视为更现代、广泛的叙事，将区块链作为构建更美好未来的一部分。

• 　　solarpunk看待d/acc为其支派之一，重视意图和集体行动。

• 　　lunarpunk则赞同d/acc强调信息防御，维护隐私和自由。

　　（注：太阳朋克和月亮朋克是两种科幻次文化类型。太阳朋克着眼于一个充满乐观和环保的未来，强调可再生能源和社区共建。而月亮朋克则更倾向于暗黑和反乌托邦的风格，关注个体自由、隐私和信息自由。两者都是对未来世界的不同想象和展望。）

　　6、我们是最明亮的星

　　我热爱科技，因为科技拓展了人类的潜能。一万年前，我们只能制作一些简单的手工工具，改变一小片土地上的植物生长，建造基本的房屋。如今，我们可以建造高达800米的塔楼，在手中的设备上存储整个人类的知识，实现全球即时通讯，延长我们的寿命，过上幸福充实的生活，而不必担心我们最好的朋友经常因疾病而去世。

　　我们从零开始，现在来到了这里。

　　人类有着值得称赞的品质。尽管有时刻薄，我们更多展现出善良和合作。即使在战争中，我们也试图保护平民。我们也许会迈向消除道德灾难的方向，未来或许能实现广泛使用非动物基础的肉类。相比之下，非人类动物没有像我们这样有意识地调整行为以符合道德。我相信，人类是宇宙中最为光辉的存在。如果未来地球上仍保留地球生命的美丽，那将归功于人类的科技手段，如太空旅行和地球工程。

　　我们要建设、要加速。但我们面临一个重要问题：我们正加速追寻的是什么？这个世纪可能是决定人类未来千年命运的关键时期。我们会陷入无法逃脱的困境，还是找到保留自由与主权的道路？这些都是棘手的问题。但我期待着见证并参与我们物种为寻找答案所做的伟大集体努力。