6 年元老为何加入离职大军？AGI 的未来，我们到底需要面对什么？OpenAI 前高级顾问 Miles Brundage 最近发表长文，细述了自己的思考和感受。
OpenAI 的「员工叛逃」还没有结束。
近日，OpenAI 又有一位 6 年元老、研究主管 Miles Brundage 发表长文官宣离职，并详细解释了自己为何「出走」。
作为一家年轻的 AI 独角兽，成立于 2015 年的 OpenAI 如今刚刚 9 岁，因此在公司待了 6 年之久的 Brundage 足以被称为「元老」，见证了 OpenAI 如何一路起伏、筚路蓝缕地走到今天。
在博文中，Brundage 也在开头强调：为 OpenAI 的高管和董事会提供建议，为 AGI 的到来做准备，这实际上是他梦想中的工作；甚至就在 2015 年 OpenAI 刚成立时，Brundage 兴奋得一夜不睡，写下一篇博文强调这个组织的重要性。
原文地址：https://www.milesbrundage.com/blog-posts/archives/12-2015
因此，离开 OpenAI 对他来说并不是一个容易的决定。但是为了有更多时间研究自己认为重要的课题，更独立、自由地发表观点和作品，Brundage 决定转而加入（甚至自己创办）非营利组织，将重点放在 AI 政策研究和倡导上。
Miles Brundage 本科毕业于乔治华盛顿大学，本科期间担任过美国能源部的特别助理，之后前往亚利桑那州立大学攻读博士，研究方向为科技的人类和社会维度，博士后期间曾在牛津大学担任 AI 政策研究员。
2018 年，Miles Brundage 加入了刚刚成立 3 年的 OpenAI 担任政策方面的研究科学家，之后又在 2021 年升任研究主管，目前是 AGI 准备工作的高级顾问。
为何离开 OpenAI
总体来看，Brundage 的离职是希望从行业外部而非内部影响 AI 的发展，这与今年 Geoffrey Hinton 离开谷歌的原因如出一辙，具体有如下几个考虑因素：
机会成本
本职工作已经占去了几乎全部的时间，因此 Brandage 感觉很难从事自己认为重要的研究课题。甚至在某些情况下，身处行业之外时，从事这些研究能更有影响力和说服力。
而且，OpenAI 目前已经如此引人注目，成果发布前就需要从许多不同的角度进行审查，以至于无法发表某些主题的文章。
但值得注意的是，Brundage 并不是完全反对 OpenAI 在出版物审查方面的立场，他认为行业中存在出版限制是合理的，他本人也帮助编写了 OpenAI 政策的几个迭代版本，但公司目前施加的限制确实已经太多了。
减少偏见
如果选择成为某个组织的一部分，并且每天都和那里的同事们密切合作，你就很难对这个组织保持公正。
Brundage 表示，他在分析中尽力追求公正，但仍然会有偏见的存在。而且在 OpenAI 工作这件事本身，就会影响到外界如何看待自己的观点和研究。考虑到财务利益上的冲突，人们有理由质疑来自行业的政策想法。
在有关政策的对话中，有更多独立于行业的声音至关重要，而 Brundage 计划成为其中之一。
在 OpenAI，能做的都做了
从入职至今，Brundage 认为自己作为「AGI 准备状态高级顾问」的工作已经完成了大部分。
「AGI 准备状态」（AGI Readiness）主要分为两种：一是 OpenAI 要准备好管理日益强大的 AI 能力，二是整个世界也要准备好有效管理 AI 能力，包括通过监管 OpenAI 和其他公司。
对于前者，Brundage 已经向他的负责对象 ——OpenAI 的高管和董事会 —— 详细介绍了他认为 OpenAI 需要做什么，以及差距在哪里；而对于后者，他认为自己在 OpenAI 外部能够更加有效。
虽然失去了一些在 OpenAI 发挥影响力的机会，但 Brandage 希望在更大程度上影响整个生态系统。
AGI，我们都没准备好
Brundage 认为，对于即将到来的 AGI，OpenAI 或任何其他的前沿实验室都还没有准备好，这个世界也还没有准备好。
原文地址：https://medium.com/@miles_24227/scoring-humanitys-progress-on-ai-governance-5a5131cb84c7
但需要明确的是，他不认为这种「没准备好」的状态与 OpenAI 领导层的声明相冲突；同时他也暗示，虽然距离理想的标准存在相当的差距，但是我们仍可以在相关时间点步入正轨，为此 Brundage 将在余下的职业生涯中致力于人工智能政策。
科技公司和这个世界是否走上了 AGI 准备的正轨，是一个复杂的函数，取决于安全和保障方面的文化如何随着时间的推移而发挥作用、监管如何影响组织的激励措施、各种有关 AI 能力和安全方面困难的事实，以及各种其他因素。
此处，Brundage 特别表扬了 OpenAI 最近新增加董事会成员的决定，新吸纳的成员包括前陆军上将 Paul M. Nakasone 和 CMU 机器学习系主任 Zico Kolter，这都是朝着正确方向迈出的一步。
顺便一提，Brundage 表示，「AGI」这个术语承载了太多意义，它现在更多地暗示着一种二元思维方式，而不是实际意义，因此有必要澄清一下，此处的「为 AGI 做好准备」，指「准备好安全、可靠且有益地开发、部署和管理能力日益强大的 AI 系统」。
最近，他和团队正在充实 OpenAI 提出的 AGI 五级框架，不久后或许会发表一篇正式的论文。这个框架曾被彭博社披露，引来了不少争议。
虽然 Brundage 对 AI 政策抱持着谨慎和批判的态度，但对于 AGI 前景的预测，他的确称得上是一个「技术乐观主义者」，观点与硅谷的风投大佬 Khosla 非常一致。
他认为，在未来短短的几年内，人工智能很可能能够实现足够的经济增长。假设我们能制定出适当的政策来确保公平分配，人类就能实现高生活水平的提前退休。
但在此之前的短期时间中，AI 很可能会抢走一些迫切需要工作的人的机会，尤其是那些可以远程完成的、容易自动化的任务。
但事实是，人类最终应该摆脱为谋生而工作的义务，这也为构建 AI 和 AGI 提供了最强有力的论据之一。从长远来看，有些人可能会继续工作，但不会像现在这样有如此迫切的激励因素。
一个「后工作世界」（post-work world）的风险之一就是文明的停滞（比如电影「机器人总动员」所展现的），但我们目前还没有在政治、文化或其他方面为此做好准备，因此需要更多的思考、辩论和政策讨论。
2008 年电影「机器人总动员」（WALL-E），由皮克斯工作室制作、迪士尼出品
很多人都描绘过「AI 造福人类」的前景，这些描述似乎是出于好意而非阴谋论。但目前存在效率低下的问题，很大程度上是由于民间社会和政府的技术专业知识不足，以及缺乏良好的规范和理论基础。
例如，对于出现的问题，我们是否应该期望市场机制给出解决方法？什么时候应该构建定制化、应用范围狭窄的 AI 解决方案，什么时候应该提高通用 AI 系统的能力来解决？在各种情况中，正确的方法是继续补足现有的技术，还是创造全新的技术，等等。
要不要在 OpenAI 工作
「要不要在 OpenAI 工作」，这个问题听起来有点凡尔赛，可以类比下「斯坦福和 MIT 该选哪个」。
但如果屏幕前的你拿到了 offer 正在纠结该去 OpenAI 还是谷歌 DeepMind，Miles Brundage 的经验或许能帮助你解决这个甜蜜的烦恼。
在 OpenAI 工作是大多数人希望能做到的最有影响力的事情之一，所以在大多数情况下，答案是肯定的。
考虑到每个人拥有的技能和机会不同，很难做出笼统的陈述，但有一点是确定的 ——OpenAI 的每一个角色，以及每个人对待工作的谨慎程度都很重要，对 OpenAI 组织文化的每一项贡献也很重要。
在通往更强大 AI 的道路上，每一次产品的部署都会发挥重要作用，比如影响行业规范，以及人们认知和监管 AI 的方式。
在 OpenAI 工作，无论是 AI 的安全与保障，抑或是 AI 能力和产品方面的研究，发挥个人的能动作用来推动 AI 安全都是非常有影响力的。
下面这段话，似乎是 Brundage 的一段隔空喊话，写给他仍在 OpenAI 工作的前同事们：
「任何在 OpenAI 工作的人都应该认真对待这样一个事实：他们的行为和言论有助于组织文化，并且当这个组织开始掌管极其先进的能力时，可能会创造正面或负面的路径依赖。文化对任何组织都很重要，但在前沿 AI 的背景下尤其重要，因为大部分决策不取决于监管法规，而是来自公司中的人。」
正如 Brundage 在前文所表示的，他认为某些政策研究最好在外部进行，AI 的安全和保障工作有时也是如此。尽管 OpenAI 内部确实需要一些人来推动公司采取良好的政策立场，但存在独立的安全研究也很有价值。
参考资料：
-
https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im
-
https://www.reddit.com/r/singularity/comments/1gagocj/openai_senior_advisor_for_agi_readiness_leaving/
本文来自微信公众号：微信公众号（ID：null），作者：新智元