（图片来源：大会官方图）
萨姆·奥特曼（Sam Altman）是近期世界级热门科技人物。他所领导的人工智能公司OpenAI于去年11月发布聊天机器人ChatGPT，五天后用户总数突破百万，两个月后破亿，如今平台访问量超17亿，并引发全球新一轮 AI 浪潮，他也被称为“ChatGPT之父”。
(资料图片)
截至目前，OpenAI 公司最新估值接近300亿美元。
App获悉，6月10日上午，OpenAI联合创始人、CEO奥特曼出席被称之为中国“AI春晚”的2023年智源大会，不仅线上发表主题演讲，随后还与智源研究院理事长张宏江博士隔空问答，交流关于AGI的未来、GPT-5、开源大模型等话题。（详见App前文：《OpenAI CEO首次在中国演讲，杨立昆反击5年内GPT将被抛弃｜焦点》）
这是ChatGPT爆火之后，奥特曼首次在中国对外公开演讲和输出观点内容。
张宏江博士目前任北京智源人工智能研究院理事长，而且还是源码资本投资合伙人，同时也担任多家公司的独立董事和顾问。曾任金山集团执行董事及首席执行官，兼任金山云的首席执行官，是微软亚洲研究院创始人之一，曾担任副院长、微软亚太研发集团（ARD）首席技术官及微软亚洲工程院（ATC）院长以及微软“杰出科学家”。
在此次交流中，奥特曼表示，在10年内，全球将可能拥有一个强大的 AI 系统（AI System），但我们现在就要为此立刻做好准备。他还直言，对于 AI 风险方面，全球合作总是困难的，但这是一种机遇。“我们必须设计公平、具有代表性和包容性的 AI 系统。”
谈及中国 AI 技术发展，奥特曼称，中国拥有世界上一些最优秀的 AI 系统，这使研究人员在解决许多不同的AI系统的问题上面临困难。中国是世界上最好的地方，他真诚希望中国和美国的研究人员能对此做出巨大贡献。
对于开源和GPT-5，奥特曼指出，OpenAI已经开放了一些模型源代码，未来陆续还会开放更多的模型，但目前没有具体新的开源模型的时间表。开源模型具有优势，但开源一切可能并不是一条（促进AI发展的）最佳路线。
他再次重申，OpenAI 不会很快公布GPT-5。
奥特曼在最后强调，对他而言，没有比 AI 安全性工作更令人兴奋、活力四溢、充实且重要的事情了。他认为解决 AI 安全问题会成为构建 AI 技术的重要推动力，从而会产生巨大的技术变革。
以下是张宏江博士与Sam Altman的问答实录，有删减：张宏江：您提到了正在和欧盟以及其他AI领域沟通全球治理，现在进展如何？我们距离AGI（通用人工智能）时代还有多远，有没有什么可以证明距离这一天还很遥远？假设我们发现了安全的人工智能，是否意味着也找到了不安全的人工智能？
Sam Altman：这很难预测，仍然需要不断地研究才能提供结论，并且这条路不会一帆风顺，但AGI可能很快就会发生，但在未来的10年内，我们可能会拥有超强的AI系统。
在那种情况下，全球监管就非常的紧迫，而且历史上也出现过很多新技术改变世界的相关的案例，现在这种改变速度正变得更快，考虑到这种紧迫性，我认为准备好迎接这一切并就安全问题作出正确回答非常重要。
张宏江：所以，您觉得这（正确回答安全相关的问题）是我们的优先事项？
Sam Altman：我想强调的是，我们并不确切知道（未来可能会如何），尤其是现在对人工智能的定义存在差异，但我认为在10年内，我们应该为一个拥有超强AI系统的世界做好准备。
张宏江：您提到，OpenAI是一个致力于全球合作的机构，您们正在推动的全球合作有哪些，获得了哪些回应，有什么感受？
Sam Altman：我认为人们非常重视AGI的风险和机遇。在过去的六个月里，相关讨论已经发生了很大变化。人们似乎真心致力于找到一种机制，既能让我们享受这些好处，又能在全球范围内共同努力减轻风险，我认为我们在这方面做的不错。
全球合作始终是困难的，但我认为这种机遇和威胁确实能够让世界走到一起，我们可以为这些系统制定一个框架和安全标准，这非常有帮助。
张宏江：在之前有没有的成功的案例，您能举个例子吗？
Sam Altman：我们已经消除了一些全球合作的障碍。我们已经解决了技术上的困难，例如真实世界交易的问题。有很多例子可以说明我们已经有所突破。
张宏江：您提到了先进AI系统的对齐问题，我也注意到在过去几年中，许多AI系统都付出了很多努力来优化其对齐性能，我们可以在近些年里完成对AI安全的研究吗？
Sam Altman：我认为“对齐”这个词在不同的方式中被使用。我认为我们需要解决整个挑战，即能够安全地访问系统意味着什么。从传统意义上讲，让模型按照用户意图进行沟通的对齐是其中的一部分。还会有其他问题，例如我们如何验证系统正在按照我们的意愿行事，以及我们将系统与哪些价值观对齐。我认为重要的是全面考虑如何获得安全的AI。
我认为对齐工作还在不断演变中。我们将纳入市场上已有的工作模式。很多这些技术仍处于纸面之上，但是我们需要超越技术的其他因素。这是一个复杂的问题。AI安全是最新的技术。因此，技术方面的创新是我们需要考虑的因素之一。我们需要思考关键的AI安全问题。我们如何应对这些挑战？就像我们大多数人都是科学家一样去思考。我们为什么要做这个？这是一个非常复杂的问题。我认为，为了确保我们解决了技术方面的安全问题，需要投入大量精力。
正如我之前提到的，确定我们要与之保持一致的价值观并不是一个技术问题。我们确实需要技术的参与，但这更是一个值得全社会深入讨论的问题。我们必须设计出公平的、有代表性和包容性的系统。正如您所指出的，我们不仅需要考虑AI模型本身的安全性，还需要考虑整个系统的安全性。因此，我们需要构建安全的分类器和检测器，以监测符合用户政策的情况。这一点很重要。
此外，我认为很难预测和预先解决任何技术可能出现的问题。因此，通过从实际使用中学习并快速部署数据，观察在一个国家中会发生什么，并给人们提供时间来学习、更新和思考这些模型将如何影响他们的生活，这也非常重要。
张宏江：中国、美国和欧洲是推动人工智能和创新的三个主要力量。您认为国际合作解决人工智能需求和决策方面的优势有哪些？这些优势如何结合起来产生影响？
Sam Altman：我认为在人工智能安全性方面，普遍存在着需要许多不同观点的情况。我们还没有所有的答案，解决这个问题非常困难且重要。正如我提到的，这不仅仅是一个技术问题。使人工智能变得安全这件事受益于了解不同国家和不同背景下用户的偏好。因此，我们需要许多不同的观念来实现这一目标。中国拥有世界上一些最优秀的AI系统，从根本上讲，我认为这使研究人员在解决许多不同的AI系统的问题上面临困难。中国是世界上最好的地方，我真诚希望中国和美国的研究人员能对此做出巨大贡献。
张宏江：您能分享一些在这方面取得的成就吗？在这项工作中，您的计划或想法是什么？
Sam Altman：我认为一个重要的进展是人们开始对如何安全开发先进AI系统的国际标准感到兴奋了。我们希望在训练广泛模型并在其部署之前，思考应该进行什么样的测试。我们还就构建反映人们目标、价值观和实践的数据库进行了新的讨论，人们可以利用这些数据库来使他们的系统与之对齐，并探讨了开展共享AI安全性研究的形式问题。所以，这些可能是目前出现的三个最具体的事情。
张宏江：我在这里有一个很棒的问题，来自观众——您是否打算重新开放GPT的源代码，就像在3.0之前一样？
Sam Altman：关于源代码，我不太清楚，但可以确认一下。我们开源了一些模型，而其他模型则不开源，但随着时间的推移，我认为我们可以期望开源的模型会更多，我没有具体的模型或时间表，但这是我们正在努力的事情我不确定您是否听说过，但是我主持了一个开源机构，我们在开放源代码方面付出了很多努力，包括模型。
我将采用一种算法来开发模型，并引入新的Python模型和A-15模型。我们相信需要倾听并理解听众的反馈。所以，如果您明天对此有类似的见解，是否有什么可以去讨论以回应两位现在正在谈论的同事之间的担忧？是的，我的意思是，开源确实起着重要的作用。
开源模型的发展已经相当多了。我认为A-15模型也起着重要的作用，它为我们提供了额外的安全控制。您可以阻止某些用户，可以阻止某些类型的微调。这是一个重要的回归点。就目前模型的规模而言，我对此并不太担心，但随着模型变得越来越大，确保正确性可能会变得昂贵。我认为开源一切可能不是最优的路径，尽管这确实是正确的路径。我认为我们只需小心地朝着这些节点前进。
张宏江：是的，我认为开源模型确实有优势。总结一下我所说的，无论是GPT-4还是开源的模型及简化性AI，我们有没有可能需要改变整个基础设施或者模型的架构，使其像GPT-2一样简单？对此您有何想法？从能力和安全性的角度来看，我们可能确实需要一些非常不同的架构。
Sam Altman：我认为我们将在这个能力上取得一些良好的进展，但在当前的模型类型中他们展现的效果更好，这是一个原因。但是，如果在10年后出现另一个巨大的飞跃，我也不会感到惊讶。我不记得很多年间有什么东西真正改变了的架构。另外，作为一名研究人员，我相信在座的许多人都会有这种好奇心，就是关于大模型和大容量模型的人工智能用户体验方面的下一步发展方向。我们是否会很快落后于增长曲线，或者下一个前沿是具有体现能力的模型，或者自主机器人是人工智能所关注的下一个前沿？我也非常好奇接下来会发生什么。我最喜欢做这项工作的事情就是能够处在研究的前沿，这是令人兴奋和惊喜的，我们还没有答案。因此，我们正在探索许多关于接下来可能出现什么、可能的新领域的想法。
当然，并不是说我们现在就能在序列中找到新的抗衰老模型，而是不用过于担心具体的时间点。我们在刚开始的时候就做过机器人方面的工作，并且我们对此非常兴奋，也经历了困难。我希望有一天我们能够回到这个话题。
张宏江：您还提到您正在研究如何制作更安全的模型，特别是使用CT4数据，在CT6的神经元有这个数据。这个工作在这个方向上是否有效？您是否能够在未来（用这种方法）推进人工智能领域？
我们将继续在这方面努力。所以，如果我认为我们会考虑到这一点，它是否具有可扩展性？因为我在向一群生物学科学家提问，他们专注于人类的学习。他们想借鉴这些思想并从中学习，以研究人类在工作中的表现。观察人工神经元比观察生物神经元更容易。
Sam Altman：我认为这对人工神经网络是可行的。我认为使用更强大的模型或使用类似其他（生物）模型的方法是可行的。但我不太确定如何将其应用于人脑。另外，我们正在讨论人工智能安全和API控制的话题。我们刚才在辩论，如果我们只有三个模型，那么我们会更安全。这就像一个核计划。您不希望（每个人）拥有核武器。因此，当我在控制模型数量时，如果控制不了接触模型和数据的人数的话是不安全的。
那么，我们是要控制模型的数量吗？从人类的角度来看，无论是拥有少量模型还是大量模型，都不能让我们更安全。更重要的是，我们是否有一种机制，确保任何柯林斯模型都需要经过足够的安全测试。我们是否有一个框架，让那些创建了完备柯林斯模型的人具备足够的资源和责任心，确保他们创造的东西是安全可靠的？来自麻省理工学院的教授Max是莱布尼兹研究所的一位教师，他提到了一种方法，但他认为这个方法不够具体。
从一个角度来看，我们可以研究如何控制隐私的泄露。如果您丢失了一封电子邮件，您仍然可以获取一份副本。在这个过程中您无法证明它是怎么获取到的。如果那家公司可以借用您的资料，那这将产生重大影响。我认为有一些行业正在发展不同的许可框架，将新技术引入市场，我认为我们应该借鉴它们。但我认为从根本上说，我们有着很好的购买数据的历史。
张宏江：最后一个问题，您对人工智能社区的设想是什么，以及在这个方向上可能具有很大推动力的因素是什么？
Sam Altman：在过去我说过：是什么推动您如此热衷从事人工智能安全性工作？对我而言，没有比安全性工作更令人兴奋、活力四溢、充实且重要的事情了。我坚信，如果您个人对一项重要的倡议非常认可，您将会有无穷的力量去解决它。这对我们团队来说确实如此。当我们刚开始的时侯，我觉得成功的概率会非常低。但如果我们能够找出如何构建人工智能，那它肯定会产生巨大变革。我们必须进行安全方面的工作对吧？这就是其中的一部分。但您不能阻止AI的发展。
（本文首发App）
关键词：
