“可能下个十年我们会有非常强大的AI系统，新技术从根本上改变世界的速度比我们想象的快。未来的AGI系统或许具有10万行二进制代码，人类监管人员不太可能发现这样的模型是否在做一些邪恶的事情。因此，OpenAI正在致力于一些新的和互补的研究方向，希望能实现突破。”
·“我们需要国际合作，以可核查的方式建立对安全开发日益强大的AI系统的国际间信任。我并不妄想这是一件容易的事，需要投入大量和持续的关注。”奥特曼引用《道德经》：“千里之行，始于足下”。
OpenAI联合创始人山姆·奥特曼（Sam Altman）在2023北京智源大会上隔空对话智源人工智能研究院理事长张宏江。
“距离通用人工智能（AGI）还有多远？”似乎OpenAI联合创始人山姆·奥特曼（Sam Altman）总是被问到这个问题。
6月10日，在2023北京智源大会上对话智源人工智能研究院理事长张宏江时，他给出的答案是：“这很难评估具体时间，可能下个十年我们会有非常强大的AI系统，新技术从根本上改变世界的速度比我们想象的快。”
奥特曼再次被问到有关GPT-5的计划，他重申不会很快部署GPT-5，未来会有更多开源大模型，但没有具体模型和时间表。
奥特曼表示，他正在进行环球之旅，目前已经去过五个大洲的近20个国家，与学生、开发人员和国家元首会面。事实上，他目前就在亚洲。“我们看到了世界各地的人们都已经在使用AI技术，以令人难以置信的方式改变生活。我们也收到了来自用户的宝贵反馈，告诉我们如何能使这些工具变得更好。我们还有机会与外国领导人进行有意义的对话，讨论需要建立的监管安全措施，以确保安全和可靠地部署日益强大的人工智能系统。”
“随着日益强大的AI系统的出现，全球合作的赌注从未如此之大。”奥特曼表示，“真心希望我们都能同意，推进AGI（通用人工智能）安全是我们需要找到共同利益点的最重要领域之一。”
奥特曼特别提到中国应该在人工智能安全方面发挥关键作用，“中国拥有一些世界上最优秀的人工智能人才，从根本上说，鉴于解决先进人工智能系统对齐（alignment）问题的困难，这需要来自世界各地的最优秀人才。”
具体而言，奥特曼认为，推进AGI安全的第一点是AGI治理。“AGI是一种从根本上改变我们文明的强大力量，这意味着有意义的国际合作和协调是极其必要的。如果国际间能够合作治理，那么我们每一个人都能受益。”国际合作中，他提出两个最重要的关键领域：建立国际规范和标准，以及在过程中注重包容性。“在任何国家使用AGI系统，都应平等而一致地遵循这样的国际标准和规范。”
第二，“我们需要国际合作，以可核查的方式建立对安全开发日益强大的AI系统的国际间信任。我并不妄想这是一件容易的事，需要投入大量和持续的关注。”他引用《道德经》：“千里之行，始于足下”。
山姆·奥特曼引用《道德经》谈AI安全，称需要中国人才助力。(01:23)
奥特曼认为，目前可以迈出的最有建设性的一步是与国际科技界合作，特别是推动建立提高AGI安全技术进步方面的透明度和知识共享的机制。当研究人员发现新出现的安全问题时，他们应为了人类更大的利益分享自己的发现。人们需要认真思考如何在尊重和保护知识产权的同时，鼓励这样的规范。这可以为人们深化合作打开新的大门。
在回答张宏江关于OpenAI是否会开源大模型时，奥特曼透露，未来会有更多开源大模型。
奥特曼呼吁，应该在促进和引导AI对齐和安全研究方向进行投资。基于OpenAI自己的经验，他分享道，“在如何让人工智能系统成为一个更安全有用的系统的技术问题上，我们进行AI对齐研究。这可能指向，我们该如何训练ChatGPT，使其不进行暴力威胁或协助用户进行有害的活动。”
从GPT-4完成预训练到部署，奥特曼称OpenAI专门花了8个月时间来进行对齐方面的工作。总的来说，他认为，GPT-4比OpenAI以前的任何模型都更加与人类对齐。
不过，对于更先进的系统，奥特曼也坦承，对齐仍然是一个未解决的问题，需要新的技术方法，同时增强治理和监督。
“我们想象一下，未来的AGI系统或许具有10万行二进制代码，人类监督员不太可能发现这样的模型是否在做一些邪恶的事情。”因此，OpenAI正在致力于一些新的和互补的研究方向，希望能实现突破。
其中一个是可扩展监督，尝试使用AI系统来协助人类监督其他AI系统。例如，可以训练一个模型来帮助人类监督发现其他模型输出中的缺陷。
第二是可解释性。“我们想尝试更好地了解这些模型内部发生了什么。我们最近发表了一篇论文，使用GPT-4来解释GPT-2中的神经元。在另一篇论文中，我们使用Model Internals（对一些本质可解释的模型，输出比如线性模型的权重）来检测一个模型何时在说谎。”奥特曼说。
这些行动的最终目标是，训练AI系统来帮助进行对齐研究。这种方法的好处在于，它可以随着AI的发展速度而扩展。
是否有可能需要更改AGI模型的整个基础架构或整个体系结构以让其更安全？奥特曼表示，无论是从功能角度还是从安全角度来看，确实需要一些非常不同的架构，这是完全可能的。
“我认为我们将能够取得一些进展，在解释我们目前各种模型的能力方面取得良好进展，并让他们更好地向我们解释他们在做什么以及为什么。如果在Transformer之后有另一个巨大的飞跃，我不会感到惊讶。自从最初的Transformer以来，我们已经改变了很多架构。”奥特曼说。
