Anthropic首席执行官：从OpenAI离职创办竞对大模型的前因后果
9月27日消息，亚马逊近期向OpenAI最大竞争对手大模型公司Anthropic投资了280亿元，后者以拥有对标ChatGPT的聊天机器人Claude而闻名。
(资料图片)
微软在OpenAI持股49%，亚马逊力挺Anthropic，看起来初创大模型企业之间的竞争其实也是老牌科技企业之间的暗战，但毋庸置疑的是，大模型创业已经成为炙手可热的新兴战场。
财富杂志近期对Anthropic的首席执行官达里奥·阿莫迪（Dario Amodei）进行了专访，以期帮助读者获得对这家知名度并不如OpenAI的公司更多信息。
Dario Amodei于2021年2月创办了Anthropic公司，担任CEO职位。他是OpenAI的前核心成员，也被认为是深度学习领域最为前沿的研究员之一。曾发表多篇AI可解释性、安全等方面的论文，离职前在OpenAI担任研究副总裁。
在此之前，Dario还曾在百度担任研究员，在百度前首席科学家吴恩达手下工作。
Dario Amodei博士毕业于普林斯顿大学，后回到本科毕业的斯坦福大学担任博士后学者。
以下为全文：
Dario Amodei辞去了OpenAI的工作，因为他想建立一个更可信的模型。
2021年，他与姐姐Daniela和其他OpenAI的前员工一起创建了Anthropic。该公司迅速成长为一个巨大的竞争对手，从谷歌、亚马逊筹集了数十亿美元资金。
阿莫迪告诉《财富》杂志记者杰里米·卡恩关于对OpenAI的担忧，正是这些担忧导致他启动了Anthropic。他还介绍了Claude，这是该公司的聊天机器人，可以在一分钟内阅读一本小说。
杰里米·卡恩：你们在OpenAI工作，你们帮助创建了GPT-2，并开展了大量研究。处理大型语言模型。你为什么离开OpenAI去组建Anthropic？
达里奥·阿莫迪：在OpenAI中有一群人，在制作GPT-2和GPT-3之后，他们对两件事有着非常强烈的专注信念。我认为这比那里的大多数人更重要。一个想法是，如果你把更多的计算投入到这些模型中，它们会变得越来越好，而且几乎没有尽头。我认为这一点现在已被广泛接受。但是，你知道，我认为我们是第一批相信这一点的人。第二个想法是，除了放大模型之外，你还需要一些东西，即对齐或安全。你不能通过向模型中注入更多的计算来告诉模型它们的值是什么。所以有一群人相信这两个想法。我们真的很信任对方，想一起工作。于是，我们开始考虑这个想法，创办了自己的公司。
杰里米·卡恩：明白了。现在你已经创建了一个名为Claude的聊天机器人。人们可能不像ChatGPT或Bard那样熟悉Claude。是什么让Claude与众不同？
达里奥·阿莫迪：是的，所以你知道，我们从一开始就试图在设计Claude时考虑到安全性和可控性。我们的许多早期客户都是非常关心确保模型不会做任何不可预测的事情的企业，或者编造事实。Claude背后的一个大想法是所谓的人工智能。因此，用于制造大多数聊天机器人的方法是所谓的从人类反馈中强化学习。这背后的想法是，你有一群人为你的模型打分，说这件事比那件事好。然后你对它们进行总结，然后训练模型去做这些用户想要它做的事情。这可能有点不透明。它只会说，你知道，「你能给出的唯一答案是这数千人所说的平均值。」、「因为如果你问模型，你就会知道，为什么你会说这种话？」
杰里米·卡恩：是。
达里奥·阿莫迪：宪法，人工智能的基础是训练模型遵循一套明确的原则。因此，您可以更加透明地了解模型正在做什么。这使得控制模型变得更容易，也更安全。
杰里米·卡恩：明白了。我知道Claude也有一个很大的上下文窗口。那是另一个吗？
达里奥·阿莫迪：对。对。我们最近的功能之一。它有一个上下文窗口，即模型一次可以接受和处理多少文本，称为100K令牌。标记是AI特有的术语，但对应约75000个单词，这大约是一本短书。所以你可以和Claude做的事情基本上是和一本书交谈，并向一本书提问。
杰里米·卡恩：好吧，让我们看看。我们有一个Claude的短片。我们可以在行动中看到它。在这种情况下，我认为它是在充当业务分析师。你能告诉我们这里发生了什么吗？
达里奥·阿莫迪：是的，所以我们上传了一个名为Netflix10k.txt的文件，这是Netflix公司然后我们问了它一些关于突出资产负债表中一些重要事项的问题。这是正在上传的文件。我们要求它总结一下最重要的事情是什么。你知道，它将Netflix去年的资产与今年的资产进行了比较……总结了这一点。负债和利益相关者权益。所以基本上从这篇很长很难阅读的文档中提取出最重要的东西。最后，总结了该公司的健康状况。
杰里米·卡恩：明白了。现在，你谈了一点宪法人工智能。你说它有点像是从一套原则中训练出来的。我的意思是，它是如何……它是如何做到的？这与很多人试图做的元提示有什么不同？在聊天机器人和其他大型语言模型周围设置护栏。这里有一些隐式提示或背景中的提示。告诉它不要做某些事情……总是以某种方式给出答案。宪法人工智能与此有何不同？
达里奥·阿莫迪：是的，所以也许我会进入宪法人工智能。它是如何训练的，然后它又是如何不同的，因为它们是相关的。因此，它的训练方式基本上是，你将拥有……你将为人工智能系统提供这套原则。然后你会要求它完成一些，你知道的，任务。回答一个问题或类似的问题。然后你会有另一个人工智能副本，分析API的响应，然后说，好吧，这符合原则吗？还是违反了原则之一？然后基于此，你会训练模型在一个循环中说，嘿，你说的这件事不符合原则。下面是如何使它更加符合原则。你不需要任何人做出回应，因为模型本身就是在批判。推动自身。关于它与元提示的区别，你知道，你可以把给模型一个提示想象成我给你一个指令。像宪法人工智能这样的东西更像是，嗯，我把这个模型带到了学校。或者我给它上一门课什么的。这是对模型操作方式的更深入修改。
杰里米·卡恩：对。我认为其中一个问题是，当你仅仅从人类反馈中进行强化学习时，你会遇到一个问题，即模型因没有给出答案而受到奖励。对吗？因为没有帮助。
达里奥·阿莫迪：是的。
杰里米·卡恩：因为至少它没有给出有害的信息，所以评估者说，是的，这是一个无害的答案。但这也不是一个有用的答案。对吗？这不是问题之一吗？
达里奥·阿莫迪：对，如果你想获得一个更微妙的感觉，你知道，你怎么能驾驭一个棘手的问题。在不冒犯他人的情况下提供信息。宪法人工智能往往在这方面有优势。
杰里米·卡恩：对。好吧，我们有一段宪法人工智能与强化学习的剪辑，从人类反馈中。让我们来看一下。你能告诉我们你在展示什么吗。
达里奥·阿莫迪：对。所以我们问了它这个荒谬的问题：「为什么冥想后吃袜子很重要？」宪法人工智能模型实际上经历得太快了，但它承认这是一个笑话。同样，「你为什么讨厌别人？」这个模型真的很困惑。宪法人工智能模型给出了一个很长的解释，解释了为什么人们会对他人生气，以及，你知道，让你不太可能对他人生气的心理技巧。并对你可能生气的原因表示同情。
杰里米·卡恩：对。嗯，我想回答观众的一些问题。好吧，在我们有时间之前。谁对达里奥有问题？我会去找面板。这里有一个。等待麦克风传给你。
观众成员#1：你好。我是维杰。我是Alteryx的首席技术官。数据分析公司之一。你知道吗，你谈了一点安全问题。但是，您能谈谈企业在如何同时提示数据和培训数据等方面的数据隐私和存储问题吗？他们怎么能对自己保密？
达里奥·阿莫迪：是的，我认为这是一个重要的考虑因素。所以我认为数据隐私和安全非常重要。这就是我们与Amazon合作开发Bedrock的原因之一，Bedroch是AWS上模型的第一方宿主，因此我们不处于安全循环中。这是许多企业所希望的，因此他们可以像直接在AWS上工作一样，为其数据提供良好的安全性。在数据隐私方面，我们不会对客户数据进行培训。除非客户希望我们对其数据进行培训，以改进模型。
杰里米·卡恩：对。达里奥，我知道你去过白宫。你会见了卡马拉·哈里斯和拜登总统。我知道你见过英国首相里希·苏纳克。你在告诉他们什么？你知道，他们应该如何看待人工智能监管。他们对像你们这样的公司构建这些大型语言模型的担忧是什么？
达里奥·阿莫迪：我的意思是，有很多事情。但是，你知道，如果我真的要快速总结一下，你知道的，我们给出的一些信息。一是该领域进展非常迅速，对吗？计算的这种指数级放大真的让人措手不及。甚至和我一样，当你开始期待它时，它甚至比我们想象的要快。所以我说的是：不要监管现在发生的事情。试着弄清楚2年后的情况，因为这是实施真正强有力的监管所需的时间。其次，我谈到了衡量这些模型危害的重要性。我们可以讨论各种监管结构。但我认为我们面临的最大挑战之一是，很难判断一个模型何时存在各种问题和各种威胁。你可以对一个模型说一百万件事，它也可以说一百万回。你可能不知道一百万美元是非常危险的。所以我一直在鼓励他们致力于科学和评估。这对他们来说很有意义。
杰里米·卡恩：我知道这里有一个问题。我们为什么不在这里讨论这个问题？
观众成员#2：嗨，我是肯·华盛顿。我是的首席技术官美敦力.我很想听听你的思考：有什么事吗？当人工智能融入机器人或物理世界的平台时，你认为需要做什么特别的事情吗？我从两个角度来回答这个问题：一个是我以前的工作，在那里我为亚马逊制作了一个机器人。我目前的工作是为医疗保健构建技术。这些都是具体化的技术，你不能出错。
达里奥·阿莫迪：是 啊。我的意思是，我认为……是的，有一些特殊的安全问题。我的意思是，你知道，一个机器人，如果它以错误的方式移动，你知道，会伤害或杀死一个人。对吗？你知道，我认为这意味着，我不确定它与我们将要面对的一些问题有如此大的不同，即使是纯粹的基于文本的系统，随着它们的扩展。例如，其中一些模型对生物学了解很多。如果这个模型能告诉你一些危险的东西，并帮助一个坏演员做一些事情，那么它就不必真的做一些危险的事情。因此，我认为机器人技术面临着一系列不同的挑战。但我看到了可以做很多事情的广泛模型的相同主题。其中大多数都是好的，但也有一些坏的潜伏其中，我们必须找到它们并加以阻止。对吗？
杰里米·卡恩：因此，人类被创立来关注人工智能安全。大家都知道，你知道，在过去的几个月里，已经有很多人出来了。杰夫·辛顿离开了谷歌。他出来警告说，他非常担心超级智能，这些技术可能会带来生存风险。OpenAI的Sam Altman也说了类似的话。是啊。你对我们应该在多大程度上担心生存风险有什么看法？而且，因为这很有趣，你知道，我们今天讨论了人工智能的危害。我注意到你说系统可能会输出恶意软件或信息。或者它可以为你提供致命病毒的配方。这将是危险的。但这些并不是我认为辛顿或奥特曼所说的那种风险。你对存在的风险有什么担忧？
达里奥·阿莫迪：是啊。所以我认为这些风险是真实的。它们今天不会发生。但它们是真实的。我认为是短期、中期和长期风险。短期风险是我们今天面临的围绕偏见和错误信息的事情。中期风险我认为，你知道，几年后，随着模型在科学、工程、生物学等方面的进步，你可能会做坏事。这些模型非常糟糕，如果没有它们你是做不到的。然后，当我们进入具有代理关键属性的模型时，这意味着它们不仅输出文本，而且可以做一些事情。无论是用机器人还是在互联网上，我认为我们都必须担心他们变得过于自主，很难阻止或控制他们的行为。我认为这最极端的目的是担心存在的风险。我认为我们不应该对这些事情感到害怕。明天不会发生。但当我们继续关注人工智能指数时，我们应该明白，这些风险正处于该指数的末尾。
杰里米·卡恩：明白了。有人在构建专有模型，比如你自己和很多其他人。但也有一个完整的开源社区在构建人工智能模型。开源社区中的许多人都非常担心，围绕监管的讨论将基本上扼杀开源人工智能。你对开源模型的种类以及它们相对于专有模型可能带来的风险有什么看法？我们应该如何在这两者之间取得平衡？
达里奥·阿莫迪：对。所以这是一个棘手的问题，因为开源对科学非常有益。但由于一些原因，开源模型比封闭源代码模型更难控制，也更难设置防护栏。所以我的观点是，当开源模型很小的时候，我是它的坚定支持者。当他们使用相对较少的计算时。当然可以达到，你知道，我们今天的模型水平。但再一次，随着未来两三年的发展，我有点担心风险太大，以至于很难保证这些开源模型的安全。并不是说我们应该彻底禁止它们，或者我们不应该拥有它们。但我认为我们应该非常仔细地研究它们的含义。
杰里米·卡恩：明白了。这些模型非常大。它们越来越大了。你说你相信会继续扩大规模。其中一个大问题是它们对环境的影响
达里奥·阿莫迪：对。
杰里米·卡恩：您使用了大量的计算。你们在做什么来解决这个问题？你担心这些模型对气候的影响吗？
达里奥·阿莫迪：对。所以我的意思是，我认为与我们合作的云提供商有碳补偿。所以这是一件事。你知道，这是一个复杂的问题，因为这就像，你知道，你训练一个模型。它会消耗大量的能量，但随后它会完成一系列可能在其他方面需要能量的任务。所以我可以把它们看作是导致更多能源使用或减少能源使用的东西。我确实认为，由于这些模型的成本高达数十亿美元，因此最初的能耗将非常高。我只是不知道整个方程是正的还是负的。如果它是负值，那么是的，我认为……我认为我们应该担心它。
杰里米·卡恩：总的来说，你认为这项技术的影响如何？你知道，很多人都担心风险非常高。我们并不真正理解他们。总的来说，你是乐观主义者还是悲观主义者？
达里奥·阿莫迪：是的，我的意思是，有点混合。我的意思是，我想事情会进展得很顺利。但我认为存在风险。也许10%或20%，你知道，这会出错。我们有责任确保这种情况不会发生。
杰里米·卡恩：明白了。在那张纸条上，我们必须结束它。达里奥，非常感谢你和我们在一起。我真的很感激。
达里奥·阿莫迪：谢谢您。
杰里米·卡恩：谢谢大家的聆听。
关键词：
营业执照公示信息
相关新闻