作者 李冬梅、核子可乐
近日，OpenAI 创始人Sam Altman与 Humanloop CEO Raza Habib 以及其他 20 位开发者面对面进行了一场闭门交流，交流中他们讨论了 OpenAI 的近况与未来的规划。HumanLoop 是一家帮助开发者在大语言模型上构建应用的公司。
有参加了此次交流会的开发者表示，因为这是闭门交流会，所以 Altman 在交谈中表现出了开放的心态，讨论内容既涉及开发者面临的实际问题，也延伸到了商业竞争、AI 监管和开源等问题。
此次对话的重点内容被 Raza Habib 记录了下来并公布在了网络上。但随后，应OpenAI的要求，此内容已被删除。然而，这一删帖的举动引发了外界的强烈好奇和质疑。
有网友表示：“一家从互联网上收集信息做产品的公司，居然要求从互联网上‘删除’一篇文章，这种行为真的很讽刺。”
外界纷纷猜测OpenAI删帖的原因，在 HackNews 上，一位现场的参会者认为之所以删帖是因为 OpenAI 不希望在公开场合谈论一些公司重点规划。
也有网友认为，OpenAI 这种行为有炒作的嫌疑，毕竟 GPU 不足已经不再是什么秘密了，看看英伟达的股价就知道了。
OpenAI 也严重依赖 GPU在 Altman 与 Raza 的讨论中证实，目前 OpenAI 正受到GPU资源的严重限制，导致不少短期计划已经推迟。几家大客户还抱怨了 API 的可靠性和速度表现。Altman 认同这些意见，并解释称主要问题源自 GPU 供应不足。
更长的 32k 上下文还无法全面推广。OpenAI 还没能克服 O(n^2)注意力扩展问题，所以尽管 10 万到百万级 token 的上下文窗口预计将在今年内实现，但进一步扩展还需要突破性研究的加持。
微调 API 目前同样受到 GPU 资源的限制。因为还没用上 Adapters 或 LoRa 等高效微调方法，所以 OpenAI 的微调运行和管理仍须占用大量算力。未来微调的支持效果会更好，OpenAI 甚至可能为社区贡献模型设立专门的市场。
专用容量产品也无法独善其身。OpenAI 目前提供专用容量，为客户提供模型的私有副本。但要获取这项服务，客户需要预先支付 10 万美元。
在大语言模型和AIGC大爆发后，各 AI 企业对于 GPU 的需求比以往任何事时候都要紧迫。英伟达的高端 GPU 芯片价格已经达到了每片数万美元，AI 基础设施公司正在以数万台的价格购买它们。
马斯克也曾表示他已经为他的新 AI 初创公司 X.AI 购买了 3 万多块英伟达的 H100 GPU 芯片，每个价格超过 3 万美元。此外，Meta 和微软已经是今年英伟达GPU 的最大买家之一（Meta 可能排名第一，因为Facebook、Instagram、WhatsApp 和 Messenger 应用程序中有很多 AI 增强的东西要用到 GPU）。
这就是为什么从 Sam Altman 会表示 OpenAI 也很缺 GPU 的原因。Sam Altman 也曾在媒体采访中公开强调过 GPU 的可用性如何影响 OpenAI 今年及以后的计划。
OpenAI 的短期路线图除了强调 GPU 的重要性外，Altman 还分享了 OpenAI 的 API 近期路线图（暂定）。
Altman 表示，2023 年是 OpenAI 发展的重要一年，他们有一些令人兴奋的计划和目标。
价格更低、速度更快的 GPT-4——这将是 OpenAI 接下来的首要任务。总体而言，OpenAI 希望尽可能降低“智能实现成本”，因此将随时间推移不断控制 API 价格。更长的上下文窗口——在不久的未来，上下文窗口将扩展至高达百万 token。微调 API——微调 API 将被扩展至最新模型，但具体形式还是要根据开发者的实际需求来决定。有状态 API——如今在我们调用聊天 API 时，需要反复提交相同的对话历史并一次又一次为相同的 token 付费。未来，OpenAI 将发布能够记住对话历史记录的 API 版本。2024 年将是 OpenAI 全面拥抱多模态性的一年。GPT-4版本就演示了一部分多模态功能。这意味着模型将能够处理多种类型的输入数据，例如文本、图像、音频和视频。但在 GPU 资源匮乏问题得到缓解之前，这项功能还无法面向所有用户开放。插件“尚未完成市场匹配”，可能不会很快出现在 API 中不少开发人员都想通过 API 访问 ChatGPT 插件，但 Altman 表示这类插件在短期内不会发布。除了浏览等简单场景之外，插件的实际使用情况表明还没有找到理想的产品市场契合点。在他看来，很多人说是希望在 ChatGPT 中开发应用，但真正想要的其实是把 ChatGPT 纳入他们的应用。
OpenAI 承诺不会动客户的“奶酪”不少开发人员担心 OpenAI 最终可能发布与其产品构成竞争关系的新成果，所以在使用 OpenAI API 做开发时颇感紧张。Altman 强调 OpenAI 不会发布除ChatGPT以外的其他产品。
Altman 承认做平台的巨头企业确实掌握着不少杀手级应用程序，而 ChatGPT 的目标是把这些企业转化成客户来改进 API。ChatGPT 只想成为工作场景下的超级智能助手，OpenAI 也不会涉足众多其他 GPT 用例。
需要监管，但也需要开源虽然 Altman 呼吁对未来的模型加以监管，但他觉得当前的模型并没有什么风险，并认为粗暴监管甚至封禁绝对是个大错误。他重申了自己对于开源重要意义的信念，并表示 OpenAI 正在考虑开源 GPT-3 模型。之所以目前还没有开源，主要原因是他担心绝大多数个人和企业都没有能力托管和运行这种大语言模型。
扩展定律仍然成立最近，不少文章宣称“超大规模 AI 模型的时代已经终结”，Altman 对此做出了纠正。
OpenAI 的内部数据表明，模型性能仍然遵循扩展定律（The scaling laws），即扩大模型规模将带来更高的性能。问题在于扩展的速度将无法维持，因为 OpenAI 在短短几年内已经把模型放大了数百万倍，而这显然不是一条能够长期走下去的道路。
OpenAI 仍会继续打造出体量更大的模型，只是具体规模可能每年增加 1 到 3 倍，而不再像之前那样迅速跨越几个数量级。
扩展定律仍然有效这一事实，对于 AGI（通用人工智能）的发展时间表有着重大影响。扩展定律其实是一种假设，即我们可能已经拥有了建立 AGI 所需要的大部分底层技术，剩余工作只是运用现有方法并扩展出更大的模型和数据集。如果扩展时代就此结束，那我们也许得重新探索通往 AGI 的前进方向。好在定律仍在，很大程度上预示着 AGI 横空出世的时间也许已为期不远。
参考链接：
https://web.archive.org/web/20230531203946/https://humanloop.com/blog/openai-plans
本文转载来源：https://www.infoq.cn/article/xZaNyw2QsZcxmNXUvkZv
