penAI 透露未来路线图开源GPT-3翻倍模型规模整更多GPU

penAI 透露未来路线图:开源GPT-3、翻倍模型规模、整更多GPU

OpenAI CEO Sam Altman 与AI开发平台 HumanLoop 创始人 Raza Habib 等20多位开发者开展了一次闭门讨论会,透露了 OpenAI 很多未来规划与目前的情况。

1. OpenAI 正在考虑开源 GPT-3,他们之所以还没有开源是因为他们觉得没多少人和公司有能力妥善管理如此大型的大语言模型。

2. OpenAI 严重受限于GPU,导致他们推迟了许多短期计划,大部分关于 ChatGPT 可靠性和速度的问题都是由于GPU资源短缺造成。

3. 给 GPT-4 降本提效是 OpenAI 当前的首要任务。

4. 更长的 ChatGPT 上下文窗口 (最高可达100万 tokens)。

5. GPT-4 的多模态功能要到2024年才会公开,在获取更多GPU资源前不能将 GPT-4 的视觉版本扩展到所有人。

6. 最近很多文章声称的「巨型AI模型的时代已经结束」并不正确,OpenAI 内部数据表明,规模与性能成正比的定律仍成立,OpenAI 未来每年会将模型规模翻倍或三倍 (多方信息表明 GPT-4 参数规模10000亿)。