GPT-4 已经到来

发布时间：2023-06-14 15:19:11

ChatGPT在技术领域取得突破后，人们一直在讨论AI的下一步是什么。好吧，我们并没有等太久，因为 OpenAI 今天下午发布了多模态预

ChatGPT在技术领域取得突破后，人们一直在讨论AI的下一步是什么。好吧，我们并没有等太久，因为 OpenAI 今天下午发布了多模态预训练模型 GPT-4。
GPT-4 最令人兴奋的方面之一是其多模式方法（图像和文本输入、文本输出），它在功能和对齐方面都有显着进步。

GPT-4 的发布非常全面，有 98 页的技术报告、60 页的系统卡片、API 候补名单和令人印象深刻的演示视频。

网站
阅读论文
查看系统卡
试用 ChatGPT Plus
加入 API 候补名单
重新观看开发者演示直播
为 OpenAI 评估做出贡献

本文总结了 GPT-4 的功能、一些技术细节以及如何使用 GPT-4。

能力

GPT-4的核心优势在于其处理复杂指令的能力，具有超越前一版本的高度理解力和创造力。OpenAI 进行了一系列实验，以展示 GPT-4 在处理具有挑战性的任务时的能力有多大。

GPT-4 大大优于现有的语言模型，以及以前最先进的系统，这些系统通常具有特定于基准的制作或额外的培训协议。

作者将 MMLU (Massive Multi-task Language Understanding) 基准翻译成多种语言，GPT-4 不仅在英语方面优于现有语言模型，而且在大多数语言中都优于现有语言模型，包括拉脱维亚语、威尔士语等资源匮乏的语言和斯瓦希里语。

GPT-4 接受文本和图像形式的提示，允许用户指定任何视觉或语言任务。例如，给定一张看起来很奇怪的充电器的图像，然后问 GPT-4 为什么它很有趣。

这是另一个 GPT-4 视觉输入示例。逐步解决 École Polytechnique 物理考试中的问题。

以下海盗以莎士比亚风格解释税收的示例展示了 GPT-4 中令人印象深刻的组合水平。

一些技术细节

1.使用 RLHF 预训练和微调的 Transformer 模型

与 GPT-3 和 ChatGPT 一样，GPT-4 是一种经过预训练的 Transformer 样式模型，可使用公开可用数据（例如互联网数据）和第三方提供商许可的数据来预测文档中的下一个标记。然后使用人类反馈强化学习 (RLHF)对该模型进行微调。
RLHF 是一种训练 AI 代理从人类提供的反馈中学习的方法。在这种方法中，人类以奖励或惩罚的形式向 AI 代理提供反馈，而不是依赖于预编程的规则或算法。RLHF 允许 AI 代理从人类偏好中学习。通过结合人类反馈，RLHF 使 AI 代理能够随着时间的推移调整和改进他们的行为，从而导致更有效和高效的决策。

2.可预测的扩展

可预测的缩放是指深度学习堆栈以可预测的方式进行缩放的能力，并且与正在训练的模型的大小成正比。在 GPT-4 项目的案例中，重点是开发一个可以预测扩展的深度学习堆栈，因为像 GPT-4 这样的非常大的训练运行进行广泛的特定于模型的调整是不可行的。为了应对这一挑战，OpenAI 开发了基础设施和优化方法，这些方法在多个尺度上具有非常可预测的行为，使他们能够从使用少 1000-10000 倍的计算量训练的较小模型可靠地预测 GPT-4 性能的某些方面。
这意味着他们可以使用训练完整 GPT-4 模型所需的一小部分计算资源来预测其在一定规模下的性能，而不是花费时间和资源训练大型模型来探索模型的行为。目标是实现可预测的缩放，以便可以更有效地开发和训练更大的模型，从而产生更高级的语言模型。
OpenAI 尚未发布有关架构、硬件、训练计算、训练方法等的更多细节。