ChatGPT的技术路线

---

ChatGPT的技术路线

基于 GPT-3.5GPT-4 预计提升更明显

ChatGPT 是基于 GPT-3.5 的主力模型。在互联网开源数据集上进行训练引入人工数据标注和强化学习两项功能实现“从人类反馈中强化学习”。相比之前的模型ChatGPT 可以更接近人类思考的方式根据上下文和情景模拟人类的情绪和语气回答用户提出的问题。OpenAI 首席执行官称GPT-4 有望成为多模态的人工智能。GPT-4 的参数预计更大计算模型优化有望实现更优化且 GPT-4 将是纯文本模型更具备“拟人化”的功能。文本生成和内容创作有望更加丰富并有望进入文字工作的相关领域例如新闻、金融等相关行业。

GPT、Bert 均源自 Transformer 模型

NLP 模型首选——Transformers。2017 年由 Google Brain 团队推出深度学习模型 Transformer采用自注意力机制对输入数据的每一部分的重要性进行差异加权主要用于自然语言处理(NLP) 和计算机视觉(CV)领域。BERT(Bidirectional Encoder Representations from Transformers )为谷歌于 2018 年推出的一种基于神经网络的 NLP 预训练技术BERT 在情绪分析和回答问题等分类任务中表现良好在命名实体识别和下一句预测方面也表现出色。ChatGPT 同样是根据语言/语料概率来自动生成回答的每一个字词语即利用已经说过的语句作为输入条件预测下一个时刻语句出现的概率分布。

领先的 NLP 模型

ChatGPT 是一个出色的 NLPNatural language processing-自然语言识别新模型。NLP 随算力增长突破在过去的十年里通过使用简单的人工神经网络计算基于以 GPU、TPU 为代表的强大算力资源并在巨量的数据上进行训练自然语言处理NLP取得了令世人瞩目的成就和突破。自然语言处理最重要的进步在于它对书面文本的分析能力。

RLHF 与 TAMER 是重要架构支撑

• RLHFInstructGPT/GPT3.5ChatGPT 的前身与 GPT-3 的主要区别在于新加入了被称为 RLHFReinforcement Learning from Human Feedback人类反馈强化学习。
• 循环训练范式增强了人类对模型输出结果的调节整个训练过程是人类、代理对目标的理解和 RL 训练之间的 3 步反馈循环。
• 在 InstructGPT 中以下是“goodness of sentences”的评价标准。真实性是虚假信息还是误导性信息无害性它是否对人或环境造成身体或精神上的伤害有用性它是否解决了用户的任务

TAMERTraining an Agent Manually via Evaluative Reinforcement评估式强化人工训练代理框架将人类标记者引入到 Agents 的学习循环中可以通过人类向 Agents 提供奖励反馈即指导Agents 进行训练从而快速达到训练任务目标。通过 TAMER+RL强化学习借助人类标记者的反馈能够增强从马尔可夫决策过程(MDP) 奖励进行强化学习 (RL) 的过程。

我们的 ChatGPT 模型是基于 GPT-3.5并添加了 RLHF 的支持。我们相信这个模型将在未来的 NLP 领域发挥重要作用为人类带来更多便捷和创造价值。