山姆·奥特曼 · AI 算力与规模化
RLHF 能用相对很少的人类反馈数据，显著提高基础模型的实用性；但这部分科学仍比预训练更不成熟。
嘉宾观点 · 忠实转述
他描述用人类对两个输出的偏好进行强化学习，并指出基础模型即使评测表现好、能够通过测试，也不容易使用。
延伸分析 由 AI 生成
如果少量反馈就能改善实用性，反馈质量可能成为模型开发的重要投入，但方法成熟度仍需验证。
相关领域：模型训练
后续观察
- 反馈质量
- 真实任务效果
相关问题
同题历史与不同人物的表达
预训练与强化学习的规模化收益，是否仍可由共同的训练要素解释？ →
限于算力、数据数量与分布、训练时长、目标函数、数值稳定性以及预训练和多类强化学习任务中的观察；不推断能力上限。
当前观点关系：补充背景
达里奥·阿莫迪
Amodei 仍坚持“大块算力假说”：可扩展训练的核心是算力、数据数量与分布、训练时长、目标函数和数值稳定性，巧妙的新技巧相对次要。
查看这条观点 →达里奥·阿莫迪
Amodei 表示，预训练仍在带来收益，Anthropic 也在多种强化学习任务中观察到类似的规模化进展。
查看这条观点 →达里奥·阿莫迪
Amodei 认为，构建大量强化学习环境的目标是让模型泛化，并非穷举教授每一种技能；任务分布变广后，泛化能力有望增强。
查看这条观点 →黄仁勋
黄仁勋回忆，NVIDIA 很早就相信深度学习可以扩展：增大数据集和模型会继续改善效果，而研究者的互动与不断出现的论文强化了这一信念。
查看这条观点 →山姆·奥特曼
RLHF 能用相对很少的人类反馈数据，显著提高基础模型的实用性；但这部分科学仍比预训练更不成熟。
查看这条观点 →
讨论
还没有公开评论。
Web 当前为匿名只读，可在受邀小程序中参与讨论。