达里奥·阿莫迪 · AI 算力与规模化
Amodei 认为,模型已经通过上下文具备有限的持续学习能力,问题是如何增强,而非从完全没有开始;他提出扩大上下文、专门训练上下文学习,乃至在使用上下文时更新权重等可能路径。
嘉宾观点 · 忠实转述
模型能吸收对话上下文,而这些候选方案与现有方法相近,因此他不把持续学习不足视为已被证明的根本障碍。
他的未来判断
他预计上下文最终可能达到一亿 token,并认为多种相近技术思路或能带来更强持续学习,但没有声称这些方案已经实现。
延伸分析 由 AI 生成
若这些路径能让模型稳定吸收长期工作经验,企业定制与长期任务能力可能提高;上下文长度本身仍不能证明持久学习有效。
相关领域:持续学习能力
后续观察
- 跨任务知识保留效果
- 超长上下文中的学习与遗忘表现
讨论
还没有公开评论。
Web 当前为匿名只读,可在受邀小程序中参与讨论。