黄仁勋 · 推理与测试时扩展
黄仁勋预计，未来 AI 回答问题时会反复推理，可能使用树搜索、迭代和自我反思，在给出答案前执行上百或上千次推理，以提高答案质量。
嘉宾观点 · 忠实转述
更多推理步骤可能改善答案，但也增加计算需求；因此他希望降低成本，让这类推理维持以往的成本和响应水平。
他的未来判断
未来推理服务可能在输出前执行多轮内部计算；NVIDIA 的目标是在增加推理能力的同时保持成本与响应体验。
延伸分析 由 AI 生成
若多轮推理带来的质量收益足以抵消额外计算，服务可能扩大使用推理计算；成本、延迟与任务正确率需要共同评估。
后续观察
- 多轮推理的任务正确率
- 每次任务的计算成本与延迟
讨论
还没有公开评论。
Web 当前为匿名只读，可在受邀小程序中参与讨论。