微软研究员 Jennifer Neville 谈 AI 的意外失败与评估边界
微软 partner research manager Jennifer Neville 在 Microsoft Research Podcast 中讨论评估如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的经历,分享与当前 AI 系统协作的实用建议,并强调当结果偏离预期时应仔细审视数据。
微软 partner research manager Jennifer Neville 在 Microsoft Research Podcast 中讨论评估如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的经历,分享与当前 AI 系统协作的实用建议,并强调当结果偏离预期时应仔细审视数据。
GitHub Copilot 提出 chat 大多数时候是错误的 AI 交互界面,主张用 canvas——运行在 GitHub Copilot app 内的全栈小应用,可与 agent 双向通信并调用本地代码。