微软研究员 Jennifer Neville 谈 AI 的意外失败与评估边界
微软 partner research manager Jennifer Neville 在 Microsoft Research Podcast 中讨论评估如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的经历,分享与当前 AI 系统协作的实用建议,并强调当结果偏离预期时应仔细审视数据。
微软 partner research manager Jennifer Neville 在 Microsoft Research Podcast 中讨论评估如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的经历,分享与当前 AI 系统协作的实用建议,并强调当结果偏离预期时应仔细审视数据。
GitHub Copilot 提出 chat 大多数时候是错误的 AI 交互界面,主张用 canvas——运行在 GitHub Copilot app 内的全栈小应用,可与 agent 双向通信并调用本地代码。
GitHub Podcast 最新一期拆解了五个 AI 开发热梗:AI 生成的代码仍需阅读和负责,只是审查力度应按风险分级;Skills 与 MCP 解决不同问题,前者是打包的团队经验,后者是智能体连接工具和数据的标准协议,二者可组合使用。RAG 并未死亡,检索能让模型从训练数据之外获取文档、内部知识和代码库上下文,减少 token 浪费并降低答案不完整的概率。
UC Berkeley 团队提出"智能免费"时代数据系统面临三大挑战:为智能体设计的数据系统、由智能体运行的数据系统、以及由智能体合成的数据系统。GPT-4 级能力从 2023 年初的约 $30/百万 token 降至如今不到 $1,部分厂商已低于 $0.10,推理价格年降幅在 9x 到 900x 之间,中位数约 50x。