跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

7 条精选近 30 天 6 条共收录 34 条

更新

部署工程的精选

10月8日周四第 1–7 条
  1. AWS Machine Learning Blog62

    AWS 上线 Claude Haiku 5.5

    AWS 宣布 Claude Haiku 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上可用,据 Anthropic 称它是 Claude 5.5 家族中速度最快、最高效的模型,面向子智能体和高并发、成本敏感任务,多数任务成本比 Claude Haiku 4.5 低约 75%。

    推荐理由:AWS 官方给出 Haiku 5.5 的定位、成本降幅与调用方式,读者可据此判断它在多智能体分层中的分工。

  2. GitHub Blog · AI & ML62

    GitHub 推出基于 ModernBERT 的通用密钥检测模型,扩展 push protection

    GitHub 发布与 Microsoft Applied Sciences 联合微调的 ModernBERT 分类器,用代码上下文识别无固定格式的密钥,可在 2 毫秒内评估一批候选密钥,据称能把可拦截的密钥数量提升一倍以上。

    推荐理由:GitHub 用九个季度数据说明密钥泄露与开发速度的失衡,并给出把检测前移到 push 环节的模型方案。

  3. Microsoft Research69

    微软研究院开源 Agent Lightning v1.0:约 3500 行的轻量级智能体 RL 框架

    微软研究院开源 Agent Lightning v1.0,这是一个约 3500 行代码的轻量级智能体 RL 框架,提出 Harnessed Agentic RL 训练范式,让部署时使用的同一套 agent harness 直接参与强化学习,无需在训练框架内重新实现智能体。

    推荐理由:微软研究院开源 Agent Lightning v1.0,用约 3500 行代码把真实 harness 直接接入 RL 训练,并给出可复现的编码智能体训练结果。

9月24日周四
  1. Microsoft Research62

    微软研究院:把物理 AI 推理卸载到边缘或云端可提升机器人性能与续航

    微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,可提升任务成功率、支持更大模型并延长电池续航。

    推荐理由:微软研究院系统测量了机器人端侧推理的瓶颈,并给出可复用的卸载工具链,读者可据此判断物理 AI 的部署取舍。

7月29日周三
  1. Berkeley AI Research62

    从 CUDA 到 MLX:K-Search 如何把内核优化经验带到 Apple Silicon

    Berkeley AI Research 与 IBM Research 将 K-Search 进化式内核搜索框架扩展到 MLX,通过结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核成为知识库并适配为 Apple Silicon 内核。

    推荐理由:K-Search 把 CUDA 内核优化经验迁移到 Apple Silicon,读者可看到跨平台内核迁移的具体方法与实测数据。