跳到正文
原文
Hugging Face Blog·· 2026-07-16精选AI 评分63

IBM 在智能体路由中发现的三个反直觉问题

Model Routing Is Simple. Until It Isn’t.

AI 导读

IBM 在将路由嵌入智能体时发现,把模型选择当成分类问题会出错。首先,缓存会让定价低的模型反而更贵,AppWorld 测试中 GPT-4.1 是 Claude Sonnet 4.6 的近两倍。其次,任务难度在执行前不可见,且合规和可用性让路由成为多目标权衡。再次,延迟取决于基础设施和路由粒度。他们的算法把路由变成同时优化成本、质量和延迟的轻量的优化问题,而非只挑最合适的模型。

推荐理由

从实际成本、复杂度和延迟三个维度纠正路由直觉,给出一套可操作的优化配置边界。

来源:Hugging Face Blog · huggingface.co