Hugging Face Blog·· 2026-07-16精选AI 评分63
IBM 在智能体路由中发现的三个反直觉问题
Model Routing Is Simple. Until It Isn’t.
AI 导读
IBM 在将路由嵌入智能体时发现,把模型选择当成分类问题会出错。首先,缓存会让定价低的模型反而更贵,AppWorld 测试中 GPT-4.1 是 Claude Sonnet 4.6 的近两倍。其次,任务难度在执行前不可见,且合规和可用性让路由成为多目标权衡。再次,延迟取决于基础设施和路由粒度。他们的算法把路由变成同时优化成本、质量和延迟的轻量的优化问题,而非只挑最合适的模型。
推荐理由
从实际成本、复杂度和延迟三个维度纠正路由直觉,给出一套可操作的优化配置边界。
来源:Hugging Face Blog · huggingface.co