2025_NIPS_Cost-Aware Contrastive Routing for LLMs

张开发
• 2026/4/17 23:11:27 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

2025_NIPS_Cost-Aware Contrastive Routing for LLMs
文章核心总结与翻译一、主要内容文章聚焦大型语言模型（LLM）的成本感知路由问题，提出Cost-Spectrum Contrastive Routing（CSCR）框架，解决现有路由方法忽视提示特异性、依赖昂贵模型分析、难以适配动态模型池等缺陷。通过将提示与模型映射到共享嵌入空间，实现快速、成本敏感的模型选择，在多个基准测试中显著优化准确率-成本权衡，并对未见过的LLM和分布外提示具有强鲁棒性。二、核心创新点通用超紧凑描述符：提供两种轻量快速的模型指纹——适用于开源模型的logit足迹（仅需不到10次前向传播）和适用于黑盒API的困惑度指纹（通过小型公共LM评分），实现跨模型类型兼容。成本谱对比目标（Cost-Spectrum InfoNCE）：在自适应成本带内选择正确正样本，为每个成本带分配专属温度参数，并按成本比例降低负样本权重，使学习到的度量与准确率-成本帕累托前沿对齐。高效路由机制：共享嵌入空间将路由转化为单次k近邻查询，通过FAISS索引实现微秒级延迟，模型池变化时无需重新训练，避免脆弱的softmax门控。强泛化能力：在开源模型和专有API组成的多基准测试中，准确率-成本效率提升高达25%，对未见过的模型和分布外提示表现出稳健的适应性。三、关键部分翻译（Markdown格式）

更多文章