图片来源：VentureBeat 使用 DALL-E 3 生成
随着企业越来越多地采用 AI 技术，它们面临着一个关键挑战：如何在优化性能和成本的同时自动为每项任务选择最佳 AI 模型。进入模型路由，这是一种尖端方法，它正迅速成为最大化企业 AI 效率的秘密武器。
模型路由技术允许企业根据每个查询动态选择最合适的 AI 模型，这可能会彻底改变企业利用 AI 资源的方式。与依赖单一通用模型相比，这种方法不仅可以提高性能，还可以显著降低成本。
地理位置智能对营销人员的强大作用
走在这项技术前沿的一家初创公司是Martian，该公司开发了一种大型语言模型 (LLM) 路由器，引起了科技行业主要参与者的关注。事实上，全球专业服务公司埃森哲 (Accenture ) 最近宣布对 Martian 进行投资，凸显了模型路由在企业 AI 战略中日益增长的重要性。
埃森哲计划将 Martian 整合到其交换机服务中，帮助企业选择模型。Martian 于 2023 年 11 月脱颖而出，并在过去一年中稳步发展其技术。除了埃森哲的部署外，该公司还将在其路由器平台中推出一项新的 AI 模型合规性功能。
到目前为止，埃森哲总机已帮助各组织选择企业部署模型。Martian 为该组合添加了动态路由至最佳模型的功能。
Martian 联合创始人 Shriyash Upadhyay 告诉 VentureBeat：“我们可以自动选择正确的模型，甚至不是根据每个任务，而是根据每个查询。这可以降低成本并提高性能，因为这意味着你不必总是使用单一模型。”
埃森哲首席人工智能官关兰在一份声明中表示，埃森哲的许多客户都希望通过考虑需求、性能和成本的方式来获得生成人工智能的好处。
关先生表示：“埃森哲的交换机服务和 Martian 的动态 LLM 路由功能简化了用户体验，并允许企业尝试生成式 AI 和 LLM，以找到最符合其业务需求的解决方案。”
Martian 如何将企业 AI 查询路由至最佳模型
Martian 构建了模型路由器，可以动态选择针对给定查询使用的最佳模型。
路由器背后的核心技术专注于预测模型行为。
“我们采取了一种相对独特的方法，我们专注于尝试了解这些模型内部发生的事情，”Upadhyay 说。“模型包含足够的信息来预测其自身行为，因为它确实有这种行为。”
该方法允许 Martian 选择要运行的单个最佳模型，优化成本、输出质量和延迟等因素。Martian 使用模型压缩、量化、提炼和专用模型等技术来进行这些预测，而无需运行完整模型。Martian 路由系统可以集成到使用语言模型的应用程序中，使其能够动态选择要用于每个查询的最佳模型，而不是依赖于单个预先选择的模型。与静态模型选择相比，这有助于提高性能并降低成本。
为什么模型路由应该成为企业 AI 的当务之急
使用最适合工作的工具是一种常见的商业用语，但不太常见的是，组织认识到人工智能有很多非常具体的选择。
“这些大公司通常可能有不同的组织，而组织的某些部分甚至不知道外面有各种各样的模型，”Upadhyay 说。
为了真正有效地使用人工智能模型，Upadhyay 强调定义成功指标至关重要。组织需要确定哪些指标真正定义了成功，以及组织在特定应用中真正关心的是什么。
成本优化和投资回报也至关重要。Upadhyay 指出，组织需要能够优化成本，并能够展示模型部署的某种形式的投资回报。在他看来，这些是模型路由必不可少的领域，因为它可以同时满足这两个目的。
合规性始终是企业关注的问题，而 Martian 目前正在通过其模型路由器解决这一问题。Martian 的新合规性功能可帮助公司审查和批准在其应用程序中使用的 AI 模型。Upadhyay 表示，该功能将允许公司自动设置一套合规性政策。
企业 AI 模型路由器可能为 Agentic AI 带来福音
企业用例中 AI 模型路由的驱动用例之一是代理 AI 的不断发展的领域。
借助代理 AI，AI 代理将多个模型和操作串联在一起以实现结果。代理工作流程中的每个步骤都取决于之前的步骤，因此错误可能会成倍增加。Martian 的路由有助于确保每个步骤都使用最佳模型以保持高精度。
“代理就像是路由的杀手级用例，”Upadhyay 说。“在这种情况下，你真的非常关心步骤是否正确，否则之后会出现一连串的失败。”
