跳到正文

博客

Ofrai 如何在不同模型间路由提示词

作者:Ofrai Editorial(Editorial Team)

提示词路由器是用户输入框和可用模型森林之间的那一层 —— 对话、图片、视频、音频都在它后面。在 Ofrai,每一条请求都会先经过这一个路由器再打到模型 API。我们造它是因为没有任何一款模型能赢下所有任务,而我们不想让用户为了搞清楚哪一款更好而同时开三个订阅。这是一篇工程笔记,讲路由器到底在做什么、运营成本是多少、在哪里会坏,以及接下来要上什么。

为什么要造一个路由器

用同一句提示词 —— 'a glass jar of coffee beans on a wood table, soft morning light' —— 跑五台现役引擎。在 Ofrai,这条提示词到 Nano Banana Pro 大约 8 秒、220 积分;到 GPT Image 2 大约 12 秒、320 积分;到 Flux Kontext 大约 6 秒、180 积分;到 Seedream 5 大约 9 秒、260 积分;到老款 GPT Image 1.5 大约 4 秒、80 积分。同一句提示词,五种花法。

在 Ofrai 之外,那是五个浏览器标签、五个登录、一张下班前导出的 CSV。在 Ofrai 里,是图片工作台里点一次、再从模型下拉里切一次。路由器的工作就是让这种切换变得透明 —— 挑出最便宜且过质量门槛的那一台,避免用户为了搞清谁是谁去学每一家实验室的 API 怪癖。

老实说,连我们的模型负责人都会为某条提示词到底谁更好而吵起来。Nano Banana Pro 胜在摄影感光线;GPT Image 2 胜在图内文字;Flux Kontext 胜在最快。没有谁能在所有维度都赢,有些提示词最便宜的引擎直接就能赢。路由就是承认一件事:模型质量是矢量,不是标量。

我们的路由规则

路由器的输入是提示词加一小撮上下文 —— 用户语言、积分余额、之前的失败记录、提示词来自哪个工作台。输出是实验室、模型 id 和超时。五条规则做了九成的工作。一、工作台优先:用户在视频工作台,路由器只看视频引擎 —— Seedance 2.5、Seedance 2、Kling 3、Sora 2、Veo 3、Wan 2.6;跨种类路由必须显式打开。

二、提示词形状:80 字符以内的短提示词默认去最便宜且过质量门槛的那一台;带权重提示的长提示词默认去钱包允许的最高质量那台。三、语言:在路由对话请求之前先识别提示词语言,韩语和日语流量优先走我们常驻保温的多语言模型;英语先按成本排。四、积分降级:如果首选引擎积分超过用户余额,我们往下掉一档,而不是直接报错。

100 积分的用户挑 320 积分的活,仍能拿到 220 积分的次优款,而不是白屏。五、重试链:5xx 或模型接口超时时,对同一引擎重试两次(指数退避,250 毫秒再 750 毫秒),再降级到同工作台的同级引擎;审核拒绝不重试。路由器是一个叫 routePrompt 的 TypeScript 模块,不是微服务。它跑在 Next.js 路由处理器内部,沿用同一个 auth、限流和 tracing 上下文。

这个决定在流式重写时让我们熬了几个周末,但省下了一次部署。

我们踩过的故障模式

我们一开始也没想到这些,列出来是因为任何做多实验室堆栈的人都会撞上。实验室 5xx 风暴很常见 —— 一家实验室在周二下午出现 40 分钟的部分宕机,我们的重试链干净地吞掉了,因为每个工作台都备了一台同级引擎;如果每个工作台只接一家实验室,这场宕机会直接打到用户脸上。

审核漂移更阴险 —— 两家实验室在一周内收紧安全分类器,把上月还能过的提示词全部拒了。路由器不仲裁审核,它只把拒绝透出来,但我们现在按用户缓存最近一次成功的提示词哈希,能告诉用户 '这条以前能过,这是拒因'。

积分账本漂移是多实验室堆栈的会计税:实验室有时比我们目录价少扣(320 积分的活扣 310,6000 积分的活扣 5800),我们每晚记差额并退还;更麻烦的是反过来的多扣 —— 实验室有时会比交付量多扣,我们对 5% 的漂移直接告警并冻结这条路由,等客服回复。

视频超时是最好修的一个 —— 起初 60 秒的上限对视频不够用,我们推到 90 秒并加了心跳轮询,让界面显示 '正在渲染第 12 帧 / 共 90 帧',而不是一个静默转圈。最尴尬的是图片种子撞车 —— 两个用户在同一家引擎上用几乎一样的提示词撞同一时间,拿到一模一样的输出;现在我们在每条提示词离开 Ofrai 之前给一个仅本任务可见的种子。

我们怎么衡量

三块仪表盘,每小时刷新。第一块是延迟 —— 按工作台、按引擎的 p50 和 p95,单位是秒。对话 p95 应在 12 秒以内;图片 30 秒以内;视频 5 秒成片 90 秒以内。任何一块超线 1 小时直接叫 on-call。第二块是单次完成成本 —— 按引擎拆分的每成功生成所消耗积分。

我们盯回归:Seedance 2.5 p95 单次成本如果周环比涨 20%,说明引擎行为变了,要重新评估。第三块是质量抽查 —— Yuki 团队每周 50 条提示词,人工打分跑遍所有现役引擎。分数内部,差值对外。我们不直接测用户满意度,测的是用户下一步动作:是否同引擎重试、是否换引擎、是否下载、是否删除。'同引擎重试不换' 是路由器选对的最安静信号。

我们还按工作台记一个降级计数器 —— 同级引擎救场多少次 —— 健康降级率说明重试链在干活,一周归零通常意味着某条模型接口悄悄劣化。

下一步要上的东西

三件事,按顺序。第一,缓存层:键 = 提示词 + 用户语言 + 解析到的引擎的稳定哈希。同一提示词同一语言在 24 小时窗口内复用上次响应,除非用户主动关掉。隐私问题比缓存问题更难,我们会把这个开关露在工作台里。第二,端到端流式响应:让对话工作台按 token 增量输出,路由器要在第一个 token 出来之前就锁定引擎,而不是在请求之前。

第三,用户反馈闭环:模型卡片上的赞与踩,让路由器从用户的工作台历史里学,而不是依赖全局质量门槛。三件都还没上线,全在做。如果你也在造路由器,唯一一条建议是从工作台出发,不是从模型出发。工作台知道用户想做什么,模型知道怎么去做,路由器的职责是翻译。

常见问题

什么是提示词路由器?
提示词路由器是你输入框和一群 AI 模型之间的那一层。它读提示词、读用户上下文、读每个模型的实时状态,然后挑一台去执行。目标是让对的那台模型去接对的活,而不是让一台模型扛下所有。
提示词路由是怎么工作的?
Ofrai 的路由器会看提示词长度、语言、用户所在工作台(对话/图片/视频)和积分余额,然后锁定到一家实验室和一个模型 id。如果该引擎 5xx 或超时,路由器对同一引擎重试两次再退避到同工作台的同级引擎。
Ofrai 怎么决定用哪一台 AI 模型?
五条规则。工作台优先(视频工作台只看视频引擎),短提示词走最便宜且过质量门槛的那台,语言识别把对话请求送到常驻保温的多语言模型,积分不足时往下掉一档而不是硬报错,失败时同引擎重试两次再降级到同级引擎。
路由会增加延迟吗?
路由本身在 Ofrai 增加不到 20 毫秒 —— 它是一个同步的 TypeScript 模块,不是网络跳。你看到的延迟基本全是模型渲染时间:对话 2–12 秒,图片 8–30 秒,视频 5 秒成片 30–90 秒。挑对引擎通常还会缩短墙钟时间,因为路由器避开了最慢的同级。
什么是模型路由器?
模型路由器就是决定哪台 AI 模型接哪条请求的路由逻辑。在单模型产品里路由器是空的,因为没得选。在多模型产品(如 Ofrai)里,它要在成本、质量、延迟、当前模型接口健康度之间权衡,锁定一台引擎,并为这台引擎失败时的重试路径负责。

相关文章