Post
给 Agent 调度系统加一个小决策模型
Agent 调度里的很多判断不是状态机能覆盖的,而是语义判断。每次都调用通用 LLM 成本太高,专门做小决策的模型可能刚好补上这个位置。
测了一下 Jev,又把我前段时间想给 Holon 做的语义调度系统捡了起来。
当时重构 Holon 的调度系统,目标是让 Agent 可以像人一样,在多个工作项之间切换:一个工作项需要等待外部流程时,就先切到另一个工作项继续执行。
但遇到了一些难题,Agent 收到一个输入后,系统很难只靠静态规则判断:
- 这个 GitHub event 应该插入当前 turn,还是进入队列?
- 它和哪个工作项有关?
- Agent 处于 sleep 状态时,是否应该被唤醒?
- 一个已经过期的后台任务结果,是否可以直接丢弃?
这些问题本质上不是普通的状态机判断,而是语义判断。每次都调用一次 LLM,成本和延迟又太高。当时我想自己训练一个分类器来处理这些判断,但训练结果不太理想,模型有点保守,为了避免出错不下结论。也可能是我自己的数据量太小,于是最后作罢,只留了一个 hook,没有真正实现。
Jev 这种专门做小决策的模型,刚好适合放在这里。昨天试了一下,效果比预期好,所以我准备重新启动这个方案,再测试观察一段时间,后面再出个详细的报告给大家。
我感觉各大厂很快会跟进这种方案,估计各家都会带一个专门的 Decision Model,用来处理这类场景。