这种重构上下文的思路,除非将来发明种技术,就是在上下文变化的情况下,kv缓存仍然可以生效,除非这样的,否则你可能一两年后这个内存内存显存能跟上来之后这个技术就没太大用处了,因为缓存的价格是可以降的
TypeSafe 创始人 Diogo Almeida 公开了一份 Coding Agent 设计草案,希望社区直接拿去实验。他直说团队大概率没时间自己把这些想法都做出来。
这份草案最核心的改动是上下文。现在的 Coding Agent 通常会一直带着之前的聊天、工具结果和代码状态,太长了再压缩或重启。
TypeSafe 想让 Agent 每轮重新判断:哪些内容保留全文,哪些只留摘要,哪些直接丢掉。已有 KV Cache 也不会直接放弃,而是比较继续复用和重新构造上下文哪个更划算。
Almeida 认为,现有 Agent 很多别扭的设计都是被 KV Cache 反绑住了。比如先把任务切给便宜模型,再切回强模型,强模型可能还得重新处理一遍长上下文,路由反而更贵;工具定义长期塞在系统提示词里,也会一直占空间。
如果上下文可以动态重组,模型路由、Sub-agent、MCP 和 AGENTS.md 也能跟着按需加载。简单任务交给便宜模型,需要哪个工具再加载哪个,子 Agent 只拿和自己任务相关的状态。TypeSafe 暂时把这种思路叫「Meta-attention」。