Mouna🤠 Jev🧑🍳 正在COOK @Bonjour！（全干COO的意思）当LLM 遇上 jev 👀0:43栞 Shiori· 2小时这篇应该是这几天全网把 Jev讲的做好的文章了。 过去三年我们几乎把生成式大模型当成了手里的万能锤子, 哪怕面对一个最简单的单选判断, 也要硬生生调一次几毛钱的通用大模型。 技术大牛 @akshay_pachaar 刚发出的这篇长文直接扯掉了这层遮羞布: 一个连一句完整对话都说不出来、甚至不会写一行代码的模型, 为什么刚上线就把全网架构师看燃了? 因为不能生成长文本, 恰恰是它最可怕的工程杀手锏。 绝大多数企业软件从来不需要另一个陪人闲聊的聊天框。 一个复杂的智能体在后台跑起来, 往往需要做成千上万次细碎的边界判断: 这张工单紧急吗、该挑哪个模型处理、这条命令有没有危险。 传统大模型的致命死穴是自回归生成。 哪怕最终答案只有一个单词, 它也必须在云端一个字一个字往外吐 Token, 遇到 JSON 格式错误还要重试。 调专做强类型决策的 Jev 之后, 所有的判断逻辑全部变成了一组确定的输入状态与候选问题, 输入百万 Token 仅四分钱且输出完全免单, 官方测算下延迟直接压进几十毫秒, 成本最高被砍去了 400 倍。 更耐人寻味的是它对幻觉的重新定义。 很多人鼓吹它彻底消灭了幻觉, Akshay 极为冷峻地指出了真相: 它只是在格式上百分之百免疫幻觉, 绝不可能吐出未定义的选项或者破损的文本, 但它依然可能在合法选项里选出错误答案。 这正是这套架构最值钱的地方: 它不仅交出单选结果, 还给出一整套精确校准的置信度分布。 开发者在代码里终于能写出极度理性的防线: 高置信度直接自动放行, 中置信度唤醒大模型二次复核, 低置信度无缝移交人工。 它在智能体里最绝的三个卡位, 彻底把大小脑分工跑通了: 最上游充当路由器, 替请求分流最便宜的模型; 中游充当执行闸门, 在执行高危终端命令前一秒完成风控拦截; 下游充当质检员, 监督复杂任务到底有没有真正跑通。 以前是软件迁就大模型的自回归废话, 从今天起是大模型适配工业软件的确定性分支。 那些为了判断用户意图动不动就要等三秒的慢路由, 早就该换成这种纯粹的语义开关了。1小时·已编辑
