• 首页
  • 消息
  • 我的主页
    • 团队地图
    • 职位列表
    • 报刊亭
    • 我的
立即登录
设置
隐私政策用户条款营业执照人力资源服务许可证浙B2-20260388浙ICP备2024101243号浙公网安备33011002018106号© 2024-2026 Bonjour! 数字名片. All rights reserved.
社区找工
消息我
123456⚒️ 创造、思考,或一切

Acbox Liu

我想出了一种新方案,首先可以参考图一的system prompt, 图二是直接扔给gpt的结果,我们采用{start:xxx}{end:xxx}作为标记,slot是content,现在我们调api时开启streaming。 function calling一次只能调用一个 而且遇到一些参数需要推理和计算的情况下很多模型力不从心,如果需要llm先回答再让他调用工具对于一些场景两次调用就会很慢,用户观感不好,所以我干脆换个想法直接把调用工具以一定格式让ai输出在content里,然后先从edge function拦截流式输出把chunks堆到一个字符串里先堆着,然后自己返回一个stream,每次有新的chunk加入就解析其中的特定标记,如果匹配到新的完整标记则把标记的参数和名字解析一下write到stream里,这样在前端层面(比如结构化矢量图形),用户看到的也是图形一个个的变化,出现,消失,再从前端写一些出场/入场动画,就能得到很完美的观感

2025年4月22日

登录并发表评论

评论 · 0