Acbox Liu
我想出了一种新方案,首先可以参考图一的system prompt, 图二是直接扔给gpt的结果,我们采用{start:xxx}{end:xxx}作为标记,slot是content,现在我们调api时开启streaming。
function calling一次只能调用一个 而且遇到一些参数需要推理和计算的情况下很多模型力不从心,如果需要llm先回答再让他调用工具对于一些场景两次调用就会很慢,用户观感不好,所以我干脆换个想法直接把调用工具以一定格式让ai输出在content里,然后先从edge function拦截流式输出把chunks堆到一个字符串里先堆着,然后自己返回一个stream,每次有新的chunk加入就解析其中的特定标记,如果匹配到新的完整标记则把标记的参数和名字解析一下write到stream里,这样在前端层面(比如结构化矢量图形),用户看到的也是图形一个个的变化,出现,消失,再从前端写一些出场/入场动画,就能得到很完美的观感