记录一下关于 prompt和 LoRA 的几个发现。 前段时间用LoRA的方式尝试还原某个角色,然后研究了数据集构建;这段时间换成了用prompt的方式去构建角色,这两种视角切换,让我对怎么让模型生成你想要的东西产生了一些感悟。当用两种不同的方法去解决同一个问题时,碰撞出的反差,能让人看清各个方法底层的本质和边界。这里想记录一些实操的观察和发现,没有经过严格的论证,不一定对,如果后面有新的想法再慢慢纠正。 发现一,LoRA和prompt这两者的操作和结果是反向的。前者从外部可见的结果出发,让内部特征被训练出来;后者把内部结构写出来,让外部结果自然生成。 LoRA的操作对象是数据集,在外部看到的是数据,每条数据是一个结果,这些样本背后蕴含的特征模式是隐藏的,要靠训练把它提取出来才能变成权重里的东西。 prompt的操作对象是模型的推理路径,推理路径指的是模型生成文本的方式是逐词预测每生成一个词,都要回头看之前所有的词,算出接下来最可能是什么。写进prompt里的内容,会全程参与这个过程,影响每一步的参考权重。写的结构是显性的,但模型激活哪个语义区域,最终会生成什么词,是控制不了的隐藏结果。 发现二:由于prompt的操作对象是模型的推理路径,所以你要什么效果,与其写状态标签,不如写这个结果的推理路径。状态标签的意思是,一般人们写prompt描述的是想要看到的输出结果,说的是这个东西是什么,而不是为什么是这样。比如不想让模型输出某个特征,就直接写禁令禁止它。但这么做效果往往不太好,对话没几轮,模型就会无视规则。 这也是我遇到的情况,我在构建角色时,给它写了一条禁令,但当对话触及边界条件,这条禁令就失效了。于是我换了个方向,不写禁令,而是给这条规则一个合理的心理来源,解释为角色因为什么原因不会这么做,规则反而能够稳定执行下来。(这个现象在我之前写过的《如何判断AI角色具有人格一致性》的文档P17也有提到)。 我觉得这个现象可以从模型词语生成逻辑来解释。prompt本质上是在已有的模型权重里激活某个语义区域的向量。也就是说,prompt写进去的每个词,会影响模型在生成下一个词时去参考哪些之前的内容。 比如在构造角色这件事上,如果想约束角色的某种行为、不希望Ta表现某种特征,通常会用[禁止]或者[不可以]给角色立规则。但这里有一个容易被忽略的前提,构建角色本身就隐含着一个目的:叙事。而这些禁令词在统计上经常和规章、系统提示这类文本一起出现,不和叙事内容一起出现。这类词在语义上天然是外来词,语义邻居不在叙事区域。当对话轮次积累,叙事token越来越多,禁令token占整个上下文的比例越来越小,原有的规则会失效。 如果你给予角色一个心理动机,解释角色因为什么原因而不会这么做,这些词描述的是动机、代价、情感,在人类写的小说、剧本、情感文章里大量出现。模型是从这些文本里学来的,所以这些词在它学到的向量空间里,和叙事内容距离近。对话在推进叙事的时候,注意力机制会优先参考和当前内容语义相近的词。因果链里的词恰好和叙事内容相近,所以叙事往前走的时候,这些词不会被稀释,反而会被一起带动起来。 发现三:如果要让模型稳定输出某种风格(比如说话风格、写作风格),LoRA比prompt更适合。我觉得风格类的东西其实是一个人思维方式在语言上的自然投影。比如一个人通过写作来表达,那Ta因为什么而有感而发,有感而发之后习惯从哪个角度切入,切入之后会往哪个方向深挖,这些都是有迹可循的。当表达的样本足够多,你会发现作者触发点和展开方式背后有一个稳定的特征,也就形成了某种稳定的风格。一些作家或导演的风格也能印证这点,你会发现他们在不同作品里处理的问题和切入角度,其实有一个固定的底色。 如果通过prompt去复现某种风格会发现很难。我经常让AI模仿某个喜欢的作者的文风来写文章测试,但结果总是差很远。我觉得这是因为写作风格是由大量微决策的独特组合构成的。这个组合如果足够独特,就是一个低概率事件。低概率事件需要很大的信息量才能精确指定,而prompt是一段很短的语言描述,能携带的信息量有限。用几句话去指定一个低概率的组合,信息量不够把可能性收窄到那么精确的程度,在预训练数据里没有对应的语义区域可激活,所以模型只能在范围里找最接近的东西,而最接近的是训练数据里的常见组合,我想这就是让AI写文章都不可避免有AI味的原因。 所以如果想让模型复现某种风格,LoRA或者训练新模型是更合适的方向。因为数据集就天然携带着某种风格特征,训练结果自然就能形成某种稳定的风格。 发现四:这是个题外话。写完上面的,突然有个额外的想法。以前一直看见说AI时代直觉和审美是重要的,但我一直没办法从逻辑上理解。现在在技术层面找到了一个可能的解释。从本意上讲,直觉和审美是一种从表面特征一路追溯到本质的能力。AI是黑箱,输出不能直接控制,但如果你能精准定义问题和语句,你就能激活语义上更接近你想要的东西的向量。也就是说,你能感知到什么词和什么东西住在同一个区域,这本身就是一种直觉。审美大概就是这个感知能力在语言上的具体表现。
登录并发表评论

评论 · 1