日西西里

要为理解世界而写

  • 📍 中国·上海市
日西西里碎碎念
之前写过一篇文章,提到我们公司在做AI陪伴型产品时,即面对探索型的市场机会时,却采用了匹配型的打法,最后因为这个错配导致了项目走向了失败。 最近又重新思考了一下这个问题,想再梳理一下这种错配具体体现在哪些方面,以及为什么会出现这样的情况。而梳理的这个过程中,我逐渐形成了一些关于传统互联网产品与 AI 原生产品在开发逻辑上有何不同的理解。 当时通过观察和与同事交流,我逐渐意识到他们之所以采用这种快速打法,一是因为大家都是从互联网时代过来的,所以开发产品时不可避免带有当时的惯性(这很正常我也有);二是这套方法是互联网时代已经被验证过的成熟思路,谁能更快推出产品就更有机会抢到位置建立先发优势。 虽然说这套方法被验证过有效,但实际上却在我司开发 AI产品的过程中出现了水土不服。 我之前将这种水土不服的原因称为公司面对的是探索型的市场机会却采用了匹配型的打法。但进一步思考后,我觉得这个问题还可以理解为:我们沿用了传统互联网的产品开发思路,却忽略了 AI 技术与互联网技术对产品逻辑带来的差异。 那么这种技术差异会对产品逻辑带来具体怎么样的变化。 先说一下我们的产品,我司做的是 AI 陪伴,采用的是 AI Chat 的形式。那么理解为什么传统互联网打法在这个AI项目中可能不太适用,首先就需要回到互联网与 AI 的技术特点有什么不同,然后再分析这些特点会如何影响产品的开发逻辑。 互联网技术的核心特点之一,是实现了信息的低成本分发。在这样的技术条件下,互联网产品能够以相对较低的边际成本,将信息和服务连接到大量用户。所以在互联网时代,速度和运营就成为很重要的竞争因素。尤其当一种需求已经存在,而市场上还缺少对应的数字化产品时,谁能更快地把功能做出来、抢占用户和市场入口,谁就更有机会通过规模效应建立竞争优势。 AI技术的核心特点则在于通过大规模预训练,让模型具备了能够适用于不同场景的通用能力,这些能力并不需要针对每一个产品从零开发,而是可以直接调用,并根据具体需求进行调整和优化。这就意味着,AI 产品的开发起点发生了变化:过去需要通过开发功能来实现的能力,现在很大一部分已经由通用模型提供。因此,AI 原生产品需要解决的核心问题,就从互联网的实现某个功能转移到了如何将这些通用能力转化为用户无法轻易从通用模型中获得的独特价值。 那么回到AIchat上,我觉得它要形成独特的产品价值,就需要与两类竞争对象拉开差距:一是真人聊天,二是通用 AI。如果跟真实聊天拉开距离,则要找到真实聊天中发生成本高的场景,相较于真人聊天,AI Chat 的机会在于满足那些现实中实现成本较高的互动需求,比如角色幻想、成人向互动(也就是搞蝗)和情感陪伴。而相较于通用 AI,AIchat 则需要提供用户难以直接通过通用模型获得的独特体验。那么综合上述两个方向,当下AIchat大致可以归为两个方向,一是需求占位驱动,二是体验能力驱动。 第一个方向需求占位驱动,这个方法是先切入特定需求,再通过内容供给、用户积累和运营建立竞争优势。比如 Character.AI、Tipsy 等就是通过UGC 让用户创造角色和互动情境,把通用模型的对话能力转化成各种幻想体验;还有一种就是Candy.AI,则是通过贩卖成人互动(也就是搞蝗)来满足性幻想。我觉得这类产品能够与真人聊天和通用 AI 拉开差距,主要有两个原因。一是满足了现实生活中成本较高的特定需求。比如幻想角色扮演、成人向互动(也就是搞蝗)等,这类体验发生成本较高, AI Chat 降低了用户获得这些体验的门槛;二是这类产品形成了通用模型难以直接替代的内容生态和社区氛围。因为对于一部分幻想和角色扮演爱好者来说,他们需要的不只是与角色聊天,还包括找到有相似兴趣的人,分享角色设定甚至共同创作故事。也就是说,用户消费的不只是 AI 生成的内容,还有围绕共同兴趣形成的认同感、归属感和参与感。这种生态并不是通用模型生成几个角色就能复制的,它需要创作者、用户和内容之间不断互动与积累,才能逐渐形成网络效应。这也意味着,后来者如果想沿用这套打法,要么找到尚未被充分满足的细分需求,要么具备足够强的内容运营和发行能力,才能在已有市场中重新获得用户。因此这条路强调的是进入市场的时机,需要用户积累和生态运营能力。这里想插个题外话,根据我的观察,当一种新技术出现时,它的应用探索会经历一个从沿用旧有商业模式到逐渐探索出适合新技术自身特点的新模式的过程。而早期 AI Chat 的发展路径,其实就体现了这种新旧模式交替的特征,虽然底层技术已经发生变化,但竞争逻辑延续了互联网时代抢位置的思路,即通过快速切入市场积累用户,再借助网络效应建立竞争壁垒。 第二个方向是体验能力驱动,这个方法是围绕 AI 本身的能力,创造通用模型难以提供的独特体验。这条路我觉得代表性的产品,国内有自然选择的 EVE 和米哈游的《星之低语》(主要是我对这俩比较熟),前者提供的是陪伴体验,后者则提供的是故事入口。(说到这里,我突然意识到最近比较火的 Personal AI 某种程度上是不是也属于这条路径下的新产品形态) 而这类产品能与真人聊天和通用 AI 拉开差距,我觉得主要是它们尝试将专家能力)转化为 AI 服务。相信经常使用大模型的人都会有这种感受:虽然 AI 本身具备很强的通用能力,但实际从中获得多少价值,取决于自己对问题的理解程度。尤其是在不熟悉的领域,可能连下一步应该问什么都不知道,更不用说引导 AI 给出符合需求的结果。而专家能力的价值就在于他们不仅知道如何解决已经提出的问题,还能够识别用户尚未意识到的需求,判断下一步应该做什么,并引导用户逐步获得预期的结果。 在陪伴和互动叙事上就需要这种专家能力,因为这两类体验都有一个共同特点,用户知道自己想获得什么样的感受,却不一定知道如何通过与 AI 互动来实现这种体验。 如果完全依赖用户主动提出需求、设计互动过程,那么最终的体验很大程度上就取决于用户自身的引导能力。放到 AI 陪伴上,这种专业能力主要体现为长期陪伴。因为陪伴不是简单地回应用户当下说的话,而是需要在持续互动中逐渐理解用户、记住共同经历,并根据用户的情绪、需求和关系状态,判断什么时候应该倾听、主动关心,以及如何让双方的关系自然发展。所以陪伴产品提供的不只是聊天功能,而是一种能够持续理解用户并随着共同经历逐渐发展的关系体验。而在互动叙事中,专业能力则更多体现在编剧和叙事设计上,它并不是让用户自己去构思故事,而是通过预设的角色、情境、冲突和叙事节奏,引导用户进入故事,再利用 AI 的开放式交互能力,让用户参与故事的发展。 所以我觉得,这两种产品虽然满足的需求不同,但底层逻辑是相似的:通过专业化的体验设计,让 AI 能够根据具体情境,持续提供符合用户需求的互动体验。这也是它们区别于直接使用通用大模型的重要价值所在。 分析完AIchat两条路径之后,可以发现这两条路的区别在于哪里,第一条路径强调速度和运营能力,所以进入市场的时机、获客效率和生态建设都非常重要;而第二条路强调专业化的产品设计和 AI 能力塑造。因为它需要明确用户究竟希望获得什么,再通过专业化设计来交互机制、优化模型能力,并通过持续评测验证体验是否成立。 再回到我司的产品上,这样就能看到更具体的问题了。我司想走的是第二条路,希望通过 AI 为提供长期陪伴服务,但实际开发过程中,却更多采用了第一条路的打法,把精力放在内容生产、功能上线和短期商业化上(涉及项目细节这里就不展开了),因为随着项目推进,产品形态已经逐渐偏离了最初的长期陪伴定位,反而更接近一个内容平台(或者说第一种路径)。在这样的情况下,通过快速上线抢占市场,也是一种可行的竞争策略。但问题在于此,一方面研发预算都投入在了前期试错上,另一方面既然选择了这条依赖市场推广的路径,到了发行阶段却没有投入与之匹配的运营和推广资源。这就导致产品虽然采用了抢占市场的打法,却没有建立起支撑这套打法的竞争优势。于是问题就出现了在了好几个环节的连续错配,最初的产品定位是陪伴,开发过程中转向了内容驱动的产品形态,而后续的资源配置又没有跟上这一变化。
日西西里碎碎念
记录一下关于 prompt和 LoRA 的几个发现。 前段时间用LoRA的方式尝试还原某个角色,然后研究了数据集构建;这段时间换成了用prompt的方式去构建角色,这两种视角切换,让我对怎么让模型生成你想要的东西产生了一些感悟。当用两种不同的方法去解决同一个问题时,碰撞出的反差,能让人看清各个方法底层的本质和边界。这里想记录一些实操的观察和发现,没有经过严格的论证,不一定对,如果后面有新的想法再慢慢纠正。 发现一,LoRA和prompt这两者的操作和结果是反向的。前者从外部可见的结果出发,让内部特征被训练出来;后者把内部结构写出来,让外部结果自然生成。 LoRA的操作对象是数据集,在外部看到的是数据,每条数据是一个结果,这些样本背后蕴含的特征模式是隐藏的,要靠训练把它提取出来才能变成权重里的东西。 prompt的操作对象是模型的推理路径,推理路径指的是模型生成文本的方式是逐词预测每生成一个词,都要回头看之前所有的词,算出接下来最可能是什么。写进prompt里的内容,会全程参与这个过程,影响每一步的参考权重。写的结构是显性的,但模型激活哪个语义区域,最终会生成什么词,是控制不了的隐藏结果。 发现二:由于prompt的操作对象是模型的推理路径,所以你要什么效果,与其写状态标签,不如写这个结果的推理路径。状态标签的意思是,一般人们写prompt描述的是想要看到的输出结果,说的是这个东西是什么,而不是为什么是这样。比如不想让模型输出某个特征,就直接写禁令禁止它。但这么做效果往往不太好,对话没几轮,模型就会无视规则。 这也是我遇到的情况,我在构建角色时,给它写了一条禁令,但当对话触及边界条件,这条禁令就失效了。于是我换了个方向,不写禁令,而是给这条规则一个合理的心理来源,解释为角色因为什么原因不会这么做,规则反而能够稳定执行下来。(这个现象在我之前写过的《如何判断AI角色具有人格一致性》的文档P17也有提到)。 我觉得这个现象可以从模型词语生成逻辑来解释。prompt本质上是在已有的模型权重里激活某个语义区域的向量。也就是说,prompt写进去的每个词,会影响模型在生成下一个词时去参考哪些之前的内容。 比如在构造角色这件事上,如果想约束角色的某种行为、不希望Ta表现某种特征,通常会用[禁止]或者[不可以]给角色立规则。但这里有一个容易被忽略的前提,构建角色本身就隐含着一个目的:叙事。而这些禁令词在统计上经常和规章、系统提示这类文本一起出现,不和叙事内容一起出现。这类词在语义上天然是外来词,语义邻居不在叙事区域。当对话轮次积累,叙事token越来越多,禁令token占整个上下文的比例越来越小,原有的规则会失效。 如果你给予角色一个心理动机,解释角色因为什么原因而不会这么做,这些词描述的是动机、代价、情感,在人类写的小说、剧本、情感文章里大量出现。模型是从这些文本里学来的,所以这些词在它学到的向量空间里,和叙事内容距离近。对话在推进叙事的时候,注意力机制会优先参考和当前内容语义相近的词。因果链里的词恰好和叙事内容相近,所以叙事往前走的时候,这些词不会被稀释,反而会被一起带动起来。 发现三:如果要让模型稳定输出某种风格(比如说话风格、写作风格),LoRA比prompt更适合。我觉得风格类的东西其实是一个人思维方式在语言上的自然投影。比如一个人通过写作来表达,那Ta因为什么而有感而发,有感而发之后习惯从哪个角度切入,切入之后会往哪个方向深挖,这些都是有迹可循的。当表达的样本足够多,你会发现作者触发点和展开方式背后有一个稳定的特征,也就形成了某种稳定的风格。一些作家或导演的风格也能印证这点,你会发现他们在不同作品里处理的问题和切入角度,其实有一个固定的底色。 如果通过prompt去复现某种风格会发现很难。我经常让AI模仿某个喜欢的作者的文风来写文章测试,但结果总是差很远。我觉得这是因为写作风格是由大量微决策的独特组合构成的。这个组合如果足够独特,就是一个低概率事件。低概率事件需要很大的信息量才能精确指定,而prompt是一段很短的语言描述,能携带的信息量有限。用几句话去指定一个低概率的组合,信息量不够把可能性收窄到那么精确的程度,在预训练数据里没有对应的语义区域可激活,所以模型只能在范围里找最接近的东西,而最接近的是训练数据里的常见组合,我想这就是让AI写文章都不可避免有AI味的原因。 所以如果想让模型复现某种风格,LoRA或者训练新模型是更合适的方向。因为数据集就天然携带着某种风格特征,训练结果自然就能形成某种稳定的风格。 发现四:这是个题外话。写完上面的,突然有个额外的想法。以前一直看见说AI时代直觉和审美是重要的,但我一直没办法从逻辑上理解。现在在技术层面找到了一个可能的解释。从本意上讲,直觉和审美是一种从表面特征一路追溯到本质的能力。AI是黑箱,输出不能直接控制,但如果你能精准定义问题和语句,你就能激活语义上更接近你想要的东西的向量。也就是说,你能感知到什么词和什么东西住在同一个区域,这本身就是一种直觉。审美大概就是这个感知能力在语言上的具体表现。
日西西里碎碎念
在这边也记录一下我在AIstartup见证项目如何走向失败的吧。 我是工科出身,一直想做游戏。今年偶然进入一家 AI Startup,做起了 AI 玩法策划。一方面想抓住进入游戏行业的机会,另一方面也希望通过真实项目建立对行业的认知。 在初创公司得到了不少锻炼,尤其是能近距离观察决策如何产生、执行,以及如何影响项目走向。 在讨论项目之前,先谈谈我对市场的理解。毕竟,产品策略离不开市场环境。 我将市场机会分为三类(不一定对): 一是探索型。 新技术创造了新的可能,但转化为真实需求仍需长期探索。一般出现在新技术诞生初期。 二是匹配型。 供需已存在,但存在信息差,更看重速度与渠道,在经济上行期更活跃。 三是效率型。 市场已有成熟方案,通过降本增效维持竞争力,在内卷时期常见。 不同的市场机会,需要不同的经营策略。而我司最直接的问题,在我看来是两者出现了错配。 公司几条业务线主要围绕 AI 陪伴产品展开。这类产品依赖长期交互建立体验,市场也尚未成熟,属于探索型机会。 实际却采用了匹配型打法:快速立项、上线,期待短期变现。 短期反馈不及预期,决策层频繁调整方向,导致产品定位摇摆、体验难以积累。并且也出现了一个通病:过分相信AI是万能的提效工具。 后来我意识到,策略错配或许只是表象,更深层的问题是没有想清楚究竟要做什么。 当目标不明确、市场判断也不充分时,项目看似不断试错,实际上只是在不断更换方向。 当然还有很多值得细究的细节,有空再把这些经历和思考系统地整理一下。