葛立民

https://liminge.space/cn 创业者兼工程师,打造人们愿意使用、游玩与付费的产品 我专注于 agentic systems、context engineering、大规模分布式系统与构建AI-native的组织

葛立民评论了这条帖子
记录一下关于 prompt和 LoRA 的几个发现。 前段时间用LoRA的方式尝试还原某个角色,然后研究了数据集构建;这段时间换成了用prompt的方式去构建角色,这两种视角切换,让我对怎么让模型生成你想要的东西产生了一些感悟。当用两种不同的方法去解决同一个问题时,碰撞出的反差,能让人看清各个方法底层的本质和边界。这里想记录一些实操的观察和发现,没有经过严格的论证,不一定对,如果后面有新的想法再慢慢纠正。 发现一,LoRA和prompt这两者的操作和结果是反向的。前者从外部可见的结果出发,让内部特征被训练出来;后者把内部结构写出来,让外部结果自然生成。 LoRA的操作对象是数据集,在外部看到的是数据,每条数据是一个结果,这些样本背后蕴含的特征模式是隐藏的,要靠训练把它提取出来才能变成权重里的东西。 prompt的操作对象是模型的推理路径,推理路径指的是模型生成文本的方式是逐词预测每生成一个词,都要回头看之前所有的词,算出接下来最可能是什么。写进prompt里的内容,会全程参与这个过程,影响每一步的参考权重。写的结构是显性的,但模型激活哪个语义区域,最终会生成什么词,是控制不了的隐藏结果。 发现二:由于prompt的操作对象是模型的推理路径,所以你要什么效果,与其写状态标签,不如写这个结果的推理路径。状态标签的意思是,一般人们写prompt描述的是想要看到的输出结果,说的是这个东西是什么,而不是为什么是这样。比如不想让模型输出某个特征,就直接写禁令禁止它。但这么做效果往往不太好,对话没几轮,模型就会无视规则。 这也是我遇到的情况,我在构建角色时,给它写了一条禁令,但当对话触及边界条件,这条禁令就失效了。于是我换了个方向,不写禁令,而是给这条规则一个合理的心理来源,解释为角色因为什么原因不会这么做,规则反而能够稳定执行下来。(这个现象在我之前写过的《如何判断AI角色具有人格一致性》的文档P17也有提到)。 我觉得这个现象可以从模型词语生成逻辑来解释。prompt本质上是在已有的模型权重里激活某个语义区域的向量。也就是说,prompt写进去的每个词,会影响模型在生成下一个词时去参考哪些之前的内容。 比如在构造角色这件事上,如果想约束角色的某种行为、不希望Ta表现某种特征,通常会用[禁止]或者[不可以]给角色立规则。但这里有一个容易被忽略的前提,构建角色本身就隐含着一个目的:叙事。而这些禁令词在统计上经常和规章、系统提示这类文本一起出现,不和叙事内容一起出现。这类词在语义上天然是外来词,语义邻居不在叙事区域。当对话轮次积累,叙事token越来越多,禁令token占整个上下文的比例越来越小,原有的规则会失效。 如果你给予角色一个心理动机,解释角色因为什么原因而不会这么做,这些词描述的是动机、代价、情感,在人类写的小说、剧本、情感文章里大量出现。模型是从这些文本里学来的,所以这些词在它学到的向量空间里,和叙事内容距离近。对话在推进叙事的时候,注意力机制会优先参考和当前内容语义相近的词。因果链里的词恰好和叙事内容相近,所以叙事往前走的时候,这些词不会被稀释,反而会被一起带动起来。 发现三:如果要让模型稳定输出某种风格(比如说话风格、写作风格),LoRA比prompt更适合。我觉得风格类的东西其实是一个人思维方式在语言上的自然投影。比如一个人通过写作来表达,那Ta因为什么而有感而发,有感而发之后习惯从哪个角度切入,切入之后会往哪个方向深挖,这些都是有迹可循的。当表达的样本足够多,你会发现作者触发点和展开方式背后有一个稳定的特征,也就形成了某种稳定的风格。一些作家或导演的风格也能印证这点,你会发现他们在不同作品里处理的问题和切入角度,其实有一个固定的底色。 如果通过prompt去复现某种风格会发现很难。我经常让AI模仿某个喜欢的作者的文风来写文章测试,但结果总是差很远。我觉得这是因为写作风格是由大量微决策的独特组合构成的。这个组合如果足够独特,就是一个低概率事件。低概率事件需要很大的信息量才能精确指定,而prompt是一段很短的语言描述,能携带的信息量有限。用几句话去指定一个低概率的组合,信息量不够把可能性收窄到那么精确的程度,在预训练数据里没有对应的语义区域可激活,所以模型只能在范围里找最接近的东西,而最接近的是训练数据里的常见组合,我想这就是让AI写文章都不可避免有AI味的原因。 所以如果想让模型复现某种风格,LoRA或者训练新模型是更合适的方向。因为数据集就天然携带着某种风格特征,训练结果自然就能形成某种稳定的风格。 发现四:这是个题外话。写完上面的,突然有个额外的想法。以前一直看见说AI时代直觉和审美是重要的,但我一直没办法从逻辑上理解。现在在技术层面找到了一个可能的解释。从本意上讲,直觉和审美是一种从表面特征一路追溯到本质的能力。AI是黑箱,输出不能直接控制,但如果你能精准定义问题和语句,你就能激活语义上更接近你想要的东西的向量。也就是说,你能感知到什么词和什么东西住在同一个区域,这本身就是一种直觉。审美大概就是这个感知能力在语言上的具体表现。
葛立民评论了这条帖子
📷 分享一下我做的 iPhone 相机:DOTCUT 主要做的是实时印刷效果:给人物、猫狗加上彩色网点和裁纸描边,同时保留真实背景。取景时就能看到效果,支持拍照、录像和 Live Photo。🐈🐕 做了一些小互动:比心 🫶、Rock 🤘 等手势可以触发 Emoji,点一下骰子 🎲 就能随机换一组效果,配色纠结的时候可以试试。 欢迎大家试玩,反馈拍摄体验的意见,有问题可以直接告诉我。 👉 [DOTCUT · App Store](https://apps.apple.com/cn/app/id6797021473)
葛立民
可爱捏
葛立民
太感人了,九州又回来了
葛立民评论了这条帖子
我的产品使命很朴素。 无论你有什么样的基础,无论你来自什么背景,只要你真的想脚踏实地提高英语水平,我会让我的产品帮你最有效地达成这个目标。 所以我的产品不会哄着你学。 我希望引领你的是使用过程中产生的正反馈和自驱力,是你在提高的过程中感受到的自己的进步。 有人可能会觉得这是个悖论:有自驱力的人怎么样都能学好,为何还要你的产品? 我同意前半句,但我依然认为即使学习者有自驱力,我的产品依然能够把效率作为价值提供给用户。 这也是为什么我不怎么做奖励系统,因为我认为这会扼杀人的自驱力。一旦获得系统奖励的动力取代了英语提高的满足感,那么用户离开只是时间问题,因为世界上有太多远比一个英语学习软件更能提供即时的奖励和快感的事物。 当然,用户必将离开,用户必须离开,但我不希望是这个原因。 我希望学习者离开我的app是因为从app里习得的英语能力让他们沉浸在了更广阔的世界里,无论是精神世界还是现实世界。
葛立民
alex老师,其实以前我也做了一个英语学习app。核心思路是:人的语言学习要在语境中进行,因此核心立足点有两个: 1. 英语会话复盘,如果你进行了一段英语会话——不管是因为你在英语母语国家,还是因为你在英语课堂上——总之你有一段英语会话,它就会录下来,然后告诉你这段会话当初可以怎样表达得更好。 2. 中文会话转英语场景,同样,你可以录下来一段你生活中的中文会话,例如你和家人吃饭时的聊天记录,然后它会告诉你这段会话如果发生在英语环境内会是什么样。 这两个立足点成立的原因在于:人对自己亲身参与过的会话记忆强度是最高的,所以它也正是真正最好的学习材料。即使你生活中并没有发生任何英语会话,你的中文会话也完全可以转成英语会话让你学习。 你怎么看?
葛立民
英语口音反映在音频信号上是一个很明显的pattern,模型通过自己学习的所有语料了解到了,有中国人口音这种pattern的数据对应的是中国人,对应的是在美国比较边缘的种群现状。
葛立民
模型不光有听出口音的能力,还有听出一切我们能总结出的和总结不出的显式的和隐式的pattern的能力。 豆包的能力不行,只是因为相对来说语料和训练还不足。类似的举个例子,o/a对于阿拉伯语的语料也非常不足,因此在那个语言上的判断能力就比较差。
葛立民评论了这条帖子
多模态大语言模型真能胜任音素级别的辨音纠音吗? 曾经试过豆包,发现豆包并不能准确说出发音错误,甚至还有不少假阳性。 大语言模型对节奏韵律也没有能力分辨。 说明多模态大模型的底层原理就不支持这个任务吧? 是我外行了吗?有没有懂模型底层原理的伙伴指点迷津。
葛立民
模型的歧视问题。这个和AI能不能做一个智力任务没有关系,模型的智力是涌现出来的。这里问题的本质是它其实反映了作为大模型绝大多数语料来源的美国社会里面白人的社会地位最高,印度人其次,东亚人最低。这是许多非英语母语的学者喜欢研究的一个ai治理有关的话题。类似的模型歧视现象非常容易就能测出来
葛立民评论了这条帖子
创业想法:民主国家 * 政治议程调研系统。 抓取政府、议会发布的公告和提案,搜寻官员和民意代表公开言论。社交网络情绪分析。 但是……卖给谁呢? 选举季倒是可以卖给候选人和政治动员组织。 — 脚注:我可没说哪个国家。
葛立民
美国的各级政府、议会、委员会等等,应该还是潜在的用户
葛立民回复了
谢谢你的回复!对我们产品建设非常有价值!你的顾虑也很合理,在设计产品时也重点考虑过 这确实是一款低频使用的app,目标是让用户设置好后,即使不每天打开,也能按照预设规则运行。 针对于长期可靠性,我们采用端侧加密和IPFS 分布式存储,并设计了独立的数据恢复方案。这样用户的数据保存和恢复就可以不依赖平台的持续运营,即使平台停止服务,用户仍能独立取回和解密文件 至于未来交付,我们也在完善相应的技术机制,希望让交付的可靠性建立在可验证的技术方案上,而不只是运营方的承诺。 你提到的付费顾虑也很重要,需要好好考虑,想问下,对于这种低频但长期有价值的工具,你会更偏向一次性付费还是订阅制呢?
葛立民
肯定是一次性付费,不然每次订阅扣款时我都会思考我到底需不需要它。一次性付费也许我激情下单就付了。
葛立民评论了这条帖子
完全不看好所有的personal agent产品 除非他们转型做AI电脑(类似ghost.ai👽
葛立民
彻头彻尾的美国特产品类,其他国家都行不通
葛立民
我就说要对你的ai温柔一点