anby.wtzJevJev可以根据给定的文本做决策 欸 那我拓展一下它的分类数量,给定一个问题,让它从词表里面决策最合适的第一个词给我如何 但是这样不能完整回答啊 把它回答的词再追加到输入继续问不就行啦 恭喜你发明了,大语言模型 ❍⩊❍
anby.wtz众所周知,MoE模型的能力相当于参数量为激活参数与总参数几何平均值的Dense模型。 这么计算后,Qwen3.8 Flash Next相当于27B Dense。而最强的27B Dense显然是Qwen3.8 27B,虽然Qwen3.8 27B比Flash Next差了一大截,但是这只能说明Qwen3.8 27B还没有实现27B本地模型的潜力。而这样的模型已经如此好用了。 希望阿里在云栖大会能出一个Qwen4 27B,那到时候本地模型真的就无敌了
anby.wtz我成功使用LM Studio在本地部署了IQ1_M量化的Qwen3.8 Flash Next,并实现了最高6.16tok/s的推理速度(达到了生产最低可用线20tok/s的30.8%) 我的配置: 显卡:RTX3060 12G x2 内存:DDR4 64G 硬盘:QLC SSD(别问为什么是QLC,问就是买的时候忘看了) 加载时GPU卸载设置为13层,上下文长度可以拉满到262K,关闭保持模型在内存中,启用尝试mmap(这会节省显存和内存,离谱的是64G的内存直接加载会OOM) 还有一个雷霆优化命令,加载模型完成后在GGUF目录下面运行: cat Qwen3.8-Flash-Next-UD-IQ1_M-00002-of-00003.gguf > /dev/null 它的作用是把GGUF文件放到Linux的页缓存里面,实测运行完这个命令后,初始的生成速度加快了38%(当然实际上在推理的时候Linux也会把真正用到的部分加载到页缓存,所以在前面的token中,可能出现越推理越快的现象) Q1量化的智商如何?在非思考模式下,我使用它和C端DeepSeek V4 Flash分别生成了一段介绍mmap的文章,并交给C端GLM Flash评分,结果是它竟然比DeepSeek高0.5分 同样是非思考模式,我尝试让它做2024北京中考的圆形综合(当年困住了我20分钟啊,到了2025年主流模型还无法做对,虽然现在大部分的模型都能做出来),它也是成功做对。而在非思考模式下,Gemma4-26B-A4B和Qwen3.8-27B都做不出来