ENFP | 后端 | 2024届高中生
我成功使用LM Studio在本地部署了IQ1_M量化的Qwen3.8 Flash Next,并实现了最高6.16tok/s的推理速度(达到了生产最低可用线20tok/s的30.8%)
我的配置:
显卡:RTX3060 12G x2
内存:DDR4 64G
硬盘:QLC SSD(别问为什么是QLC,问就是买的时候忘看了)
加载时GPU卸载设置为13层,上下文长度可以拉满到262K,关闭保持模型在内存中,启用尝试mmap(这会节省显存和内存,离谱的是64G的内存直接加载会OOM)
还有一个雷霆优化命令,加载模型完成后在GGUF目录下面运行:
cat Qwen3.8-Flash-Next-UD-IQ1_M-00002-of-00003.gguf > /dev/null
它的作用是把GGUF文件放到Linux的页缓存里面,实测运行完这个命令后,初始的生成速度加快了38%(当然实际上在推理的时候Linux也会把真正用到的部分加载到页缓存,所以在前面的token中,可能出现越推理越快的现象)
Q1量化的智商如何?在非思考模式下,我使用它和C端DeepSeek V4 Flash分别生成了一段介绍mmap的文章,并交给C端GLM Flash评分,结果是它竟然比DeepSeek高0.5分
同样是非思考模式,我尝试让它做2024北京中考的圆形综合(当年困住了我20分钟啊,到了2025年主流模型还无法做对,虽然现在大部分的模型都能做出来),它也是成功做对。而在非思考模式下,Gemma4-26B-A4B和Qwen3.8-27B都做不出来