终于还是到了这一步
我将在年底前陆续开源我的vibe design功能下个月发布第一个ai native设计工具eagle做不好的事情我来做
命题是：AI能力边界在哪里？端到端的匹配能力，被什么结构所制约？
我们先来看一个网站，https://isaiprofitable.com/
无一例外，全军覆没。在目前军备竞赛已经进入尾声，AI公司需要再花数年才能达到Break-even point。我们必须想起2000-2001年的血雨腥风。
过去一年的llm进入了狂飙，短短一年时间模型体量从数百B大跨步进入了T计量时代，MOE成为主流，也就是说FP16下，从1T及以内的单柜方案，到一排机柜的巨额投入。资产负债表已经达到了前所未有的压力时刻，逐渐恶化的债务危机，已经不是attention，moe，巨型模型，后训练所补得上的大洞，换句话讲，资本透支了十年，创造了今天的AI奇观。但是它的能力和创收速度完全无法支撑。
从技术原理出发，以Transformer模型的预测方法，我们永远没有办法跳出短期memory之外，AI真的可以用概率真正理解Humanity或者说你的non-verbal意图是什么吗？并且对于人类世界来说context一定要抽象成文本和向量来理解吗？目前的算力水平，甚至是未来的算力水平、当下看半导体工艺完全支撑不起来——成本再翻一倍，上升周期福利结束了，投入规模从脚踝砍掉，还能继续游戏吗？端到端的极限已然明朗，架构、资本游戏都已经没有多少时间和耐心留给基模了。那么游戏又要回到上个时代，分治法，面向场景和切分输入环节的端到端需求配——AI工具。我与我司算法关于基模能力的讨论就是围绕这几点展开的，经济账，半导体工艺迭代速度，目前ai训练架构导致的边际效用递减，人类表达能力的边界。AI做不到的，就是AI工具的土壤，但是要看到这个尽头，到底需要什么，我也正在寻找。
头像上图右咧着嘴笑的，难忍喜悦的就是我，图左是我的偶像，是国内学设计大概率绕不开的老师，对的就是王受之，你怎么知道我有王受之老师的签名书？
lovart实现了一个我在4月提出的功能
我司依旧在论证
在硬件厂做创新真的是难如登天，等失望积累到一定程度灵魂自然会选择自由吧
分享目前最可用的本地化部署方案：
平台EPYC 2代，这是唯一能够桌面级实现128条完全满血PCIE4.0通道了，同价位3647Intel平台在双路情况下也仅有88条，第四张显卡将跑在X8甚至是X4的速率上，根本不满足我们的目标
话不多说上配置表和跑分：
（内存是我在5月时候选择的，从目前Qwen4预览的N-gram 内存Offload来说可能选择错误了，现在要配推荐选择更大的内存）
AMD Epyc 7452 32C64T
DDR4 REG ECC 16G 2133Mhz *2
华南金牌H12D8D（不建议选购16D，有Socket通信问题，除非你很需要8卡平台）
RTX3080 20G*4
*存储推荐1t，linux必装，我们需要用到vllm TP功能及Flash Attention加速电源：1600W，胆子大的可以并联1250w使用
实测满载1300W上下浮动
MTP=1，权重fp8，激活fp8推理，Kv cache压缩至q8
Qwen3.8 27B 256k w8a8 ~67 TP/reqs，最大1.88 req/s
Qwen3.6 27B 256k w8a8 ~65 TP/reqs，最大1.8 reqs/s
Qwen3.6 35BA3B 256k w8a8 ~120 TP/reqs，最大6.8 reqs/s，十并发情况下高达1500 tps，这已经是非常可用的群体智能实验平台了
机器总造价1.68w，性价比爆棚，目前来买的话可能已经涨价到1.8w上下了
另：大部分配件是2手，没有保修慎入