分享目前最可用的本地化部署方案： 平台EPYC 2代，这是唯一能够桌面级实现128条完全满血PCIE4.0通道了，同价位3647Intel平台在双路情况下也仅有88条，第四张显卡将跑在X8甚至是X4的速率上，根本不满足我们的目标 话不多说上配置表和跑分： （内存是我在5月时候选择的，从目前Qwen4预览的N-gram 内存Offload来说可能选择错误了，现在要配推荐选择更大的内存） AMD Epyc 7452 32C64T DDR4 REG ECC 16G 2133Mhz *2 华南金牌H12D8D（不建议选购16D，有Socket通信问题，除非你很需要8卡平台） RTX3080 20G*4 *存储推荐1t，linux必装，我们需要用到vllm TP功能及Flash Attention加速电源：1600W，胆子大的可以并联1250w使用 实测满载1300W上下浮动 MTP=1，权重fp8，激活fp8推理，Kv cache压缩至q8 Qwen3.8 27B 256k w8a8 ~67 TP/reqs，最大1.88 req/s Qwen3.6 27B 256k w8a8 ~65 TP/reqs，最大1.8 reqs/s Qwen3.6 35BA3B 256k w8a8 ~120 TP/reqs，最大6.8 reqs/s，十并发情况下高达1500 tps，这已经是非常可用的群体智能实验平台了 机器总造价1.68w，性价比爆棚，目前来买的话可能已经涨价到1.8w上下了 另：大部分配件是2手，没有保修慎入