Code-代码改变生活好用工具推荐Mimo-v2.5-pro-ultra-speed 。1000 tps超快推理 现在可以申请测试了! API 平台:platform.xiaomimimo.com/ultraspeed
Code-代码改变生活正在 BuildingDP8 + EP吞吐更高,但延迟更差,而且大batch时会OOM。TP8 + EP延迟更好,并且增大max-num-batched-tokens后吞吐能明显提升