DP8 + EP吞吐更高，但延迟更差，而且大batch时会OOM。TP8 + EP延迟更好，并且增大max-num-b…

Token在燃烧，代码在跳动~ 职场老兵、AI笨鸟。冷板凳长年选手。【认知对齐】主理人

DP8 + EP吞吐更高，但延迟更差，而且大batch时会OOM。TP8 + EP延迟更好，并且增大max-num-batched-tokens后吞吐能明显提升

6月4日

登录并发表评论

Token在燃烧，代码在跳动~ 职场老兵、AI笨鸟。冷板凳长年选手。【认知对齐】主理人

DP8 + EP吞吐更高，但延迟更差，而且大batch时会OOM。TP8 + EP延迟更好，并且增大max-num-batched-tokens后吞吐能明显提升

6月4日

登录并发表评论

评论 · 0