Code-代码改变生活正在 Building

Token在燃烧,代码在跳动~ 职场老兵、AI笨鸟。冷板凳长年选手。【认知对齐】主理人

DP8 + EP吞吐更高,但延迟更差,而且大batch时会OOM。TP8 + EP延迟更好,并且增大max-num-batched-tokens后吞吐能明显提升
登录并发表评论

评论 · 0