一、使用方式
启动 TACO LLM 服务时添加参数 –sequence-parallel-size 2 即可开启序列并行，目前只支持 serve 方式，不支持 LLM 的离线方式（0.6.4版本开始支持）。
二、最佳实践
序列并行可以和张量并行一起使用，同时也可以和 FP8一起使用。序列并行适合符合如下几个特点的场景：
·由于序列并行具备通信计算重叠的优点，故适合在 PNV5b、4090PCIe 系列卡上。
·适合输入较长，输出较短的场景。
·建议与 FP8 一起使用，加速效果更好。
·适合 GQA 类的模型，由于 kv cache 更小，通信更小，相对于 TP 来说加速更快。
三、MHA 场景
当前测试模型大小为 Llama2 7B，序列长度为6000， SP 为2，在 PNV6/HCCPNV6 和 A800上，相对于 TP 无性能提升。
在 PNV5b 上 FP16：SP = 2的场景相对于 TP = 2场景，端到端性能有5%到15%的提升，prefill 性能提升15%-20%。
在 PNV5b 上 FP8：SP = 2的场景相对于 TP = 2场景，性能有15%到25%的提升。
四、GQA 场景
当前测试模型大小为 Llama3-8B。
在 PNV5b 上 FP16：SP = 2的场景相对于 TP = 2场景，端到端性能有10%到20%的提升，prefill 性能提升20%-30%。
在 PNV5b 上 FP8：SP = 2的场景相对于 TP = 2场景，端到端性能有20%到40%的提升，prefill 性能有40%-50%。