llm summarize

分布式并行技术：

• 数据并行
• 流水线并行
• 张量并行
• 序列并行
• 多维混合并行
• 自动并行
• MOE 并行

大模型算法结构：

• Transformer
• GPT2 (345M)
• Bloom
• LLaMA / LLaMA2
• ChatGLM
• ChatGLM2

分布式训练框架：

• DeepSpeed
• Megatron-LM
• Alpa