ColumnParallelLMHead¶

class ColumnParallelLMHead(*args, **kwargs)[源代码]¶

重写 megatron 提供的列并行全连接层以支持在 eval 时保存隐藏状态（用于流水线并行），在 tp_size 为 1 时返回普通的全连接层（支持 peft 中的 lora 方法替换全连接层）。