CoLLiE.module

Modules

ColumnParallelLinearWithoutBias	重写 megatron 提供的列并行全连接层以去掉结果中的 bias。
ColumnParallelLMHead	重写 megatron 提供的列并行全连接层以支持在 eval 时保存隐藏状态（用于流水 线并行），在 tp_size 为 1 时返回普通的全连接层（支持 peft 中的 lora 方法替换全连接层）。
RowParallelLinearWithoutBias	重写 megatron 提供的行并行全连接层以去掉结果中的 bias。在 tp_size 为 1 时返回普通的全连接层（支持 peft 中的 lora 方法替换全连接层）
GPTLMLoss	最基本的 GPT 语言模型的损失函数。
PipelineGenerationMixin	重写 transformers 提供的 GenerationMixin 以支持 CoLLie 中的流水线 模型。