Shortcuts

ColumnParallelLinearWithoutBias

class ColumnParallelLinearWithoutBias(input_size, output_size, *, bias=True, gather_output=True, init_method=<function xavier_normal_>, stride=1, keep_master_weight_for_test=False, skip_bias_add=False, async_tensor_model_parallel_allreduce=True, params_dtype=torch.float32, use_cpu_initialization=False, perform_initialization=True, gradient_accumulation_fusion=False, sequence_parallel_enabled=False)[源代码]

重写 megatron 提供的列并行全连接层以去掉结果中的 bias

tp_size 为 1 时可以返回普通的全连接层(支持 peft 中的 lora 方法替换全连接层)

training: bool