CollieDataLoader

class CollieDataLoader(dataset, batch_size, accumulation_steps=1, shuffle=False, pin_memory=True, collate_fn=None, num_workers=None, sampler=None, drop_last=False, data_efficiency_config={})

CoLLiE 封装的 DataLoader。

在流水线并行的情景下每次迭代取出 batch_size * accumulation_steps 个 sample。

参数:

• dataset --

• batch_size --

• pin_memory (default: True) --

• shuffle (default: False) --

• accumulation_steps (default: 1) --

• collate_fn (default: None) --

• num_workers (default: None) --

• sampler (default: None) --

• drop_last (default: False) -- 当最后一个 batch 样本数不足时是否丢弃。在流水线情况下如果为 False，则会补齐最后一个 batch。

• data_efficiency_config (default: {}) -- DeepSpeed 中关于 Data Effiency 部分的设置