CoLLiE: Collaborative Tuning of Large Language Models in an Efficient Way

CoLLiE 是一款用于高效训练、微调大模型的工具包，支持数据并行、张量并行、流水线并行、ZeRO优化等多种优化方式。

快速上手

• 1. 安装使用
  • 1.1   CoLLiE 的 快速安装
  • 1.2   CoLLiE 的 快速上手
  • 1.3   CoLLiE 的 快速运行
• 2. 功能特性
  • 2.1   CoLLiE 的 运行效率
  • 2.2   CoLLiE 的 兼容易用
  • 2.3   CoLLiE 的 丰富功能
• 3. 基础模块
  • 3.1   CoLLiE 的 Config 模块
  • 3.2   CoLLiE 的 Dataset 和 Model
  • 3.3   CoLLiE 的 Evaluator 和 Metric
  • 3.4   CoLLiE 的 Trainer 模块
• 4. 可选模块
  • 4.1   CoLLiE 的 Monitor 模块
  • 4.2   CoLLiE 的 Callback 模块
  • 4.3   CoLLiE 的 Server 模块
• 5. 高效训练
  • 5.1   CoLLiE 实现 LOMO 算法
  • 5.2   CoLLiE 结合 PEFT 算法
  • 5.3   其它高效优化器
• 6. 并行策略
  • 6.1   数据并行（Data Parallel）
  • 6.2   流水线并行（Pipeline Parallel）
  • 6.3   张量并行（Tensor Parallel）
  • 6.4   整合：3D并行（3D Parallel）
  • 6.5   零冗余优化器（ZeRO）

API 文档

• collie.config
  • CollieConfig
• collie.module
  • Modules
• collie.models
  • Models
• collie.controller
  • Controller
• collie.callbacks
  • Callbacks
• collie.optim
  • Optimizer
• collie.driver
  • Driver
• collie.metrics
  • Metrics
• collie.data
  • Data
• collie.utils
  • Dist Utils
  • Utils
  • Data Provider
  • Monitor
  • Padder

索引与搜索

• 索引

• 模块索引

• 搜索页面