CoLLiE.metrics

Optimizer

Lomo	一个自定义的优化器类Lomo，用于在分布式训练中的梯度更新。
Adan	一个优化器Adan的官方实现。 论文地址：https://arxiv.org/pdf/2208.06677.pdf 仓库地址：https://github.com/sail-sg/Adan
Lion	一个优化器类Lion的官方实现。 论文地址：https://arxiv.org/abs/2302.06675 仓库地址：https://github.com/google/automl/blob/master/lion/lion_pytorch.py
SophiaG	一个优化器类SophiaG的官方实现。 论文地址：https://arxiv.org/abs/2305.14342 仓库地址：https://github.com/Liuhong99/Sophia