Lion

class Lion(params, lr=0.0001, betas=(0.9, 0.99), weight_decay=0.0)

一个优化器类Lion的官方实现。 论文地址：https://arxiv.org/abs/2302.06675 仓库地址：https://github.com/google/automl/blob/master/lion/lion_pytorch.py

参数:

• params -- 待优化的参数

• lr (default: 0.0001) -- 学习率，默认值为1e-4，通常低于Adam使用的学习率

• betas (default: (0.9, 0.99)) -- 用于计算运行时梯度均值和其平方的系数

:param weight_decay：权重衰减系数，默认值为0.0