2023年3月現在のsota optimizer MADGRAD, Adahessian, Ali-G, Lion MADGRAD momentumとdual averagingを用いた、Adagrad系列の最適化手法 【プラスポイント】 ・mirror descentよりも理論的前提条件が簡素なdual averagingを使用。 ・dual averagingによって…