foreach関数によるoptimizerの高速化。実装例コード有り。

foreach関数とは PyTorchには、torch._foreach_addやtorch._foreach_expといった、foreachの接頭辞を持つ関数が存在する。このforeach関数とは、テンソルのリストを引数として受け取り、その関数の名に含まれる処理をそのリスト内の各テンソルに施す関数であ…

【2023年3月】sota optimizer（最適化手法）まとめ

2023年3月現在のsota optimizer MADGRAD, Adahessian, Ali-G, Lion MADGRAD momentumとdual averagingを用いた、Adagrad系列の最適化手法 【プラスポイント】 ・mirror descentよりも理論的前提条件が簡素なdual averagingを使用。 ・dual averagingによって…