久しぶりに朝起きたら走りたい感じだったので、15分ほど軽くジョギング。週3～4日ぐらいはまた走るのを再開したいなぁ。

今日の機械学習は転移学習周りをいろいろやったり、自然言語処理ではメインストリームになりつつある Transformer の画像応用版である、Vision Transformer をあれこれ調べたり。Keras オフィシャルの記事 Image classification with Vision Transformer に解りやすい実装がのっていて、こんなこともあんなことも keras だけでできるのかーと感心する。ブラックボックス的に使うならvit-kerasで、すんなり使うことが出来た。

ただ各所で述べられている通り Google が良いスコアを出しているのは巨大プライベートデータセットの[JFT-300M

](https://paperswithcode.com/dataset/jft-300m)で学習したときで、自分たちが使うことができるモデルはたいてい ImageNet21k での学習モデルなので現在は大抵の用途では CNNの ほうが良い結果なることが多いのだけど、今後は ImageNet21k でもパフォーマンスが出る仕組みの画像系Transformerが出るとは思うので期待だ。

最近は Kaggle でコンペではなく調べ物する事が多くて、よく出来たサービスだなぁと感心する。Datasets / Code / Discussions で良質な情報が見つかることが多い。とりわけ Datasets や Code はその名の通りデータセットと notebook とセットなので、まま動くものが手に入るのも嬉しい。今日読んだものだと、Vision Transformer (ViT) Fine-tuning など理解しやすかった。

夜はオリンピックを見る。柔道男子60キロ級は三位決定戦も決勝も共に指導3回で反則負けで、スッキリとしない試合。2017年のルール改正で4回から3回で負けとなったようなのだけど、指導は素人目だと審判の主観によるものが多そうにも見え、えっいまので指導で終わりなの！？と感じてしまった。

続いて女子ソフトボール予選で日本対イタリア。野球は見るけどソフトボールは普段全く見ないので新鮮な感じで試合を見れた。ソフトボールは13年ぶりのオリンピック種目、次のパリオリンピックでは種目に入らないということで、種目によっては毎回確定しているわけでは当然ながら無いのだなぁ。