A Day in the Life

2021年7月24日

久しぶりに朝起きたら走りたい感じだったので、15分ほど軽くジョギング。週3~4日ぐらいはまた走るのを再開したいなぁ。


今日の機械学習は転移学習周りをいろいろやったり、自然言語処理ではメインストリームになりつつある Transformer の画像応用版である、Vision Transformer をあれこれ調べたり。Keras オフィシャルの記事 Image classification with Vision Transformer に解りやすい実装がのっていて、こんなこともあんなことも keras だけでできるのかーと感心する。ブラックボックス的に使うならvit-kerasで、すんなり使うことが出来た。

ただ各所で述べられている通り Google が良いスコアを出しているのは巨大プライベートデータセットのJFT-300M で学習したときで、自分たちが使うことができるモデルはたいてい ImageNet21k での学習モデルなので現在は大抵の用途では CNNの ほうが良い結果なることが多いのだけど、今後は ImageNet21k でもパフォーマンスが出る仕組みの画像系Transformerが出るとは思うので期待だ。


最近は Kaggle でコンペではなく調べ物する事が多くて、よく出来たサービスだなぁと感心する。Datasets / Code / Discussions で良質な情報が見つかることが多い。とりわけ Datasets や Code はその名の通りデータセットと notebook とセットなので、まま動くものが手に入るのも嬉しい。今日読んだものだと、Vision Transformer (ViT) Fine-tuning など理解しやすかった。


夜はオリンピックを見る。柔道男子60キロ級は三位決定戦も決勝も共に指導3回で反則負けで、スッキリとしない試合。2017年のルール改正で4回から3回で負けとなったようなのだけど、指導は素人目だと審判の主観によるものが多そうにも見え、えっいまので指導で終わりなの!?と感じてしまった。

続いて女子ソフトボール予選で日本対イタリア。野球は見るけどソフトボールは普段全く見ないので新鮮な感じで試合を見れた。ソフトボールは13年ぶりのオリンピック種目、次のパリオリンピックでは種目に入らないということで、種目によっては毎回確定しているわけでは当然ながら無いのだなぁ。

撮影機材RICOH GR III

関連するかもエントリー

2021年3月12日
昨日の夕食の鮭のアクアパッツアと、その残り汁で作った昼飯のリゾット。アクアパッツァは塩鮭だったため鮭の味がちょっと濃かったのだけど、その分リゾットはちょうどよい味になりとても美味しい。なんか今日はやたらと眠く、午前中昼寝して、午後もちょっと寝て、と寝てばかりの一日だった。自宅はベ...
昨日の夕食の鮭のアクアパッツアと、その残り汁で作った昼飯のリゾット。アクアパッツァは塩鮭だったため鮭の味がちょっと濃かったのだけど、その分リ...
2021年7月14日
夜は機械学習コンペの続き。本当にやるべきことは、データをきちんと見ることやあれこれモデルを試すことなのだけど、それよりも開発環境整備ばかりしてしまう。趣味のことなので嗜好が出るなぁ。
夜は機械学習コンペの続き。本当にやるべきことは、データをきちんと見ることやあれこれモデルを試すことなのだけど、それよりも開発環境整備ばかりし...