久しぶりに喫茶新川屋に行き読書。夕暮れ時にはJBLスピーカから大音量でレコードが鳴って良い。その後は芦野温泉に立ち寄って帰る。最高じゃん。

ちまちまと読み進めていたVision Transformer入門を読み終える。ViTを自前で実装したり、ViT以前の画像・動画関係の機械学習の歴史〜ViTでどう変わったといったアーキテクチャの変遷だったり、CNNとViTの比較であったり（CNNは局所特徴をよく捉え、ViTは大局をよく捉える、各々の良さがあり組み合わせて使ったりする）等々、全然知らなかったのでめちゃくちゃ為になった。

著者のみなさんほとんどがCV分野で修士博士の方ばかりで、ちゃんと理解しているからこそ噛み砕いて伝えられるのだなぁ。

最近kaggleを再開し出す。新らしいGPUのRTX4090は3090に比べ思ったほど速くなく、transformer(バックエンドはpytorch)の学習でせいぜい1.2倍速程度。GPU Loadを見ると100％使ってるのだが、消費電力が250Wぐらい（最大450W）。3090は消費電力370Wほど（OCで最大420Wモデル）使ってるので、電力に対してのコストは安いのだけど、なんか真価を発揮できていない感じだ。

NVIDIA RTX4090 ML-AI and Scientific Computing Performance (Preliminary)によると、PyTorchのベンチマークは1.44倍速程度で、sm89対応（CUDA 12）の最適化まだだからじゃないかなーとのこと。なるほどなー。

まぁ手元に合計2台のGPUマシンがあるので、並列で実験を回せるのであれこれやる、というのはやりやすくなってよかったけど。あと寒くなってきたけど2台GPU回すと暖房いらずの熱量。