昼間、久しぶりの本降りの雨。一日中雨かなーと思っていたら、夕方雨がやみ太陽が薄っすらと見えたので散歩に出ると丁度虹が出ていた。綺麗だなーと眺めてると、ほんの数分で虹は消えてなくなる。見れてよかった。

雨上がりの西だけが晴れていている空、不思議な感じで夕焼けがビルを照らす。

遠くから見ると桜かな、と思った木だったけど、近寄ると別の花だった。調べてみると木蓮なのかー。木蓮は白いイメージだったけど、ピンクの木蓮もあるのね。

夜、映画星の王子 ニューヨークへ行く2を観る。1はすごくおぼろげながらしか話を覚えておらず、1をもう一度観てから見たほうが断然楽しめたのだろうなぁ。あと星の王子ニューヨークへ行く、のタイトルを見るたびにフリクリの星の王子さまニューヨークへ行くカレーを思い出し、レトルトカレーを食べたくなる。

ニューラルネットワークの学習中に、ちょこちょことSteamでLoop Heroをプレイする。なるほど今までにありそうでなかったローグライトゲーだ。新しい感覚の面白さで、一言で言いあらわせないタイプのゲーム。Steam レビューに「ローグライト逆タワーディフェンスハクスラ箱庭カードビルダークラフトボードストラテジーRPG」というタイトルでの投稿があるけど、まぁそんな感じ。

うーん、NN学習がすぐ終われば良いのだけど、そうでないので別のことをやってしまいがち。数時間以上みっちりかける学習はまぁ放置するしかないので棲み分けはできるが、10-30分ぐらいで終わる学習、だと中途半端なのだよなぁ。もっと速く学習を終わらせるためにRTX3080が売ってたらすぐにでも買いたいけど、そういうタイミングに限って供給不足で悲しみ。

機械学習学習日記 - 40日目

scikit-learnとTensorFlowによる実践機械学習の17章、オートエンコーダとGANを使った表現学習と生成型学習を読む。

まずはオートエンコーダの概要と使い方の例で、PCAを行い簡単な次元削減。次にスタックオートエンコーダを作り、学習させた画像を再構築させたり、次元削減してクラスタリングしたり、ノイズ除去したり。他にも様々なオートエンコーダを紹介・実装し最後は生成的モデルである変分オートエンコーダで画像を生成する。

後半はGANの話で、生成器・判定器を作り学習・評価を行うことで生成器と判定機を訓練する。しかしながら、ナッシュ均衡やモード崩壊(同じ進化を繰り返し多様性が失われる)それ以上の学習ができなくなる問題が現れる。これらをある程度克服したDCGANが生まれ、続いて高解像度画像も生成できるPGGAN、style transferを使ったStyleGANなど今は様々なGAN研究が進められている。

なおPGGANやStyleGANの最初の論文はNVIDIAのチームということで、確かにNNの論文ではNVIDIA rearchのものをよく見かける。なるほどNVIDIAはGPUが広く活用されるために行っているのだなぁ。自作PCを初めて作った1998年にNVIDIA のビデオチップの RIVA 128を買った頃は NVIDIA がこんな大企業になるとは思ってもなかったなぁ。

せっかくGANの実装を見たので、DCGANでなにか学習させて生成してみようかなと、平仮名を生成させる。まずは手書きの「あ」約1300字で学習させて生成させる。一文字だとわりとすぐ「あ」を書けるようになった。

続いて約7万字のひらがなを同じネットワークに学習させるも遅すぎて、だいぶ削ったデータでやるも、学習途中から収束せず(もっと時間かければ収束するのかもだけど)、今日はここまで。