AIが白黒写真をカラー化することで新な世界が生まれた 小池裕也写真展「新しい自然」の記事を読んで、人間にとって可視光でない赤外線カメラのグレースケール写真をAIでカラー化する、アイディアが面白いと感心する。

そういえばグレースケース写真のカラー化、今どういうのものが有るんだろうと調べると、Real-Time User-Guided Image Colorization with Learned Deep Priorsに行きつく。サイト上の動画が分かりやすいのだけど、CNNのアプローチのみで学習させると間違った色彩でカラー化される写真も多く、そのためのヒントを人が指示する必要がある。破綻した色にならないように、変えたい色のパレットを提案するので選択していけば簡単に意図した色彩でカラー化される。それらをいい感じのUIでできるようにしたよ、というもの。

UIがQtで動くソースコードも提供されているので動かしてみようか、と思ったらなんと論文著者がadobeに入社して Photoshop Elements 2020 に1機能として組み込まれたらしい。すごい。

というわけで15年ぶりぐらいに Photoshop Elements (試用版)を使ってカラー化してみる。おおなるほど良く出来てるな、しかしサンプル画像や動画の良い感じのカラー化はなかなか出来ず、色が少々破綻した感じのカラーにどうしてもなってしまう。ただ、Photoshop Elements というインストールが簡単で誰でも操作できるアプリケーションに組み込んだのは偉い。GPU使わずCPUのみで処理してるのも、どのマシンでも動くようにしていて偉い。

Photoshop Elements は昔は機能制限版 Photoshop 的なものだった気がするのだけど、今はだいぶ Photoshop と変わっていて、初心者向けレタッチやフィルタをいろいろかけれるソフトウェアになっていた。棲み分け的には正しいけど、この諦めが感じられるレガシーもっさりUIには、いろいろな歴史ともう直せなさそうな技術的負債を感じる。

左から、元画像、グレースケール、Photoshop Elements でカラー化した画像。

ディープネットワークを用いた大域特徴と局所特徴の学習による 白黒写真の自動色付けも久しぶりにチェックする。このデモサイトがよく出来ていて、カラー画像もドラッグするとグレースケールにして、それを再カラー化してくれるので、ほいほい画像を入れて変換後の画像が見られる。正直、Real-Time User-Guided Image Colorization with Learned Deep Priorsのモデルよりもこちらのモデルのほうが1発でカラー化したときの違和感の無さは高い。判定しやすいような色、例えば空、海、太陽、木々などはその色になり、その他の色はセピア化されるケースが多いので、違和感が殆どない画像になる。