A Day in the Life

画像をテキストで検索 / 2022年9月18日

某所の Transformers 勉強会ネタとして、ゼロショットで実現できるテキストからの画像検索を書いてみる。テキストと画像を組み合わせた検索は CLIP 使えば簡単に実現できそうで、日本語翻訳で学習させたJapanese-CLIPもあるので簡単に作れそうと思ってはいたけど、やっぱり簡単だった。良い日本語モデルを公開してくれているrinna社に感謝だ。

このブログの記事画像6000枚の特徴ベクトル化にRTX3090で適当にやって20秒ぐらい。日本独自ドメインの単語はうまく検索できない事が多いが、大抵は良い感じに検索できる。6000枚程度の512次元ベクトルのコサイン類似度を計算するだけなので全探索オンメモリ + CPU で十分な速度。

text_image_search

ただこのブログは静的なビルドで作られていて、画像を特徴ベクトル化するのはビルド時にやればよいが、検索クエリ文字列を特徴ベクトル化するのは動的な実行が必要となってしまうので、静的サイトに基本的には組み込めない。

エッジ(ブラウザ)環境で動かすために、praeclarum/transformers-js: Browser-compatible JS library for running language modelsなどでは、ONNX で JS で動くように変換してやっていたりするが、単純に量子化しても数十MBの重みになりそうで(demoではt5-small量子化した重みをダウンロードしているが、合計110MB強)、検索するときに重みをわざわざブラウザにダウンロードさせるのも重すぎるのだよな。


芦野温泉に浸かり、その後道の駅に行くいつもの休日パターン。道の駅周辺では彼岸花がシーズンを迎え綺麗。彼岸花、複雑な形で好きなのだよなぁ。

昼食は道の駅のあんず館。このへんの道の駅の食堂は大抵どこもどれも美味しい。950円のヒレカツ定食、とんかつ専門店よりだいぶお安い値段だけど大満足。

撮影機材ricoh gr iiix

似ている画像がある記事

京都、嵐山、大覚寺初詣・コンピュータアーキテクチャ技術入門 / 2022年1月3日2021年4月10日宮古島最終日・イムギャーマリンガーデン・観光農園ユートピアファーム・与那覇前浜ビーチ再び / 2020年10月7日2021年11月18日簑沢彼岸花公園・1Password 3年版 / 2022年9月28日尚仁沢湧水・おいらじの滝・かつ饗 / 2023年11月11日2022年10月6日

同じ日付の日記

帯広から新千歳 / 2024年9月18日
朝、朝食前に温泉に。このホテルの温泉はモール温泉というらしく、初めて入ったのだけど気に入って昨晩から三回目の入浴。本当はサウナ推しのホテルなのだが、サウナよりもモール温泉の方が気に入ったなぁ。至る所に木彫りのクマ(写真は考えるクマ)が置いてあったのも可愛かったな。 ---帯広から...
朝、朝食前に温泉に。このホテルの温泉はモール温泉というらしく、初めて入ったのだけど気に入って昨晩から三回目の入浴。本当はサウナ推しのホテルな...
2023年9月18日
芦野温泉とパラディ。
芦野温泉とパラディ。
2021年9月18日
台風の影響で、ときどき豪雨なお天気。今日の基本統計学は、6章の章末問題を1~24まで。復習になってちょうどよい感じ。この章は48個ぐらい章末問題がありやりごたえがあるのだけど、この章に限ったことではないが、現実世界に照らし合わせた問題になっている物が多く、解いていて楽しい。
台風の影響で、ときどき豪雨なお天気。今日の基本統計学は、6章の章末問題を1~24まで。復習になってちょうどよい感じ。この章は48個ぐらい章末...
2020年9月18日
朝、久しぶりに良い天気なので日の出を見に散歩へ。日の出前の空は紫色で、その後大きな虹が2つ架かる。一つははっきり、一つはぼんやり。天気雨が降るとあっという間に虹が消えてしまった。空気中の水分が増え、光の反射が変わってしまったからなのだろうなぁ。海面が高く、普段は浸水しない公園も浸...
朝、久しぶりに良い天気なので日の出を見に散歩へ。日の出前の空は紫色で、その後大きな虹が2つ架かる。一つははっきり、一つはぼんやり。天気雨が降...
2019/09/18
今日も今日とて片付け搬出などを行う。今回新しく知った便利なこととしては、フローリングシートウェットタイプがめっちゃほこり取りに役立つ。今までは乾燥したクイックルワイパーのシート部分を雑巾代わりにほこりをとっていたのだけど、これだとどうしてもホコリが床に落ちてしまう。ウェットタイプ...
今日も今日とて片付け搬出などを行う。今回新しく知った便利なこととしては、フローリングシートウェットタイプがめっちゃほこり取りに役立つ。今まで...