Open-AIが公開した多言語音声→テキストのWhisper。どうせ日本語の精度はいまいちでしょ？と思ったのだけど、論文の評価指標を見ると日本語も上位の精度。HuggingFace Spaces でさくっとウェブブラウザ上で試せるので使ってみると、かなり精度高いなぁ。しかもSpacesで動いているものはモデルサイズはlargeじゃなくてsmallでこのレベルなのか。

HuggingFace Spaces 上で機械学習モデルをいちいちColabや手元で動かさなくともデモとして動かせるものが最近は多くて便利だなぁ。

Spaces で動かしているコードを見ると、gradioでブラウザ上で録音→音声をモデルに食わせる、というのをちょろっと書いて作っている。gradioにしろ、steamlitにしろ、WebUIをいちいち書かなくてもちょっとした機械学習のコンセプトWebUI実装を作れて便利になったものだ。

---

Fine Tuning Stable Diffusionで画像とキャプションのペアを用意するのに使っていたことで知った、Image-Text CaptioningやVisual Question AnsweringのBLIP。結構ちゃんとキャプションつけれてすごいな。写真に対しての質問にも答えてくれる、"When was this photo taken?"とか。例によって Spaces のデモもある。

Zero-shot video-text retrieval ものっていてなるほど。Image-Text Captioning ができるなら撮影した動画をテキスト検索可能だよなぁ。動画の一部にピザが写っていて、そのシーンまで飛ばしたい、みたいな検索もできるよなぁ。iOSの標準写真アプリに付きそうな機能だ、というか動画検索もとっくについていた…。

BLIPはSalesforceが作っていて、たしかに toB 用途でもでこういう機械学習タスクっていろいろ応用ができそう。LAVIS - A Library for Language-Vision Intelligenceなんてのもつくってるのね。

---

夜は行きたかったラーメン屋が製麺機故障により臨時休業だったので、ラーメンたかはしへ。ドロつけ麺うまし。チャーシューが3バリエーションから6バリエーションに増えていて、店主の創作意欲に毎度おののく、すごいラーメン愛だ。

明日のミーティングが今日にずれたりして、密ミーティングの1日であった。

---

【概要速修】Stable Diffusion(テキストから画像生成)はどうやって実現するのかざっくり仕組みを知る(DiffusionModel,Deep Learninig)【機械学習解説動画】を見る。ざっくり解説として、非常に解りやすいよく出来た説明動画だ。CLIP, U-Net, VAE, Diffusion Model どれもざっくり説明していて流れが解りやすい。

---

ステート・オブ・AIガイドのサブスクを始めて一週間がたった。最新研究関連の記事も多く、そのへんの情報を全然インプットできてなかったので良い感じ。また暇な時にバックナンバーを読んでいるだけで延々と時間が消費できてしまう。月14$だけど、良質な記事が読めるので十分ペイしそうだ。

寒い一日。キーボードを打つ手がかじかみだして、初暖房をつける。ひざ掛けや羽毛布団など、冬に備えて天日干しにする。

---

RTX4090発表。円安につきなかなかのお値段。そろそろZen4 CPUのRyzen 7950も出るし、来月あたりにはマシン新調かな。部屋で今のマシンと新マシンでGPU回したときの部屋のブレーカが心配だ。

---

夕方、縦に長いうろこ雲。昨日の台風(線状降水帯)の影響もありそう。

---

夜は那須山温泉、その後温泉前の蔵鋤で晩飯。蔵鋤の餃子はちょうどよい美味しさで、いつも3枚ほど頼んでしまう。

台風がすぎる。冬を感じさせる寒さの一日。またあの寒い冬がやってくるのかぁ。

---

友人夫妻と久しぶりにリモートで話す。彼らの家に泊まりにいかせてもらって、田舎に住むという選択肢良いじゃん、と思ったのだよなぁ、あの体験がなければ都会から離れていなかったかもしれない。今回も久しぶりに話そう、と声をかけてもらってありがたいかぎり。

---

吾妻ひでお氏の失踪日記が無性に読みたくなり、昔は物理で持っていたのだけど、を電子書籍で1・2巻購入。電子書籍はちょっと巻末に漫画が追加されてるのね。ホント大変であったであろう話を面白く描けていて、独特の読後感。

---

夕食、れんこんの挟み揚げ。

昼ぐらいに悪寒がしてきて、熱を測るとちょい風邪気味の微熱。外出予定だったのだけど、もし何かが感染ると嫌だなぁと家でゆっくりと過ごす。

家では妻が友人を招いてお菓子作り会をやっていたようで、楽しそうな笑い声が聞こえてきて何よりだ。

---

最近のゲームは引き続きマイクラダンジョンズを、ちまちま二人プレイでやっている。結構長く遊べている。

スペイン語Duolingoは1日最低1学習以上を続けている。もうちょっと旅行会話向けにフォーカスした学習ができると良いのだけど。例えば"茶色のシャツ"(Una camisa marrón)とか、初級会話表現だろうけど、旅行中に覚えていてもあんまり使わなさそうな言葉が多いと学習意欲がわかないのだよな。

またDuolingoは今のところ課金せずにやっているので広告が入るのだけど、動画広告にソーシャルゲーム広告が結構出てきてコンテキストにあってない感じで面白い。言語学習させたいのか、ゲームをさせたいのか。

---

ライカのレンズ、Summilux M f1.4/35mm ASPH.の新モデルが登場。最近MにはSummicron M35mm F2 ASPH.ばかりつけていて(コンパクトだしコレつけておけば安心感が半端ない)とりわけ不満はないのだけど、最短撮影距離 70cm がなぁ、というところで新ズミルックスは40cmまで近づけると。この最短撮影距離は魅力、なのだけどお値段が実売税込み約80万円弱…。嗜好品である。

某所の Transformers 勉強会ネタとして、ゼロショットで実現できるテキストからの画像検索を書いてみる。テキストと画像を組み合わせた検索は CLIP 使えば簡単に実現できそうで、日本語翻訳で学習させたJapanese-CLIPもあるので簡単に作れそうと思ってはいたけど、やっぱり簡単だった。良い日本語モデルを公開してくれているrinna社に感謝だ。

このブログの記事画像6000枚の特徴ベクトル化にRTX3090で適当にやって20秒ぐらい。日本独自ドメインの単語はうまく検索できない事が多いが、大抵は良い感じに検索できる。6000枚程度の512次元ベクトルのコサイン類似度を計算するだけなので全探索オンメモリ + CPU で十分な速度。

ただこのブログは静的なビルドで作られていて、画像を特徴ベクトル化するのはビルド時にやればよいが、検索クエリ文字列を特徴ベクトル化するのは動的な実行が必要となってしまうので、静的サイトに基本的には組み込めない。

エッジ(ブラウザ)環境で動かすために、praeclarum/transformers-js: Browser-compatible JS library for running language modelsなどでは、ONNX で JS で動くように変換してやっていたりするが、単純に量子化しても数十MBの重みになりそうで(demoではt5-small量子化した重みをダウンロードしているが、合計110MB強)、検索するときに重みをわざわざブラウザにダウンロードさせるのも重すぎるのだよな。

---

芦野温泉に浸かり、その後道の駅に行くいつもの休日パターン。道の駅周辺では彼岸花がシーズンを迎え綺麗。彼岸花、複雑な形で好きなのだよなぁ。

昼食は道の駅のあんず館。このへんの道の駅の食堂は大抵どこもどれも美味しい。950円のヒレカツ定食、とんかつ専門店よりだいぶお安い値段だけど大満足。

黄金の稲穂がそこらかしこにある風景。稲刈りシーズン真っ只中。

---

昼食はつけ麺が食べたくなり竹風でつけ麺。優しい味わい。那須塩原近辺でまだ見つけられてない味としては、六厘舎やとみ田のような系列のまたおま系のどろり濃厚豚骨魚介つけ麺のお店で、時たま無性に食べたくなるのだよなぁ。

足の指の炎症が良くなってきたと思ったら、今度は肩の痛みが続く。これはコロナワクチン3回目接種後の同じ場所が痛みだしたのでは…と症状を色々検索すると、ズバリ四十肩(五十肩)の症状だなぁ。片方の肩だけが痛くなったり、寝れないほどの激痛になったり、1-2ヶ月周期的に回復したり悪くなったり。寝れないほどの激痛は初回のみで、今はひどい肩こりだなぁ、というぐらいの辛さでなんとかなっているのがせめてもの救い。本厄年の今年は体調に問題ないの期間のほうが短いぐらいだなぁ、なにか治ると別のところが悪くなる感じ。

---

そろそろ涼しい季節になってきたので、夏の間使っていなかった(というより暑すぎて外で休めない)インフィニティチェアを丸洗い。久しぶりに外でインフィニティチェアに寝っ転がると最高な感じだ。

最近は朝起きるとまだ暗く、日が短くなったなぁと感じる。日中はそこそこ暑くクーラーを入れる日もあるけど、夜はタオルケット一枚じゃ寒いぐらいの日もある。

家庭菜園はミニトマトは終わってしまい、茄子は収穫二周目。地這いキュウリは旬は去ったけど、一日1-2本はとれる。時期外れに植えた水なすは収穫シーズンを迎える。

---

昨晩温泉＆サウナに行ったのでシャキっとした目覚め。ただなぜかひどい肩こりを感じた一日。ので、昨日に引き続いて那須山温泉へ。毎日気軽に行ける近さよ。

---

手作り木製雑貨屋Flangeで買ったドライフラワー家。かわいい。

---

映画ODDTAXI イン・ザ・ウッズがPrimeで見れるようになったので見る。2時間によく再構成したなぁ。TV版に加え、最後に後日談が追加されている。ストーリーの大筋は覚えていたけど、ぜんぜん楽しく観れたな～。