<p>最近温泉行ってないなーと、温泉に行きたい欲はありつつも、ちょいと気怠かったので熱を測ると微熱。気怠さが夜も抜けなかったので、20時頃就寝する。</p>
<hr>
<p>今日はバラの練習。同一画像を元にControlNetから生成。</p>
<p><img src="https://i.imgur.com/TzbWoaW.png" alt="bara"></p>
<p><img src="https://i.imgur.com/W4kVHgv.png" alt="bara"></p>

最近温泉行ってないなーと、温泉に行きたい欲はありつつも、ちょいと気怠かったので熱を測ると微熱。気怠さが夜も抜けなかったので、20時頃就寝する。今日はバラの練習。同一画像を元にControlNetから生成。barabara

2023年7月4日

<p>生花はそろそろ枯れそうだなと思ったら吊るしてドライフラワー化している。結構溜まってきた。</p>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20220706_L1002404.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20220706_L1002404.webp" class="photo" itemprop="image" /></a></span></div>
<hr>
<p>毎日妻が混ぜて面倒を見ている梅酒、じゃなくて梅ドリンク。もうそろそろ飲めそう。</p>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20220706_L1002413.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20220706_L1002413.webp" class="photo" itemprop="image" /></a></span></div>
<hr>
<p>久しぶりに那須山温泉でサウナ。平日夜は人がかなり少なくて、サウナの温度も保たれて快適。</p>
<hr>
<p>マーケティング・エンジニアリング入門読み進めは、第4章マーケティング反応の分析。一般的な分析の流れとモデルをいくつか紹介。本書では表とグラフと述べているが、いわゆるエクセルやBIツールの汎用分析で済むような「早さ」と、そのデータにあったモデルを作成する「詳しさ」は相反するものであり、どちらが重要か要件によって異なる。</p>

生花はそろそろ枯れそうだなと思ったら吊るしてドライフラワー化している。結構溜まってきた。毎日妻が混ぜて面倒を見ている梅酒、じゃなくて梅ドリンク。もうそろそろ飲めそう。久しぶりに那須山温泉でサウナ。平日夜は人がかなり少なくて、サウナの温度も保たれて快適。マーケティング・エンジニアリング入門読み進めは、第4章マーケティング反応の分析。一般的な分析の流れとモデルをいくつか紹介。本書では表とグラフと述べているが、いわゆるエクセルやBIツールの汎用分析で済むような「早さ」と、そのデータにあったモデルを作成する「詳しさ」は相反するものであり、どちらが重要か要件によって異なる。

2022年7月4日

<p>昼間、懐かしのメンバーでオンライン飲み会。15年前ぐらいは毎日IRC雑談していた人たちだけど、今はみなさん各々の家庭もあるので時たまチャットで会話するぐらいで、昔のようにPCの前にかじりついているわけではなくライフスタイルは変わったなーと思う反面、芯の部分においてはそんなに変わったようには感じない、安心できる感覚。夕方からは結婚式打ち合わせのため、残念ながら途中退出する。また時々話したい。</p>
<hr>
<p>山下公園を上から。</p>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20210705154333.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20210705154333.webp" class="photo" itemprop="image" /></a></span></div>
<hr>
<p>夜に録画していた、<a href="https://www4.nhk.or.jp/sekaimachi/x/2021-06-29/10/20620/2204531/">世界ふれあい街歩き トルコ イスタンブール</a>(2012年撮影)を見る。モスク、旧市街、新市街、海、橋、サバサンド、坂、トラム、どこもかしこも見たことがある景色で、また行きたいなぁ。</p>

昼間、懐かしのメンバーでオンライン飲み会。15年前ぐらいは毎日IRC雑談していた人たちだけど、今はみなさん各々の家庭もあるので時たまチャットで会話するぐらいで、昔のようにPCの前にかじりついているわけではなくライフスタイルは変わったなーと思う反面、芯の部分においてはそんなに変わったようには感じない、安心できる感覚。夕方からは結婚式打ち合わせのため、残念ながら途中退出する。また時々話したい。山下公園を上から。夜に録画していた、世界ふれあい街歩き トルコ イスタンブール(2012年撮影)を見る。モスク、旧市街、新市街、海、橋、サバサンド、坂、トラム、どこもかしこも見たことがある景色で、また行きたいなぁ。

2021年7月4日

<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200730105048.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200730105048.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20190704191113.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20190704191113.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200730075006.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200730075006.webp" class="photo" itemprop="image"></a></span></div>
<p>朝起きると、はてなグループがどうやら終了するらしいと知って、はてなグループに想いを馳せた1日だった。</p>

朝起きると、はてなグループがどうやら終了するらしいと知って、はてなグループに想いを馳せた1日だった。

2019/07/04

<p>最近、 Stable Diffusion を <a href="https://github.com/AUTOMATIC1111/stable-diffusion-webui">stable-diffusion-webui</a> で経由で改めて使ってみたら、技術的にも知らなかったことがいくつもあったのでメモ書き。</p>
<h2>ControlNet</h2>
<ul>
<li><a href="https://arxiv.org/abs/2302.05543">https://arxiv.org/abs/2302.05543</a></li>
<li><a href="https://github.com/lllyasviel/ControlNet">https://github.com/lllyasviel/ControlNet</a></li>
</ul>
<p>超絶強力な、生成画像を特定の条件に沿うように制御するニューラルネットワーク。元の基盤モデルはどれでも良く、きちんと動作する。</p>
<p>v1.1 時点で、Depth, Semantic Segmentation, Human Pose, Fake Scribbles, HED Boundary, M-LSD Lines, Canny Edge といった条件に対応し、対象画像から構図だったりポーズだったりセグメントだったりにエッジ抽出だったりマスクされた領域補完だったり、様々な条件付き画像生成が可能。既存のデータセットやアーキテクチャと組み合わせているのもアツい。応用範囲が広い。</p>
<p>革新的なので、ControlNet での画像生成を使ったことがない人はマストで使ってみるべき。イラスト生成のコンテキストではポーズ指定のみ取り上げられがちだが、様々な構図を再現可能。マジすごいョ…。これから更に、様々な条件付き画像生成が可能になっていくのであろう。</p>
<p>SD-WebUI の extention として使える ControlNet WebUI もあって、sd-webから簡単に利用が可能。</p>
<ul>
<li><a href="https://github.com/Mikubill/sd-webui-controlnet">https://github.com/Mikubill/sd-webui-controlnet</a></li>
</ul>
<p><img src="https://github.com/lllyasviel/ControlNet/raw/main/github_page/p3.png" alt=""></p>
<p><img src="https://user-images.githubusercontent.com/20929282/246632890-400b2e0d-b064-4505-b31d-49375216ca98.png" alt=""></p>
<p>わかりやすい解説等。</p>
<ul>
<li><a href="https://blog.shikoan.com/controlnet_lora/">Diffusers版のControlNet＋LoRAで遊ぶ：理論と実践</a></li>
<li><a href="https://ascii.jp/elem/000/004/137/4137393/">画像生成AIに2度目の革命を起こした「ControlNet」</a></li>
<li><a href="https://speakerdeck.com/koharite/lun-wen-jie-shuo-controlnet">論文解説 ControlNet</a></li>
</ul>
<h2>LoRA: Low-rank Adaptation for Fast Text-to-Image Diffusion Fine-tuning</h2>
<ul>
<li><a href="https://github.com/cloneofsimo/lora">https://github.com/cloneofsimo/lora</a></li>
<li><a href="https://github.com/kohya-ss/sd-scripts/blob/main/docs/train_network_README-ja.md">https://github.com/kohya-ss/sd-scripts/blob/main/docs/train_network_README-ja.md</a> (上記LoRA の実装を参考にした LoRA 学習)</li>
</ul>
<p>LoRAは元論文では<a href="https://arxiv.org/abs/2106.09685">LoRA: Low-Rank Adaptation of Large Language Models</a>とLLM(transformers)にたいしての論文だが、SD で利用される LoRA はこれらの実装が使われていることが多い。cloneofsimo/lora の実装では、<a href="https://arxiv.org/abs/2106.05744">Pivotal Tuning Inversion</a>(PTI)を元に、高品質な出力になるような学習が可能。</p>
<p>LoRA は基盤モデルに低ランク行列を追加し、その部分だけを学習させることで、学習時のコストを下げることができ、また出来上がるパラメータのサイズも小さいので、パラメータのファイルサイズも、メモリ利用量も少なくすることができる。</p>
<p>画像生成時に LoRA を利用する利用者の視点からは、LoRA は「重ねがけ」がしやすい。基盤モデルAにLoRAで学習したパラメータBと、LoRA で学習したパラメータCを重ねがけすることができ、大きな変更なくAに対してBとCの特徴を持った画像が生成できる。SD-WebUI では <code>&#x3C;lora:model_a:1.0>, &#x3C;lora:model_b:0.7></code> といったテキストプロンプトからどの LoRA をどれほど適用するのかがササっと指定が可能。</p>
<p>なお、LoRA (LLM)についてのわかりやすい日本語資料は<a href="https://speakerdeck.com/hpprc/lun-jiang-zi-liao-lora-low-rank-adaptation-of-large-language-models">こちら</a>。</p>
<h2>Textual Inversion embeddings</h2>
<ul>
<li><a href="https://huggingface.co/docs/diffusers/training/text_inversion">https://huggingface.co/docs/diffusers/training/text_inversion</a></li>
<li><a href="https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Textual-Inversion">https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Textual-Inversion</a></li>
</ul>
<p>SDでは、生成の入力の一つに Clip Text Encoder の embeddings 出力(文ベクトル)を利用する。この embeddings を作る際に、特定の特徴を覚えた新しい単語を追加して、意図した出力になるよう調整する手法、と理解している(が曖昧)。</p>
<p>通常人間が text prompt に出力が変化するような文字列を入れて調整するが、Textual Inversionでは特定の表現を学習したテキストの embeddings を直接突っ込めるため、通常のテキストでは指示できないような更に細かい調整ができる。学習後の embeddings データは文ベクトルと同ランクの embeddings なので、ファイルサイズはめちゃくちゃ小さい。</p>
<p>これらembeddingsの有名所では、ネガティブプロンプトに指定するような単語の特徴を学習させ、手軽にネガティブプロンプトをいい感じに追加できる<a href="https://huggingface.co/datasets/gsdf/EasyNegative">EasyNegative</a>や、変な腕・指の出力を抑える<a href="https://civitai.com/models/16993/badhandv4-animeillustdiffusion">badhandv4</a>や<a href="https://huggingface.co/datasets/Nerfgun3/bad_prompt">bad_prompt</a>などがある。</p>
<h2>checkpoint model の merge</h2>
<p>checkpoint model を組み合わせて、別のcheckpointを作る。やっていることは単純で、モデル同士のパラメータを線形結合、つまり足し掛けするだけ。シンプルすぎてびっくりする。これだけで、AとBのモデルの特徴を兼ね揃えたCというモデルが作れる(!!!)。巷にあふれる XxxMix という名称のモデルは、複数のモデルのmergeモデルである。ただ、merge モデルと言っても、単純な線形結合しているだけではないモデルも有り、ネットワーク層ごとに割合を変えたり(これも線形結合には変わりないが…)と工夫しているようだ。</p>
<ul>
<li><a href="https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features#checkpoint-merger">https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features#checkpoint-merger</a></li>
<li><a href="https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/How-to-make-your-own-Inpainting-model">https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/How-to-make-your-own-Inpainting-model</a></li>
</ul>
<hr>
<p>SD-WebUI は、これらの新しい技術がどんどん使えるようになっており、たとえば LoRA / embeddings / 基盤モデル などはディレクトリに放り込めば動くし、extension で機能追加(sd-webui-controlnetとか)もできたり、UIのとっつきにくさはあるとはいえ、よくできているなーと感心する。ざっくりとした全機能説明のwikiページもある。無印SDを使っていると、何ができるのか自分で情報を集めなくてはならないが、SD-WebUIはドレンドはたいてい含まれているので流行りが解るというのも嬉しい。</p>
<ul>
<li><a href="https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features">https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features</a></li>
</ul>
<p>画像生成AIには、もっぱら Midjourney ばかり使っていたのだけど、Stable Diffusion を改めて触るとOSSかつチェックポイントが公開されていることによる、エコシステムの進化や面白さも感じるなぁ。細かく見ていくと、あれもこれも興味深く、沼にハマってしまいそうなので深追いはしていないけど、ハマっても面白そうな沼である。</p>
<p>と、ここまで書いてそういえば<a href="https://koshian2.booth.pm/items/4820110">AIアートの新時代：CLIPとStable Diffusionを活用した画像生成技術とその応用</a>が積読だったなぁと読み始める。このメモに書いた内容はもちろん網羅されているし、SDはもちろんのこと、Clip Encoder 周辺に対しても様々な試験的アプローチをしていてめちゃ面白い。適用したらどうなるのか、という結果込みで書かれているので、どう生成画像が変わるのか、というのも伺い知れる。この本を読むと楽し～となれること間違いなし。</p>

最近、 Stable Diffusion を stable-diffusion-webui で経由で改めて使ってみたら、技術的にも知らなかったことがいくつもあったのでメモ書き。ControlNethttps://arxiv.org/abs/2302.05543https://github.com/lllyasviel/ControlNet超絶強力な、生成画像を特定の条件に沿うように制御するニューラルネットワーク。元の基盤モデルはどれでも良く、きちんと動作する。v1.1 時点で、Depth, Semantic Segmentation, Human Pose, Fake Scribbles, HED Boundary, M-LSD Lines, Canny Edge といった条件に対応し、対象画像から構図だったりポーズだったりセグメントだったりにエッジ抽出だったりマスクされた領域補完だったり

最近、 Stable Diffusion を stable-diffusion-webui で経由で改めて使ってみたら、技術的にも知らなかったことがいくつもあったのでメモ書き。ControlNethttps://arxiv.org/abs/2302.05543https://github.com/lllyasviel/ControlNet超絶強力な、生成画像を特定の条件に沿うように制御するニューラルネットワーク。元の基盤モデルはどれでも良く、きちんと動作する。v1.1 時点で、Depth, Semantic Segmentation, Human Pose, Fake Scribbles, HED Boundary, M-LSD Lines, Canny Edge といった条件に対応し、対象画像から構図だったりポーズだったりセグメントだったりにエッジ抽出だったりマスクされた領域補完だったり、様々な条件付き画像生成が可能。既存のデータセットやアーキテクチャと組み合わせているのもアツい。応用範囲が広い。革新的なので、ControlNet での画像生成を使ったことがない人はマストで使ってみるべき。イラスト生成のコンテキストではポーズ指定のみ取り上げられがちだが、様々な構図を再現可能。マジすごいョ…。これから更に、様々な条件付き画像生成が可能になっていくのであろう。SD-WebUI の extention として使える ControlNet WebUI もあって、sd-webから簡単に利用が可能。https://github.com/Mikubill/sd-webui-controlnetわかりやすい解説等。Diffusers版のControlNet＋LoRAで遊ぶ：理論と実践画像生成AIに2度目の革命を起こした「ControlNet」論文解説 ControlNetLoRA: Low-rank Adaptation for Fast Text-to-Image Diffusion Fine-tuninghttps://github.com/cloneofsimo/lorahttps://github.com/kohya-ss/sd-scripts/blob/main/docs/train_network_README-ja.md (上記LoRA の実装を参考にした LoRA 学習)LoRAは元論文ではLoRA: Low-Rank Adaptation of Large Language ModelsとLLM(transformers)にたいしての論文だが、SD で利用される LoRA はこれらの実装が使われていることが多い。cloneofsimo/lora の実装では、Pivotal Tuning Inversion(PTI)を元に、高品質な出力になるような学習が可能。LoRA は基盤モデルに低ランク行列を追加し、その部分だけを学習させることで、学習時のコストを下げることができ、また出来上がるパラメータのサイズも小さいので、パラメータのファイルサイズも、メモリ利用量も少なくすることができる。画像生成時に LoRA を利用する利用者の視点からは、LoRA は「重ねがけ」がしやすい。基盤モデルAにLoRAで学習したパラメータBと、LoRA で学習したパラメータCを重ねがけすることができ、大きな変更なくAに対してBとCの特徴を持った画像が生成できる。SD-WebUI では ,  といったテキストプロンプトからどの LoRA をどれほど適用するのかがササっと指定が可能。なお、LoRA (LLM)についてのわかりやすい日本語資料はこちら。Textual Inversion embeddingshttps://huggingface.co/docs/diffusers/training/text_inversionhttps://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Textual-InversionSDでは、生成の入力の一つに Clip Text Encoder の embeddings 出力(文ベクトル)を利用する。この embeddings を作る際に、特定の特徴を覚えた新しい単語を追加して、意図した出力になるよう調整する手法、と理解している(が曖昧)。通常人間が text prompt に出力が変化するような文字列を入れて調整するが、Textual Inversionでは特定の表現を学習したテキストの embeddings を直接突っ込めるため、通常のテキストでは指示できないような更に細かい調整ができる。学習後の embeddings データは文ベクトルと同ランクの embeddings なので、ファイルサイズはめちゃくちゃ小さい。これらembeddingsの有名所では、ネガティブプロンプトに指定するような単語の特徴を学習させ、手軽にネガティブプロンプトをいい感じに追加できるEasyNegativeや、変な腕・指の出力を抑えるbadhandv4やbad_promptなどがある。checkpoint model の mergecheckpoint model を組み合わせて、別のcheckpointを作る。やっていることは単純で、モデル同士のパラメータを線形結合、つまり足し掛けするだけ。シンプルすぎてびっくりする。これだけで、AとBのモデルの特徴を兼ね揃えたCというモデルが作れる(!!!)。巷にあふれる XxxMix という名称のモデルは、複数のモデルのmergeモデルである。ただ、merge モデルと言っても、単純な線形結合しているだけではないモデルも有り、ネットワーク層ごとに割合を変えたり(これも線形結合には変わりないが…)と工夫しているようだ。https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features#checkpoint-mergerhttps://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/How-to-make-your-own-Inpainting-modelSD-WebUI は、これらの新しい技術がどんどん使えるようになっており、たとえば LoRA / embeddings / 基盤モデル などはディレクトリに放り込めば動くし、extension で機能追加(sd-webui-controlnetとか)もできたり、UIのとっつきにくさはあるとはいえ、よくできているなーと感心する。ざっくりとした全機能説明のwikiページもある。無印SDを使っていると、何ができるのか自分で情報を集めなくてはならないが、SD-WebUIはドレンドはたいてい含まれているので流行りが解るというのも嬉しい。https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features画像生成AIには、もっぱら Midjourney ばかり使っていたのだけど、Stable Diffusion を改めて触るとOSSかつチェックポイントが公開されていることによる、エコシステムの進化や面白さも感じるなぁ。細かく見ていくと、あれもこれも興味深く、沼にハマってしまいそうなので深追いはしていないけど、ハマっても面白そうな沼である。と、ここまで書いてそういえばAIアートの新時代：CLIPとStable Diffusionを活用した画像生成技術とその応用が積読だったなぁと読み始める。このメモに書いた内容はもちろん網羅されているし、SDはもちろんのこと、Clip Encoder 周辺に対しても様々な試験的アプローチをしていてめちゃ面白い。適用したらどうなるのか、という結果込みで書かれているので、どう生成画像が変わるのか、というのも伺い知れる。この本を読むと楽し～となれること間違いなし。

お久しぶりの Stable Diffusion 周辺を、技術視点で楽しむ

<p>ChatGPT WebUI + GPT4 でできる、画像からの回答生成が、ChatGPT 3.5 + BLIP-2 を使うと、要件にマッチするようなら使えるよ、という話し。本当に伝えたいのは BLIP-2 使ってのプロンプトによる情報抽出です。</p>
<p><img src="https://i.imgur.com/40DTXp6.png" alt="recipe"></p>
<hr>
<p>やってみようと思ってみた発端は、そういえばGPT4での画像からの回答生成どうやってるんだろう、と調べると<a href="https://speakerdeck.com/sgnm/vision-and-languagenoxian-zhuang-tozhan-wang-gpt-4?slide=73">Vision and Languageの現状と展望（GPT-4）</a>のLLMにVQAタスクを組み込む例として、BLIP-2 が解説されていたこと。</p>
<p><img src="https://i.imgur.com/xMm0Pwb.png" alt="vqa_blip"></p>
<p>BLIP は画像からキャプション生成の物、ぐらいにざっくりと思っていたのだけど、BLIP-2では後段にオープンモデルのLLMを挟んで学習させることで、画像キャプションペアだけでは表現できない情報を学ぶことができ、精度を高めている。</p>
<p><img src="https://i.imgur.com/UGs7iUq.png" alt="blip-2"></p>
<p>で、使う側にとって嬉しいのは通常のキャプション生成タスクのみならず、画像に対して「Q&#x26;Aタスクを解かせる」事で情報抽出ができること。</p>
<p><img src="https://i.imgur.com/Daa2sH3.png" alt="tokyo_tower"></p>
<p>たとえば、この「夜の東京タワーが写っています」は単純なキャプション元にGPT3.5に回答させて生成しているが、冒頭の「レシピを複数提案して下さい」という処理の流れはこう。</p>
<ul>
<li>image_question_prompt で "食材は何がありますか?" を元に、画像から BLIP-2 で情報抽出
<ul>
<li>英語しかQAタスクに突っ込めないので、<a href="https://ai.facebook.com/blog/nllb-200-high-quality-machine-translation/ja/">Metaのnllb-200</a>(非商用利用のみ)で翻訳する</li>
<li>"Question: What are the ingredients? Answer:" というプロンプトになる</li>
</ul>
</li>
<li>これで情報抽出したテキストは "Vegetables, carrots, cabbage, cauliflower, broccoli, and potatoes" となる</li>
<li>後は簡単。このテキストを元に、GPT-3.5 で FewShot で回答させる</li>
</ul>
<p>という単純な仕組みである。なお、"image_question_prompt" に直接英語で情報抽出プロンプトを書けば、翻訳タスクを挟むこと無く処理できる。</p>
<hr>
<p>ChatGPT GPT4 で行えるような高度なコンテキストの処理は行えないが、BLIP-2 で情報抽出可能なタスクと組み合わせて処理できるものなら、それなりに処理できたりする。</p>
<p>で、この記事で本当に伝えたいのは、先程書いたように BLIP-2 で適切なプロンプトを入れれば、ある程度の情報抽出タスクがこなせる、ということ。
ChatGPT本体のAPIでも画像からの情報抽出タスクはできるようになっていくだろうが、BLIP-2 + オープンなLLMモデルも今後進化が予想されるので、オープンなモデルでのzeroshotでの情報抽出がさらに良い精度でできるようになっていのであろう。楽しみである。</p>
<h2>参考</h2>
<ul>
<li><a href="https://gist.github.com/hotchpotch/9080889f59f4e889f2066391d2627ce8">今回の例の notebook コード</a></li>
<li><a href="https://huggingface.co/blog/blip-2">Zero-shot image-to-text generation with BLIP-2</a></li>
<li><a href="https://arxiv.org/abs/2301.12597">BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models</a></li>
<li><a href="https://blog.shikoan.com/blip-2/">論文まとめ：BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models</a></li>
</ul>

ChatGPT WebUI + GPT4 でできる、画像からの回答生成が、ChatGPT 3.5 + BLIP-2 を使うと、要件にマッチするようなら使えるよ、という話し。本当に伝えたいのは BLIP-2 使ってのプロンプトによる情報抽出です。recipeやってみようと思ってみた発端は、そういえばGPT4での画像からの回答生成どうやってるんだろう、と調べるとVision and Languageの現状と展望（GPT-4）のLLMにVQAタスクを組み込む例として、BLIP-2 が解説されていたこと。vqa_blipBLIP は画像からキャプション生成の物、ぐらいにざっくりと思っていたのだけど、BLIP-2では後段にオープンモデルのLLMを挟んで学習させることで、画像キャプションペアだけでは表現できない情報を学ぶことができ、精度を高めている。blip-2で、使う側にとって嬉しいのは通常のキャプ

ChatGPT WebUI + GPT4 でできる、画像からの回答生成が、ChatGPT 3.5 + BLIP-2 を使うと、要件にマッチするようなら使えるよ、という話し。本当に伝えたいのは BLIP-2 使ってのプロンプトによる情報抽出です。recipeやってみようと思ってみた発端は、そういえばGPT4での画像からの回答生成どうやってるんだろう、と調べるとVision and Languageの現状と展望（GPT-4）のLLMにVQAタスクを組み込む例として、BLIP-2 が解説されていたこと。vqa_blipBLIP は画像からキャプション生成の物、ぐらいにざっくりと思っていたのだけど、BLIP-2では後段にオープンモデルのLLMを挟んで学習させることで、画像キャプションペアだけでは表現できない情報を学ぶことができ、精度を高めている。blip-2で、使う側にとって嬉しいのは通常のキャプション生成タスクのみならず、画像に対して「Q&Aタスクを解かせる」事で情報抽出ができること。tokyo_towerたとえば、この「夜の東京タワーが写っています」は単純なキャプション元にGPT3.5に回答させて生成しているが、冒頭の「レシピを複数提案して下さい」という処理の流れはこう。image_question_prompt で "食材は何がありますか?" を元に、画像から BLIP-2 で情報抽出英語しかQAタスクに突っ込めないので、Metaのnllb-200(非商用利用のみ)で翻訳する"Question: What are the ingredients? Answer:" というプロンプトになるこれで情報抽出したテキストは "Vegetables, carrots, cabbage, cauliflower, broccoli, and potatoes" となる後は簡単。このテキストを元に、GPT-3.5 で FewShot で回答させるという単純な仕組みである。なお、"image_question_prompt" に直接英語で情報抽出プロンプトを書けば、翻訳タスクを挟むこと無く処理できる。ChatGPT GPT4 で行えるような高度なコンテキストの処理は行えないが、BLIP-2 で情報抽出可能なタスクと組み合わせて処理できるものなら、それなりに処理できたりする。で、この記事で本当に伝えたいのは、先程書いたように BLIP-2 で適切なプロンプトを入れれば、ある程度の情報抽出タスクがこなせる、ということ。
ChatGPT本体のAPIでも画像からの情報抽出タスクはできるようになっていくだろうが、BLIP-2 + オープンなLLMモデルも今後進化が予想されるので、オープンなモデルでのzeroshotでの情報抽出がさらに良い精度でできるようになっていのであろう。楽しみである。参考今回の例の notebook コードZero-shot image-to-text generation with BLIP-2BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models論文まとめ：BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models

A Day in the Life

2023年7月4日

同じ日付の日記

書いている人

おたよりを送る