<p>その辺に生えている、もさっとしていた雑草の花が咲いた。オカトラノオというらしい。漢字で書くと岡虎の尾。花になると小さく密集していて可愛い感じ。</p>
<div class="photos photos-columns"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20230703_P7031174.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20230703_P7031174.webp" class="photo" itemprop="image" /></a></span><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20230703_P7031171.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20230703_P7031171.webp" class="photo" itemprop="image" /></a></span></div>
<hr>
<p>水彩画風。</p>
<p><img src="https://i.imgur.com/u7dyzBi.png" alt=""></p>

その辺に生えている、もさっとしていた雑草の花が咲いた。オカトラノオというらしい。漢字で書くと岡虎の尾。花になると小さく密集していて可愛い感じ。水彩画風。

オカトラノオ / 2023年7月3日

<p>とあるプライベートイベントに誘ってもらったので、せっかくなのでアレコレしていた一日。あっという間に一日が過ぎてしまった。ゲーム的な面白さと手を動かす素振り的な。</p>
<hr>
<p>家庭菜園のキュウリが、毎日のように採れ始める。キュウリは最盛期は朝夕にチェックしないと食べ頃を逃すぐらい大きくなるという、それほど成長が早いらしい。地這いキュウリなので、キュウリの葉を持ち上げないと実のチェックが出来ず、地這いはたしかに支えを作らなくて良い分楽なのだけど、確認が大変。という作業をだいたい妻がやってくれている、感謝である。</p>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20220703_DSC04274.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20220703_DSC04274.webp" class="photo" itemprop="image" /></a></span></div>

とあるプライベートイベントに誘ってもらったので、せっかくなのでアレコレしていた一日。あっという間に一日が過ぎてしまった。ゲーム的な面白さと手を動かす素振り的な。家庭菜園のキュウリが、毎日のように採れ始める。キュウリは最盛期は朝夕にチェックしないと食べ頃を逃すぐらい大きくなるという、それほど成長が早いらしい。地這いキュウリなので、キュウリの葉を持ち上げないと実のチェックが出来ず、地這いはたしかに支えを作らなくて良い分楽なのだけど、確認が大変。という作業をだいたい妻がやってくれている、感謝である。

2022年7月3日

<p>ウォータードリップの作り方で、水で抽出するのではなく牛乳で抽出すると濃厚な味、という話を聞いて試してみたくなったので、<a href="https://igc.co.jp/shop/g/gKT8644-CL1/">iwakiのウォータードリップコーヒーサーバ</a>をそのために買ってみたので作った。</p>
<p>通常のアイスカフェオレはコーヒーを牛乳で割るのだけど、これは牛乳抽出なので飲んだことのないような口当たりで面白い味。作り方も手軽なので、時々は作ってみたい。</p>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20210704064036.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20210704064036.webp" class="photo" itemprop="image" /></a></span></div>

ウォータードリップの作り方で、水で抽出するのではなく牛乳で抽出すると濃厚な味、という話を聞いて試してみたくなったので、iwakiのウォータードリップコーヒーサーバをそのために買ってみたので作った。通常のアイスカフェオレはコーヒーを牛乳で割るのだけど、これは牛乳抽出なので飲んだことのないような口当たりで面白い味。作り方も手軽なので、時々は作ってみたい。

ミルクドリップコーヒ / 2021年7月3日

<p>ぶらぶらと散策しながら帰宅。</p>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200730105012.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200730105012.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20190703194842.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20190703194842.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200801133017.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200801133017.webp" class="photo" itemprop="image"></a></span></div>

ぶらぶらと散策しながら帰宅。

2019/07/03

<p>引き続き疲れが抜けないので、天気は良いが家でゆっくりしていた日。Diablo 4 やったりしていた。妻は健康目的でピクミンブルームを初めて楽しんでいるようで、何回も散歩に出かける。習慣化すると良いね。</p>
<hr>
<p>水彩画風部屋模様替え。</p>
<p><img src="https://i.imgur.com/X9M62XF.jpg" alt=""></p>

引き続き疲れが抜けないので、天気は良いが家でゆっくりしていた日。Diablo 4 やったりしていた。妻は健康目的でピクミンブルームを初めて楽しんでいるようで、何回も散歩に出かける。習慣化すると良いね。水彩画風部屋模様替え。

2023年7月2日

<p>最近、 Stable Diffusion を <a href="https://github.com/AUTOMATIC1111/stable-diffusion-webui">stable-diffusion-webui</a> で経由で改めて使ってみたら、技術的にも知らなかったことがいくつもあったのでメモ書き。</p>
<h2>ControlNet</h2>
<ul>
<li><a href="https://arxiv.org/abs/2302.05543">https://arxiv.org/abs/2302.05543</a></li>
<li><a href="https://github.com/lllyasviel/ControlNet">https://github.com/lllyasviel/ControlNet</a></li>
</ul>
<p>超絶強力な、生成画像を特定の条件に沿うように制御するニューラルネットワーク。元の基盤モデルはどれでも良く、きちんと動作する。</p>
<p>v1.1 時点で、Depth, Semantic Segmentation, Human Pose, Fake Scribbles, HED Boundary, M-LSD Lines, Canny Edge といった条件に対応し、対象画像から構図だったりポーズだったりセグメントだったりにエッジ抽出だったりマスクされた領域補完だったり、様々な条件付き画像生成が可能。既存のデータセットやアーキテクチャと組み合わせているのもアツい。応用範囲が広い。</p>
<p>革新的なので、ControlNet での画像生成を使ったことがない人はマストで使ってみるべき。イラスト生成のコンテキストではポーズ指定のみ取り上げられがちだが、様々な構図を再現可能。マジすごいョ…。これから更に、様々な条件付き画像生成が可能になっていくのであろう。</p>
<p>SD-WebUI の extention として使える ControlNet WebUI もあって、sd-webから簡単に利用が可能。</p>
<ul>
<li><a href="https://github.com/Mikubill/sd-webui-controlnet">https://github.com/Mikubill/sd-webui-controlnet</a></li>
</ul>
<p><img src="https://github.com/lllyasviel/ControlNet/raw/main/github_page/p3.png" alt=""></p>
<p><img src="https://user-images.githubusercontent.com/20929282/246632890-400b2e0d-b064-4505-b31d-49375216ca98.png" alt=""></p>
<p>わかりやすい解説等。</p>
<ul>
<li><a href="https://blog.shikoan.com/controlnet_lora/">Diffusers版のControlNet＋LoRAで遊ぶ：理論と実践</a></li>
<li><a href="https://ascii.jp/elem/000/004/137/4137393/">画像生成AIに2度目の革命を起こした「ControlNet」</a></li>
<li><a href="https://speakerdeck.com/koharite/lun-wen-jie-shuo-controlnet">論文解説 ControlNet</a></li>
</ul>
<h2>LoRA: Low-rank Adaptation for Fast Text-to-Image Diffusion Fine-tuning</h2>
<ul>
<li><a href="https://github.com/cloneofsimo/lora">https://github.com/cloneofsimo/lora</a></li>
<li><a href="https://github.com/kohya-ss/sd-scripts/blob/main/docs/train_network_README-ja.md">https://github.com/kohya-ss/sd-scripts/blob/main/docs/train_network_README-ja.md</a> (上記LoRA の実装を参考にした LoRA 学習)</li>
</ul>
<p>LoRAは元論文では<a href="https://arxiv.org/abs/2106.09685">LoRA: Low-Rank Adaptation of Large Language Models</a>とLLM(transformers)にたいしての論文だが、SD で利用される LoRA はこれらの実装が使われていることが多い。cloneofsimo/lora の実装では、<a href="https://arxiv.org/abs/2106.05744">Pivotal Tuning Inversion</a>(PTI)を元に、高品質な出力になるような学習が可能。</p>
<p>LoRA は基盤モデルに低ランク行列を追加し、その部分だけを学習させることで、学習時のコストを下げることができ、また出来上がるパラメータのサイズも小さいので、パラメータのファイルサイズも、メモリ利用量も少なくすることができる。</p>
<p>画像生成時に LoRA を利用する利用者の視点からは、LoRA は「重ねがけ」がしやすい。基盤モデルAにLoRAで学習したパラメータBと、LoRA で学習したパラメータCを重ねがけすることができ、大きな変更なくAに対してBとCの特徴を持った画像が生成できる。SD-WebUI では <code>&#x3C;lora:model_a:1.0>, &#x3C;lora:model_b:0.7></code> といったテキストプロンプトからどの LoRA をどれほど適用するのかがササっと指定が可能。</p>
<p>なお、LoRA (LLM)についてのわかりやすい日本語資料は<a href="https://speakerdeck.com/hpprc/lun-jiang-zi-liao-lora-low-rank-adaptation-of-large-language-models">こちら</a>。</p>
<h2>Textual Inversion embeddings</h2>
<ul>
<li><a href="https://huggingface.co/docs/diffusers/training/text_inversion">https://huggingface.co/docs/diffusers/training/text_inversion</a></li>
<li><a href="https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Textual-Inversion">https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Textual-Inversion</a></li>
</ul>
<p>SDでは、生成の入力の一つに Clip Text Encoder の embeddings 出力(文ベクトル)を利用する。この embeddings を作る際に、特定の特徴を覚えた新しい単語を追加して、意図した出力になるよう調整する手法、と理解している(が曖昧)。</p>
<p>通常人間が text prompt に出力が変化するような文字列を入れて調整するが、Textual Inversionでは特定の表現を学習したテキストの embeddings を直接突っ込めるため、通常のテキストでは指示できないような更に細かい調整ができる。学習後の embeddings データは文ベクトルと同ランクの embeddings なので、ファイルサイズはめちゃくちゃ小さい。</p>
<p>これらembeddingsの有名所では、ネガティブプロンプトに指定するような単語の特徴を学習させ、手軽にネガティブプロンプトをいい感じに追加できる<a href="https://huggingface.co/datasets/gsdf/EasyNegative">EasyNegative</a>や、変な腕・指の出力を抑える<a href="https://civitai.com/models/16993/badhandv4-animeillustdiffusion">badhandv4</a>や<a href="https://huggingface.co/datasets/Nerfgun3/bad_prompt">bad_prompt</a>などがある。</p>
<h2>checkpoint model の merge</h2>
<p>checkpoint model を組み合わせて、別のcheckpointを作る。やっていることは単純で、モデル同士のパラメータを線形結合、つまり足し掛けするだけ。シンプルすぎてびっくりする。これだけで、AとBのモデルの特徴を兼ね揃えたCというモデルが作れる(!!!)。巷にあふれる XxxMix という名称のモデルは、複数のモデルのmergeモデルである。ただ、merge モデルと言っても、単純な線形結合しているだけではないモデルも有り、ネットワーク層ごとに割合を変えたり(これも線形結合には変わりないが…)と工夫しているようだ。</p>
<ul>
<li><a href="https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features#checkpoint-merger">https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features#checkpoint-merger</a></li>
<li><a href="https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/How-to-make-your-own-Inpainting-model">https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/How-to-make-your-own-Inpainting-model</a></li>
</ul>
<hr>
<p>SD-WebUI は、これらの新しい技術がどんどん使えるようになっており、たとえば LoRA / embeddings / 基盤モデル などはディレクトリに放り込めば動くし、extension で機能追加(sd-webui-controlnetとか)もできたり、UIのとっつきにくさはあるとはいえ、よくできているなーと感心する。ざっくりとした全機能説明のwikiページもある。無印SDを使っていると、何ができるのか自分で情報を集めなくてはならないが、SD-WebUIはドレンドはたいてい含まれているので流行りが解るというのも嬉しい。</p>
<ul>
<li><a href="https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features">https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features</a></li>
</ul>
<p>画像生成AIには、もっぱら Midjourney ばかり使っていたのだけど、Stable Diffusion を改めて触るとOSSかつチェックポイントが公開されていることによる、エコシステムの進化や面白さも感じるなぁ。細かく見ていくと、あれもこれも興味深く、沼にハマってしまいそうなので深追いはしていないけど、ハマっても面白そうな沼である。</p>
<p>と、ここまで書いてそういえば<a href="https://koshian2.booth.pm/items/4820110">AIアートの新時代：CLIPとStable Diffusionを活用した画像生成技術とその応用</a>が積読だったなぁと読み始める。このメモに書いた内容はもちろん網羅されているし、SDはもちろんのこと、Clip Encoder 周辺に対しても様々な試験的アプローチをしていてめちゃ面白い。適用したらどうなるのか、という結果込みで書かれているので、どう生成画像が変わるのか、というのも伺い知れる。この本を読むと楽し～となれること間違いなし。</p>

最近、 Stable Diffusion を stable-diffusion-webui で経由で改めて使ってみたら、技術的にも知らなかったことがいくつもあったのでメモ書き。ControlNethttps://arxiv.org/abs/2302.05543https://github.com/lllyasviel/ControlNet超絶強力な、生成画像を特定の条件に沿うように制御するニューラルネットワーク。元の基盤モデルはどれでも良く、きちんと動作する。v1.1 時点で、Depth, Semantic Segmentation, Human Pose, Fake Scribbles, HED Boundary, M-LSD Lines, Canny Edge といった条件に対応し、対象画像から構図だったりポーズだったりセグメントだったりにエッジ抽出だったりマスクされた領域補完だったり

最近、 Stable Diffusion を stable-diffusion-webui で経由で改めて使ってみたら、技術的にも知らなかったことがいくつもあったのでメモ書き。ControlNethttps://arxiv.org/abs/2302.05543https://github.com/lllyasviel/ControlNet超絶強力な、生成画像を特定の条件に沿うように制御するニューラルネットワーク。元の基盤モデルはどれでも良く、きちんと動作する。v1.1 時点で、Depth, Semantic Segmentation, Human Pose, Fake Scribbles, HED Boundary, M-LSD Lines, Canny Edge といった条件に対応し、対象画像から構図だったりポーズだったりセグメントだったりにエッジ抽出だったりマスクされた領域補完だったり、様々な条件付き画像生成が可能。既存のデータセットやアーキテクチャと組み合わせているのもアツい。応用範囲が広い。革新的なので、ControlNet での画像生成を使ったことがない人はマストで使ってみるべき。イラスト生成のコンテキストではポーズ指定のみ取り上げられがちだが、様々な構図を再現可能。マジすごいョ…。これから更に、様々な条件付き画像生成が可能になっていくのであろう。SD-WebUI の extention として使える ControlNet WebUI もあって、sd-webから簡単に利用が可能。https://github.com/Mikubill/sd-webui-controlnetわかりやすい解説等。Diffusers版のControlNet＋LoRAで遊ぶ：理論と実践画像生成AIに2度目の革命を起こした「ControlNet」論文解説 ControlNetLoRA: Low-rank Adaptation for Fast Text-to-Image Diffusion Fine-tuninghttps://github.com/cloneofsimo/lorahttps://github.com/kohya-ss/sd-scripts/blob/main/docs/train_network_README-ja.md (上記LoRA の実装を参考にした LoRA 学習)LoRAは元論文ではLoRA: Low-Rank Adaptation of Large Language ModelsとLLM(transformers)にたいしての論文だが、SD で利用される LoRA はこれらの実装が使われていることが多い。cloneofsimo/lora の実装では、Pivotal Tuning Inversion(PTI)を元に、高品質な出力になるような学習が可能。LoRA は基盤モデルに低ランク行列を追加し、その部分だけを学習させることで、学習時のコストを下げることができ、また出来上がるパラメータのサイズも小さいので、パラメータのファイルサイズも、メモリ利用量も少なくすることができる。画像生成時に LoRA を利用する利用者の視点からは、LoRA は「重ねがけ」がしやすい。基盤モデルAにLoRAで学習したパラメータBと、LoRA で学習したパラメータCを重ねがけすることができ、大きな変更なくAに対してBとCの特徴を持った画像が生成できる。SD-WebUI では ,  といったテキストプロンプトからどの LoRA をどれほど適用するのかがササっと指定が可能。なお、LoRA (LLM)についてのわかりやすい日本語資料はこちら。Textual Inversion embeddingshttps://huggingface.co/docs/diffusers/training/text_inversionhttps://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Textual-InversionSDでは、生成の入力の一つに Clip Text Encoder の embeddings 出力(文ベクトル)を利用する。この embeddings を作る際に、特定の特徴を覚えた新しい単語を追加して、意図した出力になるよう調整する手法、と理解している(が曖昧)。通常人間が text prompt に出力が変化するような文字列を入れて調整するが、Textual Inversionでは特定の表現を学習したテキストの embeddings を直接突っ込めるため、通常のテキストでは指示できないような更に細かい調整ができる。学習後の embeddings データは文ベクトルと同ランクの embeddings なので、ファイルサイズはめちゃくちゃ小さい。これらembeddingsの有名所では、ネガティブプロンプトに指定するような単語の特徴を学習させ、手軽にネガティブプロンプトをいい感じに追加できるEasyNegativeや、変な腕・指の出力を抑えるbadhandv4やbad_promptなどがある。checkpoint model の mergecheckpoint model を組み合わせて、別のcheckpointを作る。やっていることは単純で、モデル同士のパラメータを線形結合、つまり足し掛けするだけ。シンプルすぎてびっくりする。これだけで、AとBのモデルの特徴を兼ね揃えたCというモデルが作れる(!!!)。巷にあふれる XxxMix という名称のモデルは、複数のモデルのmergeモデルである。ただ、merge モデルと言っても、単純な線形結合しているだけではないモデルも有り、ネットワーク層ごとに割合を変えたり(これも線形結合には変わりないが…)と工夫しているようだ。https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features#checkpoint-mergerhttps://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/How-to-make-your-own-Inpainting-modelSD-WebUI は、これらの新しい技術がどんどん使えるようになっており、たとえば LoRA / embeddings / 基盤モデル などはディレクトリに放り込めば動くし、extension で機能追加(sd-webui-controlnetとか)もできたり、UIのとっつきにくさはあるとはいえ、よくできているなーと感心する。ざっくりとした全機能説明のwikiページもある。無印SDを使っていると、何ができるのか自分で情報を集めなくてはならないが、SD-WebUIはドレンドはたいてい含まれているので流行りが解るというのも嬉しい。https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features画像生成AIには、もっぱら Midjourney ばかり使っていたのだけど、Stable Diffusion を改めて触るとOSSかつチェックポイントが公開されていることによる、エコシステムの進化や面白さも感じるなぁ。細かく見ていくと、あれもこれも興味深く、沼にハマってしまいそうなので深追いはしていないけど、ハマっても面白そうな沼である。と、ここまで書いてそういえばAIアートの新時代：CLIPとStable Diffusionを活用した画像生成技術とその応用が積読だったなぁと読み始める。このメモに書いた内容はもちろん網羅されているし、SDはもちろんのこと、Clip Encoder 周辺に対しても様々な試験的アプローチをしていてめちゃ面白い。適用したらどうなるのか、という結果込みで書かれているので、どう生成画像が変わるのか、というのも伺い知れる。この本を読むと楽し～となれること間違いなし。

A Day in the Life

オカトラノオ / 2023年7月3日

似ている画像がある記事

同じ日付の日記

書いている人

おたよりを送る