Iris bread & coffee のかぼちゃプリン。かぼちゃ成分が多くどろり濃厚。うまい。

kaggleのLLMコンペ終了。順位は40/2700位銀メダル🥈で、かけた時間の割にはまだまだだったなぁと力不足を感じた。ただ、コードや試行錯誤はたくさん行ったので得られたものは結構あった。上位解法は丁寧にRAGしているものも多く、めちゃめちゃ参考になる。

• ざっくりやっていたのはllama2-13Bの派生モデルと deberta-v3-large のアンサンブル。13Bはlast_hidden_state的なtokenの該当箇所をavg poolingして使った。デコーダーモデルはA,B,C,D,Eで並べた時、AはEまで読んでいない状態なのだけど、そこそこなスコア(序盤は金圏)は出た。
• RAG の実装方法、RAGへの考察。ベクトルでのANNも良いが、キーワードを使った従来の検索も得手不得手があるので両方大事。
  • RAG はwikipedia全部をElasticsearchに突っ込んで取得して使う(BM25)という力技でやっていた。終盤出てきた270kサンプリングされたデータにかなり負けてしまった。もっと丁寧にやるべきであった。
• 中盤までやたらLLaMA2-13Bモデル(の派生モデル)を学習させていたので、デコーダーモデルのお気持ち理解。デコーダーモデルのfinetuneやデコーダーでなにができるかの知見が広がる。13B程度のモデルならQLoraでご家庭24GB GPUで学習可能。
• LoRA/QLoRA の理解。deberta-v3-large程度(0.3B encoder)のモデルサイズでも、線形層全部 + r=64,dropout=0.2あたりでほぼ性能変わらない、というのが知れて良かった。実務応用しやすい。
• LoRA の層自体を merge することによっての性能向上。fold0-4とかのCV作って、それらの重みを(タスクにもよる?)がmerge可能。実務だとCVしても全部のモデルを実行するのが運用やコスト的にやりにくかったけどうまくいく。これも実務応用しやすい。

ChatGPTで対話しながらプロンプトが作られていく、DALL-E3で遊ぶ。画像promptはなかなか思い通りにいかなくて、大体適当につくってしまうんだけど、対話しながら修正する、というのは楽しいね 。

連休最後は芦野温泉でゆっくり。

久しぶりに福島方面にでも、とまずは猪苗代湖畔の南側へ。湖畔とその先の磐梯山を初めとした連山の景色が好きなのだよなぁ。

---

10月1日からワカサギ漁が解禁になったようで、堤防は多くの釣り人で賑わっていた。調べた感じ、そんなに難しくなさそうなのでやってみたいなー。

---

続いて、まだ行ったことがなかった喜多方市へ。喜多方ラーメンで有名だが、蔵でも有名（ラーメンと蔵の街っぽい観光アピール）でいたるところに蔵を改装したお店が立ち並ぶ。人口一人あたりのラーメン店が日本一(要出典)とも言われるらしく、ラーメン屋もいたるところにあって面白い。有名店は超行列だったり、まだ11時というのに(喜多方ラーメンは朝時間帯から結構なお店が開いている)すでに売りきれだったりと人気がうかがえるなぁ。

---

そんな中待ちなく入ることが出来た、蔵一番やまぐちで喜多方ラーメンを食べる。パン屋と菓子屋と並業している感じで面白い。味も十分な美味しさ、とりわけチャーシューが美味しくお土産用に一本購入する。

喜多方ラーメンはチェーン店の影響もあってか、勝手に醤油味だと思いこんでいたのだけど、そんな定義はなくて「平打ち熟成多加水麺」ならオッケー、というゆるい定義らしい。醤油味が多くは有るのだけど。なるほど、家系や二郎系や濃厚豚骨魚介など、わかりやすいフォーマットがあるわけではないからTHE喜多方ラーメンという味では広がっていかなかったのかなぁ。

---

市役所の蔵ポスト、かわいい。

---

喜多方ラーメン神社の神棚とラーメンソフトクリーム。神社はちゃんと御朱印も押しているようで、それ目当ての方々も。ソフトクリームはバター醤油なのか、面白い味付け。

---

今日は道の駅は喜多の郷、あいづ 湯川・会津坂下、しもごう、まちの駅しもごう、と4つも立ち寄っていろいろお土産を買う。写真はあいづの道の駅。ちょうど稲刈りシーズンで稲刈りがいたるところで行われていた。

本当は帰り道で温泉にも寄りたかったが、少々体調悪めにつき帰宅する。充実した休日の一日。

この日の最低気温は9度。朝は暖房付けたくなるぐらいの寒さ。冬はこれよりもさらに10度以上下がるのだからなぁ。

---

熱はないのだけど気だるい感じだったので午前中寝て過ごす。午後もそのままダラダラと家で過ごしてしまいそうだったが、いい天気だし近隣を散歩しようと妻から提案をもらい散歩してリフレッシュ。

近隣の庭の金木犀。ちょうど家の方が庭仕事をしていたので、見事な金木犀ですねぇとお声がけすると「金が咲けばいいんですけどね、金木犀だけに、ハハハ」と返事をもらい楽しい気持ちに。

家の金木犀が咲く。良い香り。

---

二ヶ月ぶりに髪を切る。さっぱり。

朝晩はめっきり寒くなってきた。先日まで暑かったのに。そろそろ暖房器具を出さねばなぁ。

TOKYO二日目。先週から少々体調悪め、ということもあってだいぶ疲れて帰ってくる。

---

帰り際に田町駅前の舎鈴でつけ麺。初めて舎鈴のつけ麺を食べたときは、薄い六厘舎（舎鈴は六厘舎系列）だなぁとあまり美味しいと思わなかったのだけど、何度も食べるうちに濃厚じゃないほどよい美味しさを気に入り、好きなつけ麺チェーンの一つとなった。卓上調味料の梅や黒七味も良い。