ピラカンサの実が今年もたんまり。

午前中はホテルニュー塩原で温泉三昧。朝食バイキングも楽しい。あいにくの雨だったので、ササッっと家に帰り、家でゴロゴロの一日。

---

映画マイノリティ・リポートを観る。2002年の近未来SFなので、20年前の未来のUI像が描かれていて面白い。映像を人間の網膜から再現してタイムラインを操り、様々な視点から分析できるやつ、サイバーパンク2077のブレインダンスじゃん！

---

そういえばサイバーパンク2077も、先日の大幅アップデート2.0が出てからほぼ最初からやり始めていて(バージョン1.0でも1.6でも途中でやめてしまった)、たいへん遊びやすいゲームバランスに調整されており、とりあえず一つのエンディングまでクリアする。

以前はゲームシステムがごちゃごちゃしていたが、2.0はシンプルな感じなって遊びたかったのはコレだ感があって良かった。これだけ途中で大幅にゲームシステム弄るの、普通だったらやらない（昔のほうが良かった勢もいるであろう）と思うんだけど、しっかりと組み替えるの英断だなぁ。

午前中は家のデザイン事務所と打ち合わせて、あらかた方向性が決まりほっと一息。

午後からは思い立って突然ホテルニュー塩原へ宿泊。同じ市内なのだけど、端っこから端っこへ行くのため、車で50分ぐらいかかる。2022年に大江戸温泉物語に買収され、今はホテルニュー塩原の名称は残しつつも大江戸温泉物語が運営。家族ユースによく出来ていて、バイキングが楽し嬉しい。ビュッフェではなく、THEバイキングという感じがまた良い。一度行ってみたかったので、行けてよかった。

朝、だいぶ涼しくなってきて冬着で散歩。夏は脱いでも暑いが、これぐらいの気温は着込めば温かいので、夏に比べたら断然散歩しやすい。

Iris bread & coffee のかぼちゃプリン。かぼちゃ成分が多くどろり濃厚。うまい。

kaggleのLLMコンペ終了。順位は40/2700位銀メダル🥈で、かけた時間の割にはまだまだだったなぁと力不足を感じた。ただ、コードや試行錯誤はたくさん行ったので得られたものは結構あった。上位解法は丁寧にRAGしているものも多く、めちゃめちゃ参考になる。

• ざっくりやっていたのはllama2-13Bの派生モデルと deberta-v3-large のアンサンブル。13Bはlast_hidden_state的なtokenの該当箇所をavg poolingして使った。デコーダーモデルはA,B,C,D,Eで並べた時、AはEまで読んでいない状態なのだけど、そこそこなスコア(序盤は金圏)は出た。
• RAG の実装方法、RAGへの考察。ベクトルでのANNも良いが、キーワードを使った従来の検索も得手不得手があるので両方大事。
  • RAG はwikipedia全部をElasticsearchに突っ込んで取得して使う(BM25)という力技でやっていた。終盤出てきた270kサンプリングされたデータにかなり負けてしまった。もっと丁寧にやるべきであった。
• 中盤までやたらLLaMA2-13Bモデル(の派生モデル)を学習させていたので、デコーダーモデルのお気持ち理解。デコーダーモデルのfinetuneやデコーダーでなにができるかの知見が広がる。13B程度のモデルならQLoraでご家庭24GB GPUで学習可能。
• LoRA/QLoRA の理解。deberta-v3-large程度(0.3B encoder)のモデルサイズでも、線形層全部 + r=64,dropout=0.2あたりでほぼ性能変わらない、というのが知れて良かった。実務応用しやすい。
• LoRA の層自体を merge することによっての性能向上。fold0-4とかのCV作って、それらの重みを(タスクにもよる?)がmerge可能。実務だとCVしても全部のモデルを実行するのが運用やコスト的にやりにくかったけどうまくいく。これも実務応用しやすい。

ChatGPTで対話しながらプロンプトが作られていく、DALL-E3で遊ぶ。画像promptはなかなか思い通りにいかなくて、大体適当につくってしまうんだけど、対話しながら修正する、というのは楽しいね 。

連休最後は芦野温泉でゆっくり。

久しぶりに福島方面にでも、とまずは猪苗代湖畔の南側へ。湖畔とその先の磐梯山を初めとした連山の景色が好きなのだよなぁ。

---

10月1日からワカサギ漁が解禁になったようで、堤防は多くの釣り人で賑わっていた。調べた感じ、そんなに難しくなさそうなのでやってみたいなー。

---

続いて、まだ行ったことがなかった喜多方市へ。喜多方ラーメンで有名だが、蔵でも有名（ラーメンと蔵の街っぽい観光アピール）でいたるところに蔵を改装したお店が立ち並ぶ。人口一人あたりのラーメン店が日本一(要出典)とも言われるらしく、ラーメン屋もいたるところにあって面白い。有名店は超行列だったり、まだ11時というのに(喜多方ラーメンは朝時間帯から結構なお店が開いている)すでに売りきれだったりと人気がうかがえるなぁ。

---

そんな中待ちなく入ることが出来た、蔵一番やまぐちで喜多方ラーメンを食べる。パン屋と菓子屋と並業している感じで面白い。味も十分な美味しさ、とりわけチャーシューが美味しくお土産用に一本購入する。

喜多方ラーメンはチェーン店の影響もあってか、勝手に醤油味だと思いこんでいたのだけど、そんな定義はなくて「平打ち熟成多加水麺」ならオッケー、というゆるい定義らしい。醤油味が多くは有るのだけど。なるほど、家系や二郎系や濃厚豚骨魚介など、わかりやすいフォーマットがあるわけではないからTHE喜多方ラーメンという味では広がっていかなかったのかなぁ。

---

市役所の蔵ポスト、かわいい。

---

喜多方ラーメン神社の神棚とラーメンソフトクリーム。神社はちゃんと御朱印も押しているようで、それ目当ての方々も。ソフトクリームはバター醤油なのか、面白い味付け。

---

今日は道の駅は喜多の郷、あいづ 湯川・会津坂下、しもごう、まちの駅しもごう、と4つも立ち寄っていろいろお土産を買う。写真はあいづの道の駅。ちょうど稲刈りシーズンで稲刈りがいたるところで行われていた。

本当は帰り道で温泉にも寄りたかったが、少々体調悪めにつき帰宅する。充実した休日の一日。

この日の最低気温は9度。朝は暖房付けたくなるぐらいの寒さ。冬はこれよりもさらに10度以上下がるのだからなぁ。

---

熱はないのだけど気だるい感じだったので午前中寝て過ごす。午後もそのままダラダラと家で過ごしてしまいそうだったが、いい天気だし近隣を散歩しようと妻から提案をもらい散歩してリフレッシュ。