引き続きホテル大和田に宿泊。朝の散歩二日目も気持ちが良いなぁ。周りどこ見ても山々、という景色も素晴らしい。

---

朝食は名古屋珈琲でモーニング。そういえば昨日の朝食もシルビアコーヒーで名古屋風モーニングなのであった。

---

RubyKaigiで、Rubyistのキーボードを並べるちょっとしたイベントがあったので覗いてみると、どれもこれも面白くて新しいキーボード欲しくなるなぁ。日本のカスタムキーボードの先駆けの一人であるT氏からまず使ってみるならMODEのキーボードあたりが良いんじゃ無い、と言われ興味を持つ。カスタマイズが必要なので、ちょっと調べてから買ってみたい。

---

RubyKaigiはちゃんと技術の話が多くていいね、と言われハッとする。たしかにセッショントークはどこかの企業でなんたらを導入して云々、みたいな話はほとんどなくて、基本Rubyにまつわるテクニカルな話だなぁ。

トークは基本Rubyの話をしていて、エモい話や他コミニュケーションの話は合間の休憩やトークセッションが終わった後、という絶妙なバランスも良いかった。運営の方々・スピーカーの方々・その他携わった方々、良いイベントをありがとうございました。

---

この日は結構疲れていたので、夜は何処かと合流せずにホテル大和田へ。夕飯は大和田夫妻と焼肉に行ったのだけど、地元感ある美味しい焼肉屋で大満足。久しぶりの夫妻共々との会話もはずみ楽しい時間であった。

昨晩から大和田観光のホテル、ホテル大和田に宿泊させていただく。快適。なお大和田観光・ホテルは友人宅なので調べても出てこないので注意。朝は水田や山々を見ながら散歩。いい場所だなあ。良すぎて別のルートで朝散歩をもう一度してしまった。

---

RubyKaigiの会場の屋上にある芝生コーナーが眺めも良く素敵な場所だったので、しばし作業をしているとM氏とたまたま出会い「じゃあ雑談でも収録する？」と、カバンからきちんとしたマイクや録音機器が取り出されスムーズに収録が始まる。めちゃ面白体験。

芝生で作業してたセコンさん @hotchpotch と雑談収録しました #rubykaigi #rebuildfm

サポーター向けフィードで聞けますhttps://t.co/QKPotN7o2S pic.twitter.com/GkOPxbSbv7

— Rebuild Podcast (@rebuildfm) May 12, 2023

---

明日は天気が崩れそうなので、昼休みに一人松本城へ。天守閣へも登る。北アルプスが背景にずどーんと松本城が堀の上にたたずむ風景の良さよ。

---

夜はさっそくボッチになっていたところ、J氏S氏と合流して飲み。S氏ときちんと話したのは初めてなのだけど、面白すぎでしょう。たまたま入った居酒屋も良く、良い夜であったなぁ。

RubyKaigi 2023参加のため松本へ。朝7時前後は、那須塩原から結構新幹線でてるのね。通勤時間帯。大宮・長野経由で3時間ちょっとほどかけて松本に到着する。PC開いてカタカタしていたらあっという間であった。

---

---

RubyKaigi、みなさんRuby愛溢れていて良いなぁ。2003ごろ初めてRuby(とtDiary)がきっかけプログラミングをし始めたことを再び思い出し、改めてRuby関連コミニュティに感謝を忘れずにしないと。

---

昼食は蕎麦屋。丼もの＋蕎麦＋デザートのボリュームで950円はお得だし、味も美味しい。夕方は小休止にカフェ栞日へ。心地よい空間。

---

夜の大人数参加のafter party的なイベントでは、久しぶりの方々数十人と話す。このような場に来るぐらいだから、みなさん技術的なことをさまざまな立ち位置から行っていて近況が聞けて良かったなぁ。お元気そうで何よりであった。

---

その後はGグループ社の方々と軽く居酒屋へ。シンガポール以来のK氏や深圳以来のK氏等数年ぶりの方や、実は世界一周旅行記を読んでいてくれた方がいたりと、ありがたい限りだ。

ライカの羊羹こと、ビゾフレックス2を購入。噂通りデカい。

---

久しぶりにPO3–3M 50mm F2を取り出して撮影。ビゾフレックス2便利だけど、オールドレンズをフルサイズにつける母艦としては、a7Cのほうがが全体的に小型でキビキビして手ぶれ補正もあっていいよなぁ。買う前から解っていたが～～。

5月になったというのに、昨日今日は底冷えして、電気スリッパを使ったり暖房を付けたりの日々。

---

昼食のバソキヤ。

---

OpenAI の embeddings 精度良いよなー、文字数(tokens)が少ないとコストがやたら安いのも良い。GPT3.5なんかは送信tokens,返却tokensにコストが掛かるが、embeddingsは1532次元のベクトル自体の返却コストは0円。

かんがえをまとめるデジタル文房具Kozaneba をたまたま見て、そういえばKJ法的なまとめにクラスタリングして、みたいなのもembeddings使えば簡単だろうし便利そう。

通常のクラス分類って距離が伝わることが少なくA or Bみたいな見え方(せいぜいテキストのソート)でUIとして提供されるが、実際は A...(このへん).......B みたいな場合も多く、そういうときに付箋の空間座標使ったマッピングは便利そうだよなぁ。そのうちMiroに実装されたりするのだろうが。

---

今日の趣味時間は、だいたいテキスト分類器を作っていた。久しぶりにTransformersを使ったら、使い方忘れていて単純な実装なのに少々時間がかかってしまった。手を動かしてやるごとに、ちょこちょこと発見があって楽しい。

あっという間に過ぎてしまった一日。あっ。

---

そういえばアイシア動画のGPTシリーズを何故か見ていなかったことに気づいたので1.5倍速で観る。PCで見ていたのでメモ書き。やっぱり解りやすいなぁ。

• GPT
  • https://www.youtube.com/watch?v=wDXPXgn5hX4
  • あれ、BERTよりGPTのほうが前だったのか
  • 何故革命だったか解りやすい。pretrain & fine-tune。BERTの凄さと同じなのだけど。
  • Transformer の構造は巨大にしても学習がスケールする。という法則が今のGPT-4やLLMで今のところスケールし続けていてまじスゴイな。
• GPT2
  • https://www.youtube.com/watch?v=3BUk7mtf10M
  • 48 layers、1.5B params で超巨大！というのが時代だなあ
  • 巨大なパラメータに加え、巨大なデータセットを作った、というのがスゴイとこなのかー
    • 量・質・幅(様々なジャンルを網羅)のデータセットが大切
    • 質の担保にはReddit の 3karam 以上の link をデータセットに。なるほど！
      • 800万リンク、40GB と当時としては最大規模
  • 教師データ無しで、教師データありのを超えてSoTAやSoTA並も達成
  • この時点で、割と何でもできるモデルとして認識される
  • なるほど、言語モデルをデカくすれば、性能が更に上がると予想されていた、というポテンシャルもスゴさの一つだったのか
• GPT3
  • https://www.youtube.com/watch?v=CBZWzQVcXE4&list=RDCMUC2lJYodMaAfFeFQrGUwhlaQ
  • 動画①-1
  • Few-Shot が出てきたのもここから。
  • 構造は GPT-2 + Sparse Transformer
    • パラメータが 1.5B(GPT-2) → 175B(GPT-3), 96 layers。超でかい。
  • データ
    • Common Crawl, WebText2, Books1,2, Wikipedia で 600GB
  • 学習にめちゃカネがかかる
    • 投資判断した経営すごいよねー。
  • Sparse Transformer なるほど。図にされると解りやすいなぁ。
  • 動画①-2
  • pretrain & fine-tune(FT) するのめんどいよねー、というわけで Few-Shot
    • この頃(2022年初頭)「prompt」という言葉を聞いたけど、最初イマイチよくわからなかったのだよなー。今は当たり前になったのであった。
  • FTしなくてよい、というのがブレイクスルー。どんなタスクでもちょいFew-Shotのprompt書くだけで良い。
    • In Context Learning
  • SoTA 多し。Few-Shot になると更に多い。
    • 比較は苦手。WiC in SuperGLUE / NLI など。
  • 記事生成のクオリティが人間並
  • 動画②
  • GPT-3の限界・現状苦手な話
    • 人間によるフィードバック強化学習やマルチモーダル学習はGPT-4でされている
    • 今はGPT-4でだいたい解決されてるよねー、というのがスゴイ。
  • 動画③
  • AIによるバイアス、めちゃヤバイので当然考慮しなければならない
  • AIの力はすごすぎるから、適正なに利活用をする義務がある。
  • 悪用方法・バイアス事例を知ることで、誤用を防ぐ
    • 性別・宗教・人種等々。
    • 介入して是正
    • バイアスは指標だけではカバーできない
    • 巨大言語モデルはどうあるべきかを議論
  • 学習にかかるエネルギー
    • SDGs的な問題

昼前に昨年同じデザイン事務所で家を建てた方の邸宅にお邪魔させてもらい、いろいろお話を伺わせてもらう、ありがたい。その後はO家に教えてもらっていた百華園でランチ。初めて行くお店で、名物カツ餃子をいただく。カツなのに餃子タレにつけて食べる、なるほど面白い料理だなぁ。

---

データサイエンスVTuberアイシア=ソリッドのマスターこと杉山聡氏が書いた書籍本質を捉えたデータ分析のための分析モデル入門を最初ぱらっと読んだまま積読してので、ちゃんと読み返す。データを分析するための線型回帰〜応用、機械学習や深層学習、その他データサイエンス関連技術がほとんど網羅されていて、かつ分かり易くて素晴らしいなぁ。とりわけ自分が手を動かして全くやったことがない分野、強化学習の項などを読んで、やっぱり手を動かして一度はなんかやってみないと、強化学習の応用なんかもイメージがつかなさそうだなーと再認識。ゲームAI以外にもたくさん応用できそうだし。他にも自分の知識が浅いところは、わかりやすい説明で理解が進んだり、幅広く書かれていて知らないこともまだまだあったりと、とても良い本であった。

ただ勿体無い思うのは「分析モデル入門」という書籍タイトルで、シリーズ物だからしょうがないとは言え、本書ではデータサイエンス全般を広く取り扱っているのに、タイトルから範囲が狭いイメージをうけてしまいそう。自分はアイシア=ソリッド動画を観ているため、狭いと言うことはないのだろうなと解っていたが、書籍のタイトルで読者層を狭めていたら勿体無いなぁ。

今日は天気予報では雨模様だったので、ガッツリ仕事の一日。が、雨は殆ど降らなかったのであった。

---

おやつはティラミスタルト試作。

---

夜はウォッチリストに入れていた、サタデー・ナイト・フィーバーを土曜夜でもあるし観る。

ダンスバトルでディスコのテッペンを決めるぜ！みたいな男気あふれるバトル話ではなかったが、主にBee Geesの名曲ばかりでアツい。1970年代の美術も良い。映画が終わったら、すぐに自分も妻も映画の関連情報を調べ始めるし、すぐさまサントラを聞き出すし、ぐらいの面白さ。いやー、なんで今まで観ていなかったのだろう。

「フィーバー」という単語は日本だと本来の発熱という意味が消えて、興奮・熱狂的な意味のみで使われていると思うんだけど、この映画名が大元だったんだなぁ。

今日もだいたいオクトパストラベラーIIをして過ごしていたのだけど、そういえば最近外でバーベキューやってなかったなと、重い腰を上げて今年初のバーベキュー。久しぶりすぎて色々と思い出すまで時間がかかってしまう。

ユニフレームのファイアグリル、買ったのが一人用のSOLOだった(写真では、ぱっと見小さいのかどうかわからなかった…)ので、二人でやるには結構小さいのだよなぁ。便利なので普通のファイアグリルを買っても良いのかもしれない。