東京出社・鳩サブレーとシガール購入 / 2023年5月16日

2023年05月16日 21時00分

東京出社二日目。予定をこなし、ささっと新幹線で帰宅。お土産には東京駅で鳩サブレーとヨックモックのシガールを購入。

撮影機材RICOH GR III

社会人復帰 / 2023年5月15日

2023年05月15日 21時00分

昨年始めた法人も軌道にのり、プライベートの自由な時間も結構持つことができる（でないと、二ヶ月まるっと旅行にはいけないよね…）働き方のスタイルで、収入も働き方も何一つ不満なかった。

のだけど、昨今の実用的なAI・LLMを通して様々な社会構造が変容していくであろう、これからのN年間のような変革は、自分が働いてる間は今を逃すともう無いのだろうな〜という面白さが勝って、まさかの社会人復帰1日目である。ので東京出社。

一番迷惑をかけたであろうのが妻で、田舎に引っ越して、あれ田舎で悠々自適な生活をするんじゃなかったのかよ、という夫が社会復帰をしてしまったので、とりわけ自由な時間が減ってしまった。いろいろと振り回してしまってホント申し訳ない…＆社会人復帰を快く許可してくれてありがとうのお気持ち。

撮影機材RICOH GR III

松本周辺観光 / 2023年5月14日

2023年05月14日 21時00分

松本に来ていた妻やO夫妻、I氏と一緒に松本や安曇野周辺を、大和田観光のアレンジで巡る。朝食のパン、安曇野ちひろ美術館、昼食の蕎麦、古墳、夕方の休憩等々。観光も良かったけど、何より気心の知れている久しぶりの方々と過ごす楽しさよ。この日も充実した1日だったなぁ。

妻は那須塩原に帰り、私は仕事のため東京へ。松本から新宿の特急あずさ、揺れると聞いていたけど確かに揺れる。たしかに作業していると酔いそうである。この日記も揺れながら書いているのだけど。

ウェイトリストに登録しておいた、GitHub Copilot chat private betaの招待が届く。どんなものかの機能を今は書いてはダメっぽいので詳細は省くが、思っていた感じに進化していて普通に便利。この分野もGoogleも本気出してきたし、開発者にとってはAIサポートによる開発者体験の向上は嬉しい限り。

撮影機材RICOH GR III

RubyKaigi 2023 Day 3 / 2023年5月13日

2023年05月13日 21時00分

引き続きホテル大和田に宿泊。朝の散歩二日目も気持ちが良いなぁ。周りどこ見ても山々、という景色も素晴らしい。

朝食は名古屋珈琲でモーニング。そういえば昨日の朝食もシルビアコーヒーで名古屋風モーニングなのであった。

RubyKaigiで、Rubyistのキーボードを並べるちょっとしたイベントがあったので覗いてみると、どれもこれも面白くて新しいキーボード欲しくなるなぁ。日本のカスタムキーボードの先駆けの一人であるT氏からまず使ってみるならMODEのキーボードあたりが良いんじゃ無い、と言われ興味を持つ。カスタマイズが必要なので、ちょっと調べてから買ってみたい。

RubyKaigiはちゃんと技術の話が多くていいね、と言われハッとする。たしかにセッショントークはどこかの企業でなんたらを導入して云々、みたいな話はほとんどなくて、基本Rubyにまつわるテクニカルな話だなぁ。

トークは基本Rubyの話をしていて、エモい話や他コミニュケーションの話は合間の休憩やトークセッションが終わった後、という絶妙なバランスも良いかった。運営の方々・スピーカーの方々・その他携わった方々、良いイベントをありがとうございました。

この日は結構疲れていたので、夜は何処かと合流せずにホテル大和田へ。夕飯は大和田夫妻と焼肉に行ったのだけど、地元感ある美味しい焼肉屋で大満足。久しぶりの夫妻共々との会話もはずみ楽しい時間であった。

撮影機材RICOH GR III

RubyKaigi 2023 Day 2 / 2023年5月12日

2023年05月12日 21時00分

昨晩から大和田観光のホテル、ホテル大和田に宿泊させていただく。快適。なお大和田観光・ホテルは友人宅なので調べても出てこないので注意。朝は水田や山々を見ながら散歩。いい場所だなあ。良すぎて別のルートで朝散歩をもう一度してしまった。

RubyKaigiの会場の屋上にある芝生コーナーが眺めも良く素敵な場所だったので、しばし作業をしているとM氏とたまたま出会い「じゃあ雑談でも収録する？」と、カバンからきちんとしたマイクや録音機器が取り出されスムーズに収録が始まる。めちゃ面白体験。

芝生で作業してたセコンさん @hotchpotch と雑談収録しました #rubykaigi #rebuildfm

サポーター向けフィードで聞けますhttps://t.co/QKPotN7o2S pic.twitter.com/GkOPxbSbv7
— Rebuild Podcast (@rebuildfm) May 12, 2023

明日は天気が崩れそうなので、昼休みに一人松本城へ。天守閣へも登る。北アルプスが背景にずどーんと松本城が堀の上にたたずむ風景の良さよ。

夜はさっそくボッチになっていたところ、J氏S氏と合流して飲み。S氏ときちんと話したのは初めてなのだけど、面白すぎでしょう。たまたま入った居酒屋も良く、良い夜であったなぁ。

撮影機材RICOH GR III

RubyKaigi 2023 Day1 / 2023年5月11日

2023年05月11日 21時00分

RubyKaigi 2023参加のため松本へ。朝7時前後は、那須塩原から結構新幹線でてるのね。通勤時間帯。大宮・長野経由で3時間ちょっとほどかけて松本に到着する。PC開いてカタカタしていたらあっという間であった。

RubyKaigi、みなさんRuby愛溢れていて良いなぁ。2003ごろ初めてRuby(とtDiary)がきっかけプログラミングをし始めたことを再び思い出し、改めてRuby関連コミニュティに感謝を忘れずにしないと。

昼食は蕎麦屋。丼もの＋蕎麦＋デザートのボリュームで950円はお得だし、味も美味しい。夕方は小休止にカフェ栞日へ。心地よい空間。

夜の大人数参加のafter party的なイベントでは、久しぶりの方々数十人と話す。このような場に来るぐらいだから、みなさん技術的なことをさまざまな立ち位置から行っていて近況が聞けて良かったなぁ。お元気そうで何よりであった。

その後はGグループ社の方々と軽く居酒屋へ。シンガポール以来のK氏や深圳以来のK氏等数年ぶりの方や、実は世界一周旅行記を読んでいてくれた方がいたりと、ありがたい限りだ。

撮影機材RICOH GR III

ビゾフレックス2 / 2023年5月10日

2023年05月10日 21時00分

ライカの羊羹こと、ビゾフレックス2を購入。噂通りデカい。

久しぶりにPO3–3M 50mm F2を取り出して撮影。ビゾフレックス2便利だけど、オールドレンズをフルサイズにつける母艦としては、a7Cのほうがが全体的に小型でキビキビして手ぶれ補正もあっていいよなぁ。買う前から解っていたが～～。

撮影機材α7C/leica m11/FE 55mm F1.8 ZA/po3-3m 50mm f2

寒い5月・バソキヤ・テキスト分類器 / 2023年5月9日

2023年05月09日 21時00分

5月になったというのに、昨日今日は底冷えして、電気スリッパを使ったり暖房を付けたりの日々。

昼食のバソキヤ。

OpenAI の embeddings 精度良いよなー、文字数(tokens)が少ないとコストがやたら安いのも良い。GPT3.5なんかは送信tokens,返却tokensにコストが掛かるが、embeddingsは1532次元のベクトル自体の返却コストは0円。

かんがえをまとめるデジタル文房具Kozaneba をたまたま見て、そういえばKJ法的なまとめにクラスタリングして、みたいなのもembeddings使えば簡単だろうし便利そう。

通常のクラス分類って距離が伝わることが少なくA or Bみたいな見え方(せいぜいテキストのソート)でUIとして提供されるが、実際は A...(このへん).......B みたいな場合も多く、そういうときに付箋の空間座標使ったマッピングは便利そうだよなぁ。そのうちMiroに実装されたりするのだろうが。

今日の趣味時間は、だいたいテキスト分類器を作っていた。久しぶりにTransformersを使ったら、使い方忘れていて単純な実装なのに少々時間がかかってしまった。手を動かしてやるごとに、ちょこちょこと発見があって楽しい。

撮影機材ricoh gr iiix

GPTシリーズ・動画メモと学び / 2023年5月8日

2023年05月08日 21時00分

あっという間に過ぎてしまった一日。あっ。

そういえばアイシア動画のGPTシリーズを何故か見ていなかったことに気づいたので1.5倍速で観る。PCで見ていたのでメモ書き。やっぱり解りやすいなぁ。

GPT
- https://www.youtube.com/watch?v=wDXPXgn5hX4
- あれ、BERTよりGPTのほうが前だったのか
- 何故革命だったか解りやすい。pretrain & fine-tune。BERTの凄さと同じなのだけど。
- Transformer の構造は巨大にしても学習がスケールする。という法則が今のGPT-4やLLMで今のところスケールし続けていてまじスゴイな。
GPT2
- https://www.youtube.com/watch?v=3BUk7mtf10M
- 48 layers、1.5B params で超巨大！というのが時代だなあ
- 巨大なパラメータに加え、巨大なデータセットを作った、というのがスゴイとこなのかー
  - 量・質・幅(様々なジャンルを網羅)のデータセットが大切
  - 質の担保にはReddit の 3karam 以上の link をデータセットに。なるほど！
    - 800万リンク、40GB と当時としては最大規模
- 教師データ無しで、教師データありのを超えてSoTAやSoTA並も達成
- この時点で、割と何でもできるモデルとして認識される
- なるほど、言語モデルをデカくすれば、性能が更に上がると予想されていた、というポテンシャルもスゴさの一つだったのか
GPT3
- https://www.youtube.com/watch?v=CBZWzQVcXE4&list=RDCMUC2lJYodMaAfFeFQrGUwhlaQ
- 動画①-1
- Few-Shot が出てきたのもここから。
- 構造は GPT-2 + Sparse Transformer
  - パラメータが 1.5B(GPT-2) → 175B(GPT-3), 96 layers。超でかい。
- データ
  - Common Crawl, WebText2, Books1,2, Wikipedia で 600GB
- 学習にめちゃカネがかかる
  - 投資判断した経営すごいよねー。
- Sparse Transformer なるほど。図にされると解りやすいなぁ。
- 動画①-2
- pretrain & fine-tune(FT) するのめんどいよねー、というわけで Few-Shot
  - この頃(2022年初頭)「prompt」という言葉を聞いたけど、最初イマイチよくわからなかったのだよなー。今は当たり前になったのであった。
- FTしなくてよい、というのがブレイクスルー。どんなタスクでもちょいFew-Shotのprompt書くだけで良い。
  - In Context Learning
- SoTA 多し。Few-Shot になると更に多い。
  - 比較は苦手。WiC in SuperGLUE / NLI など。
- 記事生成のクオリティが人間並
- 動画②
- GPT-3の限界・現状苦手な話
  - 人間によるフィードバック強化学習やマルチモーダル学習はGPT-4でされている
  - 今はGPT-4でだいたい解決されてるよねー、というのがスゴイ。
- 動画③
- AIによるバイアス、めちゃヤバイので当然考慮しなければならない
- AIの力はすごすぎるから、適正なに利活用をする義務がある。
- 悪用方法・バイアス事例を知ることで、誤用を防ぐ
  - 性別・宗教・人種等々。
  - 介入して是正
  - バイアスは指標だけではカバーできない
  - 巨大言語モデルはどうあるべきかを議論
- 学習にかかるエネルギー
  - SDGs的な問題