妻の友人が家に遊びに来てくれた、が非コミュな自分は「あっ、ども…」という挨拶で終わってしまった。「今日はわざわざ遠いところからお越しくださって、ありがとうございます！妻は皆さんとの話をするときは毎度楽しそうで…。これからもぜひよろしくお願い致しますね！」ぐらいの最低限の社交的な挨拶をしようと、お茶しているリビングに向かった時には時すでにお寿司、皆さんは帰ってしまっていたのであった…。

最近はGPUで学習に加えLLMの推論もさせている。推論はローカルLLMの量子化モデルが割と良い精度になってきたし、Qwen やDeepSeekの緩いライセンスも良い。主に後者が魅力。

手元のRTX4090,3090だけじゃGPUの計算機リソースが足りないので、RTX5090が2枚ぐらい欲しいけど世界的在庫不足で転売屋以外では売っていないので買えないのじゃ〜〜(抽選には外れた)。

LLM推論の用途で言えば、Project DIGITSのFP4での1PFLOPSも魅力。5月から発売っぽいけど、全然買えない予感しかない。Mac の M4 Max はメモリは大きいので割と大きなモデルも乗り一件推論させる、みたいな用途には割と使える。が、数十万件〜をLLMに推論させる、みたいな今やっている用途ではだいぶ遅いから使えないんだよねぇ。RTX4090の1/10ぐらいの速度だ。エーアイはお金がかかるなぁ。

近所の笹藪、日があまり当たらない場所だから、どんどん雪が積もっていって、隠れそうなぐらいだ。今日はほぼ雪が降らなかったから、徐々に溶けていくのだろうけど、結構積もったなぁ。