焼肉じゅうじゅうで昼食を食べ、上州屋で釣具を買い、烏ヶ森公園を散歩し、千本松牧場のふれあい広場で動物とふれあい、千本松温泉に入って帰るという、充実した一日。焼肉じゅうじゅうは2月オープンの焼肉屋で、いわゆるランチ焼肉定食をやっていた。このへんであんまりランチ焼肉定食を見かけないので嬉しい。

---

烏ヶ森公園の寒桜。公園は結構広く、桜もたくさんある。桜はもう咲きそう、という蕾で、来週あたり見頃そうだなぁ。公園のベンチで昼ごはんをとっている人達も結構居て、近くで昼食を買ってここで食べるというプランも良さそうだ。

---

千本松牧場のふれあい広場、甘く見ていたけど色々楽しい。ヤギ好きなのでヤギとも触れ合える楽しさ。餌を持っていないとヤギは人間をなんとも思わないので（餌を持っていると突進してくるけど）、程よい距離感で楽しめる。鳥もいろいろな鳥が居て、キンケイはカズレーザーっぽい鳥だなと思っていたら、バズったことがあるっぽい。

千本松温泉も甘く見ていたのだけど、木々に囲まれる露天風呂があり結構良かったなぁ。空いていたのでボーッと時間を過ごす。

---

ベクトル・行列からはじめる最適化数学読み進めは12.2解と12.3最小2乗問題を解く、まで。解では、編微分から勾配が0になるように解を導出する。驚くことに、11章の線形連立一次方程式を解く方法で近似解を求めることができる。

つまるところQR分解で、いわゆる線形回帰の結果を求められるわけで、なるほどなぁ。ちょっとnotebookに書いて確かめてみる。は～面白い。

現像の正解がわからなくなってきたので、昨年からLightroomについたAIによるおすすめプリセット機能で選択。ざっくりとプリセットが適用されたものを見比べられるし、自分では使わないようなパラメータのプリセットもたくさんあるので、なるほどこんな風になるのか、と時たま便利に使っている。

---

ベクトル・行列からはじめる最適化数学読み進めはIII部に入り、12章最小二乗法の12.1の最小二乗問題まで。距離について復習のため3章のノルムと距離を読み直したり。線形代数における線形最小二乗法は、優決定の連立一次方程式では、ほとんどの場合厳密解が存在せず、残差ノルムが最小になるような近似解（最小解・最適解）を求めることである。毎度ながら知っているアルゴリズムであっても切り口が線形代数なので面白いなぁ。

南国食堂マムアンで昼食。タイ・ベトナム料理のお店。お店の自家製というカオマンガイのソースが非常に好みの味付けで美味しかった。

---

那須山温泉++。久しぶりの温泉＆サウナ。温泉帰りもまだ明るく、日が落ちるのが遅くなったなぁ。温泉入り口のたぬき。

---

最短コースでわかる ディープラーニングの数学をえいやと読んだ。後半は回帰とニューラルネットワークの実装やテクニックの話なので、前半の理論編よりあっさりと読み終わる。誤差逆伝播法の説明が前半の理論編と比較して意外なほどサラッと説明していて、これで解るのかな？という感じではあった。書籍ゼロから作るDeep Learningでは一章まるまる誤差逆伝播法の説明があって、あれぐらい説明されて自分はやっと理解することができた記憶。

そう言えばそろそろゼロから作るDeep Learning ❹――強化学習編が発売される(4月6日発売)ので目次を見てみると、めちゃ興味を引く内容で面白そうだなぁ。

---

ベクトル・行列からはじめる最適化数学読み進めは11章逆行列のnotebookをやる。やっている最中、早速QR分解を忘れていたのでどんな性質だっけと10章に遡る。行列の列が線形独立なら正規直交の行列Qと、行列Rに分解できる。Qは正規直交なのでQ.T @ Q = Iの性質を持つ。

ヴァンデルモンド行列の連立方程式を解いたものがラグランジュ多項式補完となるのも面白いなぁ。こういう数学の性質はきちんと理解していれば様々なところで応用ができるのだろうが、今は「こう応用できる」を示されないと全然わからんのだよなぁ。

従姉妹の結婚式で築地へ。東京は暖かく、満開の桜。人生の縮図が伝わってくる良い結婚式であった。お幸せに。

---

帰りは新幹線でサクッと。東北新幹線が先日の地震で一部区間通行止めにより、ほとんどが各駅停車の新幹線「なすの」となり那須塩原に停車するという、ある意味ありがたいダイヤとなっていた。毎度楽しみにしている、JRの新幹線社内誌トランヴェールに載っている沢木耕太郎の旅のつばくろは今月で最後で、楽しみが一つ減ってしまった。

---

今回の行き帰りでは、積読の本を読もうと最短コースでわかる ディープラーニングの数学を読む。そもそもディープラーニングに最低限必要な知識を、損失関数、行列演算、勾配下降法、シグモイドとソフトマックス関数、最尤推定、誤差逆伝播法として、理論編ではそれらの数学的な基礎を解説し、実践編では線形回帰・ロジスティック回帰・最後にニューラルネットワークまでを説明する。7割ぐらい読みすすめた（理論編＋αぐらい）のだけど、主に解析学(の初歩)関連の解説となっておりなるほど～。

例えば線形代数は内積説明のための三角関数、内積や内積のなす角度、行列積の計算とサラッとした感じであるし、確率も二項分布～正規分布、正規分布関数とシグモイド関数の類似性やシグモイド関数の微分のやりやすさ、ぐらいの説明となっていてページ数の割り振りも少ない。対して微分、極限、指数対数、ネイピア数、偏微分、全微分あたりはかなりページをさいてしっかりと説明している。内容的にも高校数学の必要な部分の総復習、という感じなので難しくない。

だいたいニューラルネットワーク本におまけ程度に載っている数学解説は「この公式や計算方法を覚えておいてね」ぐらいなのだけど、この本はきちんと基礎と大体の証明を行い、かつきちんとそれらがどの工程で使われるのか、というのが読み進めていくと解る感じになっていて、なかなか良い本なのでは、という感想を持った。もうちょっとで読み切れるので、えいやと読んでしまいたい。

Amazon Original のUPLOAD～デジタルなあの世へようこそ～のシーズン2が先日配信され、ちょうど見終わる。死後に仮想世界に行き、現実ともコンタクトがとれるという世界観。デジタルが絡んでくるので面白く続きが気になりサクッと見てしまった。一話30分前後という長さも気軽に見れてよかったのだよなー。

---

明日東京で用事があるので、実家で一泊。甥(来月から小3)と将棋をするも負けそうになる。毎度強くなっているなぁ、将棋は定跡すら自分は知らないので、もうちょっと学ばないと次回は負けそうだ。甥はクラブ活動はゲーム・タブレットクラブというのに入りたいとのことだけど、理由はそのクラブでは将棋が指せるからという。渋い理由で良いね。

---

はじめてCDを買ったお店はまだ存続していた。長く続いてほしいものだ。

---

ベクトル・行列からはじめる最適化数学読み進めは11.5の擬似逆行列まで。

LINE 社のブロックチェーン周りのプレスリリースが盛んな昨今なので、LINK(LINE Blockchain)のホワイトペーパを読む。LINE（Zホールディングス）という日本では大きな営利企業がブロックチェーン参入でどんなことをしたいか、がホワイトペーパからなんとなく読みてれるので面白いな。本来こういう事業戦略に関わるものはパブリックにされない物がいいのだけど、ブロックチェーン周りはホワイトペーパを公開する文化なので、そういう意味でも公開されるのは面白い。

自分の知識で読んだ感想としては、結局の所LINE社がトークンの配布計画を握り、LINKを利用するdAppもLINE社の手の上、という感じで技術的にはブロックチェーンでできるアレコレなのだけど、やはり中央集権化されてるのでは…という印象。

またうまいなぁと思うのは、日本円への変換というレートが時価になるものと、LINE社が扱うコンテンツではLINKのレートをLINE社の意のままに固定にできるであろうという、2軸の価値(LINE経済圏での価値と、日本円での価値)が発生するであろうところ。仮想通貨のレート変動が激しく、通貨を持っているユーザ心理としてレートが下がると悲しいというのがあるが、下がった場合はLINE社が扱うLINKレートが固定されているコンテンツをポイント利用のようすれば価値のき損を受けずに得ることができる、実質ステーブルコインのような使い方もできそうな。

事業会社がやるブロックチェーン事業としては面白そうだなぁと思う反面、いわゆるweb3の中核である非中央集権的な視点からすると面白さが感じられない、というあたりも技術的には同じ類のものなのにこうも違ってくるのか。

---

昨晩、また雪が降って朝軽く積もっていたので近隣散歩。今日は暖かく、あっという間に溶けてしまった。

---

昼食は新規開拓と、レストラン西欧へ。結構な賑わいで地元に愛される人店のようだ。ポーク・ビーフ・ハンバーク・フライ等々のメニューが山程、日本の洋食屋という感じで楽しい感じ。

---

久しぶりのIRIS BREAD&COFFEEではアップルパイ。りんごゴロゴロで、生クリームと食べると美味しい。

---

鳥野目河川公園散歩。春休みに入ったので、キャンプ客いるかなと思ったのだけどゼロであった。広々とした公園をほぼ人が居ない中を歩ける贅沢。この公園でも様々な蕾を見かけ、時期に訪れる春を感じさせる。

---

ベクトル・行列からはじめる最適化数学読み進めは11.4の逆行列の例まで。

昨日から降り積もった雪。8cmぐらいは積もったのかな。落とす影が骨っぽかった。

---

花沢健吾氏の漫画、アンダーニンジャを1～7巻まで(既刊全部)を読む。1巻が0円だったので読んでみたところ、散りばめられた謎が気になるし話自体にも勢いがあるしで面白～～となり続きも一気に読んでしまった。本作では風呂敷がうまくたためると良いなぁ。

---

ベクトル・行列からはじめる最適化数学読み進めは11.2の逆行列。行列Aが左逆行列・右逆行列をもつ場合、逆行列を持つ。行列Aも逆行列も正方行列で、行列Aは正則行列（可逆行列）とよばれる。この項では、逆行列の性質を示し、たとえば対角要素が0でない行列は正則である、QR分解により逆行列が求められる、なぜ−1乗表記が逆行列として表現できるのか、等々。

11.3は連立方程式の解き方。まずは正則である上三角行列を後退代入で解く方法を述べ、続いてQR分解して解く方法、最後にQR分解で逆行列を求めて解く方法が説明される。

QR分解で解く方法は、factor-solve法とも呼ばれ、factorのステップでは係数行列をまず特殊な性質を持つ行列の積に分解する（この場合はQR分解、solveステップに比べて圧倒的に計算量が多い）。そしてsolveステップでは計算量を低く求めることができる。QR分解のような行列分解は因子分解(factorization)と呼ばれる。なるほど、これら(factor-solve, factorization)がアルゴリズム名やその説明でよく出てくる用語なのか〜。

また一気に温度が下がり、雪の一日。天気予報によると、春は高気圧・低気圧の入れ替わりが頻繁で、とりわけ寒暖差が起きやすいらしい。本日は労働日かつ暖房消費が激しそうな日で「電力需給ひっ迫警報」が制定後初めて発令された日になったとのこと。NHKを見ていると枠でずっと警報情報が表示されている。

そして積雪の影響なのか、電力需給の影響なのかはわからないが、昼間テレビにNHK総合の電波が入らず（というかNHK教育以外は民放含め全滅）という現象がおきた。

---

ワクチン三回目接種翌々日。副反応は打った腕を上げると痛く、PC作業をしている分には大したことはないが、体を使う仕事の人は大変そうだ。熱は平時だけど、ちょっと気だるさは残る。

---

2021に放映されたアニメSonny Boyを見終わる。最初は十五少年漂流記的な中学生だけが取り残された世界で…みたいな話なのだけど、段々と哲学的・思考実験的なストーリになっていき、また独特の演出かつほぼBGMが無いという尖った感じの作品。江口寿史氏のキャラクターが動き、引き込まれるようなシーンもたくさんある。人に勧めるかと言われたらだいぶ人を選びそうなのでどうなのだろうと思うが、個人的には最後まで楽しめた。

---

ベクトル・行列からはじめる最適化数学読み進めは11章逆行列に入り、11.1の左逆行列・右逆行列。逆数は単純なのに逆行列を求めるのは複雑なのね。左逆行列での連立方程式(優決定)の解はこうやって求められるのかー。

ワクチン三回目接種翌日。副反応により微熱とけだるさでまぁまぁの体調の悪さ。カロナールなどを飲みつつ過ごす。

---

雑草、適当に水だけでだいぶ生き残っていて、すごい生命力。

---

映画コードギアス 復活のルルーシュを観る。二回目。一回目見たときよりも面白く見れた気がする。郷愁を誘う良い作品だ。

---

引き続き、PyTorchとfastaiではじめるディープラーニングを読み進め。9章はテーブルデータに対するアプローチで、Kaggleコンペゴールドのスコアが出る手法をニューラルネットで実装する。章の最初の方に「機械学習はデータセットを扱うほとんどのケースで決定木(ランダムフォレストと勾配ブースティング)もしくはニューラルネットワークでモデル化できる（ので、ほかの何十ものアルゴリズムを色々最初に学ぶ必要はない）」的なことが書かれていて、割り切り感が良い。テーブルデータの解析時には基本は決定木ベースで、カーディナリティが大きいカテゴリ変数や文章を含むデータならニューラルネットワークも試す、みたいに実用に沿った説明もある。

9章前半は、Kaggleコンペの説明のような感じで、決定木とランダムフォレストを使いデータを解釈しながら説明する。まったくNNとは関係がないのだけど、さすがKaggleトップランカーの話だけあって分かりやすいし面白い。ランダムフォレストの復習(決定木、バギング、アンサンブル)と、ランダムフォレストを使ってデータをどう解釈するかの理解が進んだ。

後半はNNでサラッと実装、NNとのランダムフォレストでのアンサンブルの説明がなされ、最後にNNの埋め込みを特徴量として、再度ランダムフォレストなどやNNにかけると性能向上する(やり方)など、いやーこの章も面白かったなぁ。

ちなみにスコアは、特徴量を色々削る前のデータをLightGBMにくべてみる(ハイパーパラメータは特につけず。評価関数は標準でrmseのようだし）と、そのスコアが一番良いし高速という感じでlgbスゴイ…。