昨日に引き続いて寒い日。日中、近所の工事が非常に大きい音で集中できず、図書館みるるへ。無料WiFiもあるし、集中部屋もあるし、作業机がたくさんあるので気分を変えるのにちょくちょく移動できるし、コーヒー屋（モリコーネ）も図書館内部にあるし（蓋付きなら館内どこでも飲んで良い）、とても良い環境。難はビデオチャットができないことぐらいか。モリコーネでは球根ごとチューリップをディスプレイしていた。
これは昨日食べたアップルパイ。
ベクトル・行列からはじめる最適化数学読み進めは15章多目的最小二乗法。15.1, 15.2の制御まで。多目的最小二乗法はAx + b 一つではなく、複数の式で最小化する。互いに相反するので、目的に応じた係数で必要な妥協・妥当ラインを求める。例では、複数エアコンを利用して温度を均一に保ちたいが、それらにかかる電力消費量もなるべく下げたい、バランスの良い係数は何か、など。
昨日より最高気温が15度ぐらい低く、だいぶ寒い一日。寒暖差があるからそう感じてるだけで、2・3月にくらべたらこれでもだいぶ暖かいのだけど。
冬に球根を植えたチューリップが数日前から咲き出す。穴ほって植えるだけ（簡単といいつつも、ほぼ妻がやってくれたのだが…）で咲いて偉い。寒かったり明け方や曇りの陽が出ていない時は花が開かず、暖かく陽がさすと花が開く。健気な感じが微笑ましい。
芝桜の花びらも色々なタイプがあるなぁ。これは白とピンクのブレンド。
ベクトル・行列からはじめる最適化数学読み進めは14章、最小二乗識別。2クラス分類と多クラス分類を最小二乗法で行う方法の解説。多クラス分類は二クラス分類をN種分やってargmaxをとるのだけど、N種やるのは計算機効率が悪いがQR分解した結果を使いまわすことで大幅に計算量を削減できる。もしくはワンホット化した値を使う。
機械学習では通常2クラス分類は0,1を当てるのだけど、この本ではわかりやすくするために-1,1を使っていてなるほど。0,1なら0.5が中心だが、-1,1で0が中心のほうが理解しやすいなぁ。softmaxも使わず、シンプルで分かりやすい解説。
章の最後に、ランダムな値を作って説明変数の積をとったものをmax(0, x)な、いわゆるReLU関数に通して非線形化して特徴量を水増しする。この水増し特徴量を加え、最小二乗法でクラス分類すると、水増し前は約86%の正解率が、水増し後は95%強ほどになってえっビックリ。自分でも書いて試して腑に落ちた、なるほど線形関数では結局特徴表現は変わらないので、非線形化することで意味のある特徴になるのか。なお非線形化しないと、正解率はほぼ変わらない。
ついでに最小二乗解の計算に結構時間がかかっていたので、numpyからjaxに書き換えて試す。ほぼnumpyママ動くし、colabのGPU上で超簡単に動かせて、numpyなら24秒ほどの処理が1-2秒ほどに。3分ぐらいの処理は20秒ほどに。おおお、jaxいいじゃん。こういうやつが欲しかった。
先日車で通ったとき、山あいに沢山の桜があってここは何だろう？と後日調べると芦野氏陣屋跡（芦野御殿山公園・御殿山）という場所らしい。芦野氏の屋敷（居城）跡で、桜ヶ城とも呼ばれるぐらい桜が見事とのことでなるほど。すぐ手前の隈研吾建築である石の美術館は有名だけど、この芦野氏陣屋跡なんて存在自体全く知らなかった。
入り口には稲荷神社。御殿山を登ると見晴らしが良い休憩所があり、芦屋～茶臼岳(たぶん)を一望できる。ちょうど桜は散り始めて、それもまた良かったな。
中腹にある樹齢500年のコウヤマキ。ご立派。
山を登っているお年寄りは結構いらっしゃったが、全体的にほとんど人はおらず、桜と景観を堪能できた。周りも芦野の自然あふれる良い場所で、また違う季節に来たい。お気に入りの場所が一つ増えた。
お昼は伊王野山の駅で水車蕎麦。暑い日のため、蕎麦屋は大変賑わっていた。外のテントの下で食べたのだけど、春の陽気が最高の調味料という感じで、大変美味しくいただけた。
その後はgarden AUX PARADISへ。かつて無いほどの混み用で、店内には入らずテイクアウトでジェラートを頼む。はじめはここでランチをと思っていたけど、混みそうな予感がしたので水車蕎麦で正解であった。
春のPARADISの敷地は花々に囲まれもう最高という感じで言うことなし。店の周りを散歩している人は少なく、なんとも勿体ない。
暖かいを通り越して汗がでるような日が続いたので散髪へ。約一ヶ月半ぶりでサッパリ。いわゆるスピードカットなのだけど、予約アプリがこのお店にはあり、予約できるのが便利なのだよなぁ。今日など予約なしなら100分待ちであった…。
ベクトル・行列からはじめる最適化数学読み進め。13.2の検証では汎化性能・過学習・ホールドアウト検証・交差検証の説明など。この辺は機械学習の一般的な話なので復習的な感じ。
13.3の特徴エンジニアリング。標準化・例外値削除・ワンホット化・特徴同士の積（バイナリなら両方1のもののみが1としてのこるなど）・一般加法モデル（特定の閾値以上で線形関数を適用するといった非線形モデル）・層別モデル（特定クラスタで別モデルを適用する）という一般的なものの説明。高度なものとして、たとえば文章ならTF/IDFといったドメイン特化な特徴追加・他のモデルの予測値を使う・クラスタリングしたグループ代表からの距離・元の特徴からランダムな線型結合する非線形関数を適用といった説明。
ニューラルネットワークの学習は特徴エンジニアリング視点から一言で表すと、線形関数と非線形関数を組み合わせることで、巨大なデータがあれば良い特徴写像を直接見つけることができる特徴量（NNにおいてはパラメータ）作成と言えるであろう。
この節は「新しい/より良い特徴量を作れました」という一般的な話だけでなく、RMSを見てその特徴がどれだけ寄与しているのかや、追加しても訓練・テスト結果のRMSがちょっと良くなる程度の特徴はよろしくない、等を知ることができる。また人間が解釈しやすい最小二乗法とRMSから試して、徐々に複雑なことをやっていくことが大切という至極まっとうな手法を理解できる。示唆に富んだ節だったなぁ。
花粉が多いのか、朝から鼻がヤバい警報。昨晩も一日一錠で効く鼻炎薬を飲んだのだけど、追加で今朝も飲んだが、効き目はあまりなく日中ティッシュが手放せない一日であった。この辺はヒノキ花粉が多く飛んだ日らしく、スギよりもヒノキ花粉に弱いのかもしれない。
隣県白河市の南湖公園に行き、南湖を周遊散歩しながら桜を見る。暖かくてほんと良い日だなぁ。と、歩いていると、自転車に乗ったH氏に遭遇。えーびっくり、こんなところで！H氏は自転車で色々なところを巡っているので、ばったり会うことがある、という噂は聞いていたのだけど、自分達も会うとは。ただでさえ心地よかった散歩が、思いもかけない出会いで更に楽しいものとなった。
休憩はSHOZO SHIRAKAWAで。いちごのレアチーズケーキが、のっているイチゴやホワイトチョコと食べると絶妙なバランスでおいしい。SHOZOのそばの団子屋ではソフトクリームぜんざい的な物も売っていて美味しそう、今度食べてみたい。
つづいて白河の小峰城跡地へ。311震災で石垣が崩れ落ちてしまったらしいのだけど、いまは復旧して何より。城跡地の高台をぐるっと桜が囲んでいて、こちらの桜もきれいであった。高台からは白川が見渡せる。また高見櫓は再建されたようで中を登ることができる、結構立派だ。学生の一行や、お年寄りの御一行もバスなどで訪れており、楽しい賑やかさ。
遅めの昼食は、白河手打ちラーメンあずま食堂で。店内はリニューアルしたのかオシャンティで、店員さんも至極丁寧。美しいラーメンのビジュアル、ついつい食べすぎてしまった。毎度うっかり食べすぎて体調を崩しているのだけど、いつになったら昔と違ってそんなに体は食べられないんだよと学習するのだろうか。というかアンラーニング（昔はたくさん食べれたことを忘れる）できるのであろうか。
帰り道は芦野温泉へ。久しぶりの薬湯は染み入る。
ベクトル・行列からはじめる最適化数学読み進めは13.1最小二乗データ当てはめの残りをやる。なかなかの長さの節だった。最小二乗法をただの線形回帰として当てはめる話は、どの機械学習初学者本にでる当たり前の話なのだけど、行列の特性をわかっていれば例えば周期的なデータ（例では12ヶ月周期のデータ）ではその周期の単位行列を作って縦方向にスタックし最小二乗法を適用することで、周期ごとの重みを出した上で当てはめができる。N次多項式ではヴァンデルモンド行列を使い、係数を求める。分割点があるようなデータに対しては、区分線形関数を最小二乗法当てはめとして解く。
自己回帰モデル(ARモデル)を当てはめる例では、ロサンゼルス国際空港の気温の予想を直近8時間の数値から線形関数のパラメータをガッと出して最小二乗法に当てはめる。なるほど、最小二乗解をガッと出すだけでパラメータを求められるのは面白いなぁ。ガット出せるので、直近M個の数値を変えて最適なRMSを求める、というのも簡単にでき、例えば例のロサンゼルスの気温では直近のM=8なら予測点が736個でRMSは1.013だが、M=100なら予測点が644個で0.761、M=400なら予測点が344個でそれに対してのRMSがほぼ0となる。つまり直近400時間分の気温がわかっていれば、次の一時間の気温はこのデータに関してはほぼ当てられるが、これはまぁ過学習ですね。
他にも自己回帰モデルは時系列データを考察するのにいろいろと使えそうで面白いなぁ。Wikipediaの項目を見ると、今回当てはめた自己回帰モデルはユール・ウォーカー方程式というやつなのか。
最後に従属変数（目的変数）の対数化の話で、相対誤差を最小にしたいなら対数化する、絶対誤差でみたいならママ使うといった話。この節も色々と為になるし面白かったなﾜｧ～。
仕事部屋が昨日買ったスイセンと桜の花で満ちていて良い香り。スイセンはジャスミン・金木犀のような香りなんだね、好みの香りだ。
冬タイヤ履き替えのためイエローハットへ。サラッと終わるかと思いきや、以前付けていたタイヤはイエローハットの整備基準では不良だからここでは付けられないと言われ、新品タイヤを買うか持ち帰ってくれと言われる。こないだ車検通ったばかりなのに、なるほどそういう販売方法もあるのか～と勉強になった。持ち帰るのも面倒だし、次回の車検では通らない可能性もあることがわかったので、勉強代と思い新しいタイヤに変更。車関連は無知なので、こんなところにも費用がかかるのかと、思わぬところで出費がかさむ。
車は人生で数回ぐらい買い替えそうだから毎度知識が溜まりそうだけど、人生で1回買うかどうかの家は、何も考えずに中古住宅を買ったりすると大変なことになりそうだ。
昼食はプティレストランPotironでコルドンブルーを。初めて目にするコルドンブルーという料理は、ホワイトソースを豚ロースで挟んで揚げたカツにジャバジャバのソースがかかっていて非常に好みの味。定年退職後にお店を開いて14年、というもの優しいご高齢のご主人が今日は一人でお店を回していて大変そう。お話を伺うと、おいしいと言ってもらえることが嬉しくてレストランを続けている、チーズフォンデュが名物でとても美味しいから今度食べてね、と言われ、またチーズフォンデュを食べに来たい。
その後は那珂川河畔公園へ。早めに咲いた桜は散り始めていて葉桜に、時折風が吹くと花吹雪。暖かく気持ちよく散歩できた。はー最高。木蓮や河畔のしだれ桜も綺麗であった。
先日前を通りかかったら屋台が出ていて気になった、高久愛宕山公園でも散歩をする。今日も3軒ほど屋台が出ており楽しそう。丘になっているからか、桜はもうだいぶ葉桜になってしまっていて、もう数日前が見頃だったのか。この公園はGoogle Mapsにもほとんど情報がないのだけど、丘の上の高久神社まで車で行くことができる。丘からの眺めもなかなか良いし、ほどよく散歩できるので、今後もちょくちょく通いたい。良い場所。
那須塩原在住のO家I家のみなさんと烏ケ森公園でお花見。先週訪れたときはほぼ蕾だった桜も満開で、多くの人たちで賑わっていた。社会人になってから人数が集まる花見はたいてい夜で、寒い中花見というのが多かったのだけど、昼間かつ5月上旬とのことで、とても温かい気候での最高のコンディションでの花見。公園は春で平和そのもの。複数人での花見も久しぶりで楽しく和やかな時間だったなぁ。
その後は明治の森へ。明治の森の菜の花畑はいくつか咲いている程度で、咲くのはもうちょっと先のようだ。食べたいちごミルクジェラートが、ミルクアイスに旬の苺を入れて潰して作っていて、いちごの旨さも相まってとても美味しかった。
明治の森の道の駅で、スイセンと桜の花束が半額で125円。元値も安いのに半額ということでお安すぎて購入。この辺の道の駅では季節物が時々やたら安く売っていて衝撃を受ける。
花見の昼食にはSHŌPAINでパンを買う。妻のお気に入りのパン屋だけあって、どのパンも美味しい。写真はSHŌPAINの一角。
久しぶりにPyTorchとfastaiではじめるディープラーニング本を進める。10章の自然言語処理の詳細：RNN。RNNが解きたい課題は本質的には次の単語予想＝数万カテゴリ（単語数）の中から正解を当てるクラス分類問題として見れる。なのでロス関数はクロスエントロピーロスが適切。メトリクスとしてはperplexity=exp(cross_entroyp) と accuracy で見ると良い。クロスエントロピーロスを直接見るのではなく、指数関数を適用するのは人間が見やすい数値になるからなのかな。
作ったモデルは次のカテゴリ（単語）予想ができるので、それを連鎖させれば単純な文章の自動生成も可能。続いてセンチメント分析として文章がポジティブなのかネガティブなのかを予想するモデルを作る。なるほど、作ったモデルは数万のカテゴリ（単語）の予想モデルだけど、これをポジ・ネガの2カテゴリの予想モデルになるようにfine-tuningすれば汎用的なカテゴリ分類機としてつかえるのか。
東京から戻ってくる妻に駅弁を買ってきてもらい、東那須野公園の丘の上で食べる。5月上旬ぐらいの温かい天気で風もなく、最高であった。20万本あるというスイセン畑も満開だし、公園にある丘（稲荷山）沿いには沢山の桜。近くの道端の菜の花からは強い花の香り。
東那須野公園をぐるっと廻ると結構の広さの公園で、前回行ったときは3割ぐらいしか巡ってなかったのだなぁ。
続いてhikari no cafe 蜂巣小珈琲店で休憩。大田原の廃校になった小学校をリノベーションしたカフェ。以前行ったことがある、同様に那須塩原の小学校をリノベーションした太陽と北風のような感じで、障害者就労支援も行われている。この辺では廃校となった学校の校舎を結構見るのだけど、こういう形で再利用されるのは良いよなぁ。焙煎機もあって豆もここで焙煎しているとのことで、コーヒー豆なども帰りがけに購入する。
その後、先日の地震で壁が壊れ一時休館していた黒羽温泉五峰の湯で湯治。昨日全国ネットTVで五峰の湯が出ていたらしく、混むかもと思っていたが、平常運転であった。露天風呂でおじいちゃんが「いや～天気も良いし幸せな日だなぁ」としみじみ言っていたが、そのとおりだなぁ。
今日はそこそこ車で走ったのだけど、そこら中に桜があってドライブもだいぶ楽しかったなー。
この世にたやすい仕事はないを読む。仕事に燃え尽きて退職し、コラーゲンの抽出を見守るような仕事がしたいと言う主人公に「そんな仕事がありますよ」と斡旋され、カメラ経由で小説家をずっと見続ける仕事、おかきの袋の後ろの一言を書く仕事、ポスター貼りの仕事、などなど5つの仕事をしていくお話。読み始めたら止まらなくて一気に読んでしまった。
作者の津村記久子氏は芥川賞作家、というよりは竹宮ゆゆこ氏が大好きな作者(2人の対談)という認識をしていて、いつか著作を読んでみたいと思っていたのであった。話の流れや言い回しがゆゆこ氏に通ずる物があり軽快。
先日の工芸館でお土産に買った、3-4cmと小さな手作りシジュウカラの置物。同じ作者が那須に生息する15の生き物シリーズというのをやっていてそのうちの一つ、15個集めたいぞ。シジュウカラはスズメより一回り小さく小柄で色も良くかわいい、我が家にもよく遊びにくる。
腕痛9日目。以前は寝る時痛くてロキソニン必須だったのだけど、昨晩からはロキソニン抜きでも大丈夫なぐらいに回復した。徐々に日々良くなっていく実感があって安心する。
昔使っていたPixel 3をカーナビ用途に車に置きっぱなしで使っていたのだけど、いつの間にかバッテリーが膨張していて大変なことになっていた。たしかに車のダッシュボードは大変熱くなって、そこに黒い個体のスマフォがあるのだから熱がヤバくなっていたのであろう。これからさらに暑くなっていくので気をつけないと。
このままバッテリー膨張したPixel 3を使い続けて爆発したら大変(リチウムイオン電池爆発動画マジ怖い)なので互換バッテリーへと交換する。互換バッテリーの安全性はどうなんだ、という声もあるが、膨張したバッテリーよりはマシであろう。バッテリー自体はAmazonで2400円ほどで購入でき、安さにおののく。丁寧に交換手順を公開しているブログやiFixitの説明もあって、20分ほどで交換完了。4G電波をつかみにくくなった気がしているが、気のせいかもしれない。
バッテリー膨張により裏蓋2mmぐらい開く。積層チップが詰まった基盤はいつ見てもかっこいい。膨張したバッテリーはデコボコに。
昼食はレンゲで日替わりパスタ。デザートがランチ頼むと120円になるのでつい毎度頼んでしまう、美味しい。バスクチーズケーキは原価が高いのにこの値段はおかしい（妻談）。
図書館で目についたシン・ニホン AI×データ時代における日本の再生と人材育成が面白そうだったので借りて読んだ。イシューから始めよと同じ著者の、安宅和人氏の書籍。
3章まではAI・データ関連の説明や、それらの活躍人材のスキルの定義など面白く読めた。その後は、どうやれば日本でそのような人材を育てられるかの教育的な話、さらに日本再生への話とどんどん話が大きくなっていく。自分の興味がある前半の話は面白かったが、その他の話は今現在はそれほど興味がなかったのでサラッと流し読む。
あとがきで、四半期前は日本政府はダメだなと思って距離をおいていたが、今は自分がそちら側の立ち位置からも日本をより良くしたいと思っていて云々、みたいな話が安宅氏の歴史を感じられる。自分も将来、社会をもっと良くしたい、と真に思う日が来るのであろうか。
また注釈用のマージンが本の下部5cm分ぐらい大胆に取ってあり、注釈が多い本書に適した大胆なレイアウトとなっていたのも面白かった。リフロー型の電子書籍ではやれないレイアウトだ。
腕痛8日目。昨日の朝よりさらに調子がよく、徐々に良くなってきた感がある。まだ時々ズキッとした痛みは発生するのだけど、だいぶ減ったなぁ。
ベクトル・行列からはじめる最適化数学読み進めは13章の最小二乗当てはめに入り、13.1 最小二乗データ当てはめの前半を読む。12章は最小二乗法自体についての解説だったが、13.1の前半はより行列的な視点での解説。行列の式展開がたくさん出てきてなかなか読み進められなかったのだけど、腕の痛みが引いたタイミングで読んだらちゃんと読むことができた。
腕痛7日目。朝、昨日よりも腕痛がなくなり、だいぶ良くなってきたな～と久しぶりにアクティブに行動すると、午後にはまた痛み出してきて運転も妻に代わってもらう。今晩はtorubyに参加予定だったのだけど、夜に運転往復一時間は危ない感じがするので不参加、ぐぬぬ。
午前中からは那須高原農園いちごの森でイチゴ狩り。ここのイチゴ（とちおとめ）は、併設している那須山温泉で何度も買っていてとても美味しくお気に入り。イチゴ狩りでは品種を選べ、本当はスカイベリー狩りをしたかったのだけど本日は申し込みできず、まだ食べたことがない新品種のとちあいか狩りとなった。とちあいかはめちゃ甘くて美味しい、というよりはみずみずしい甘さで延々と食べれる感じ。
普段イチゴはパック詰めになっていて「これめちゃ美味そう」という個体はうち数個とあまり選べないのだけど、イチゴ狩りなら選び放題というのも楽しいポイントだよなぁ。
その後、道の駅 那須高原友愛の森で昼食。母さんカレーとおから・きんぴらコロッケ。母さんカレーは、外食ではなかなか食べられない家カレー（甘口）という感じで思った通りの味。コロッケはきんぴらが不思議な感じで美味しい。デザートに別館で売られていた那須の二種類のミルク食べ比べソフトクリームを頼む。同系色なので薄っすらと色が異なるが判別が難しい、まぁ美味しかったので良し。
工芸館にも初めてよってみると、結構な数の民芸品が置いてあり楽しい感じ。お土産に小物を買う。この辺から腕が痛くなって、運転を妻に変わってもらう。
イチゴとRubyって似てるよね、栃木県はイチゴ県なので、栃木はプログラミング言語Rubyとつながりがあるのでは、という話を今日torubyでしようと思った、という話をメモ。