A Day in the Life

スペイン語・機械学習エンジニアのためのTransformers・ラーメンたかはし / 2022年9月1日

次に長期旅行へ行くところはスペイン語圏の可能性が高く、そろそろ旅行で最低限困らない程度のスペイン語を覚えねばな、とDuolingoでスペイン語を始める。スペイン語圏はマジで英語通じないから!という話をよく聞くがはたして。スペイン語をかじってみると、馴染みがなさすぎて全くわからない。Duolingoだと簡単な文法と簡単な単語何度もやることによって徐々に覚えていく、という学習法な気がするが、ちゃんとした文法のイロハを覚えずこの方法での学習ははたして効率は良いのだろうか。まぁ文法を覚えることが目的ではなく、意思疎通ができるようになることが目的なので、5W1Hと数字がわかるぐらいで十分な気もしている。

今まで巡った海外はだいたい観光地・都会なので英語だけで問題なかった。中国大陸の外国人観光客がほとんど居ないような場所では流石に英語はほとんど通じず、中国語(標準語)が最低限できてよかったなぁ、と思いつつ、中国語で意思疎通がうまくできないで困っていた時は親切な英語がわかる中国の方が間に入って通訳してくれたり、と実際は中国語ができなくてもそんなに困らなかったかもしれない。


書籍、機械学習エンジニアのためのTransformersを読み終える。いやー良い本だった。「機械学習エンジニアのための」と付いている通り、ある程度の機械学習の前提知識が必要で、かつHuggingFace Transformers をちょっとは使ったことがある人向け、つまり自分にドンピシャな本なのでちょうどよく知識の補完ができた。

Transformer エンコーダを自分で書いてみる章では、Self Attention を作り Multi-head Attention も一通り作って見るので理解が深まる。Self Attention、なんか難しそうだと思っていたのだけど、単純に自分自身の転置した内積をSoftmaxしたもので、平均化の亜種の1つとして考える、みたいな話でなるほど。

またHuggingFace Transfomers で公開されているモデルを使って実課題を解く系の話も、どのようなアーキテクチャ派生があって、それぞれの特徴とは、評価はどのように行うべきか、的な話やモデル高速化の話等々、いろいろ面白かった。


妻が二郎系ラーメン食べてみたい、というオーダーも有りラーメンたかはしへ。先日まで「ラーメンたかばし」と書いていたが「ラーメンたかはし」が正解。平日昼間は結構混むのね、店に入れるまでしばし車で読書などをする。

撮影機材ricoh gr iiix

似ている画像がある記事

2022年8月27日2回目のメコンクルーズと3回目の春巻 / 世界一周56日目2022年9月11日2020年9月9日今日のお昼ご飯ヤンゴンで髪を切る、シュエダゴン・パゴダ / 世界一周72日目2020年9月17日2019/07/26

同じ日付の日記

2021年9月1日
昨日BSでやっていて録画した、プロジェクトXのリマスター版、男たちの復活戦 デジタルカメラに賭けるを見る。世界初の液晶モニタつきデジカメQV-10の開発話。最初作ったデジカメは売れなく、リストラ的な研究室に閉じ込められたが、反骨精神で小型デジカメを作って売れれた、という古き良き時...
昨日BSでやっていて録画した、プロジェクトXのリマスター版、男たちの復活戦 デジタルカメラに賭けるを見る。世界初の液晶モニタつきデジカメQV...
2020年9月1日
朝、5時30起床。どんよりくもり空なので外には行かず。Xiaomi の株価アラートが来る。Xiaomi は高スペックで安価な8月の新製品リリースが好調なのか、やたら株価が上がっていた。一年で見ると3倍弱。そして関連して久しぶりに自分のメイン証券口座を覗いたら、海外在住だったために...
朝、5時30起床。どんよりくもり空なので外には行かず。Xiaomi の株価アラートが来る。Xiaomi は高スペックで安価な8月の新製品リリ...
2019/09/01
昨日で退任し、今日から無職へとジョブチェンジ。すぐに職につくわけでもなく、ある程度の期間をかけてのやりたいことは決まっているので、しばらくは無職をエンジョイしたい。
昨日で退任し、今日から無職へとジョブチェンジ。すぐに職につくわけでもなく、ある程度の期間をかけてのやりたいことは決まっているので、しばらくは...