小型スマートフォンのJelly 2が届いて、メインのスマフォをダウングレードすべくセットアップ。今までのスマフォ(Galaxy S20)と比べるとなんと小さなこと！何故ダウングレードしようと思ったか、果たしてダウングレードの試みは成功するのか、等はまた後日書こうと思う。

BERTによる自然言語処理入門 ―Transformersを使った実践プログラミング―を読んだ。ニューラルネットワークで自然言語処理を取り扱えるRNN、Word2Vec、ELMoの歴史と実装を振り返り、BERTはどんな仕組みなのか、具体的にできることと実装、等々わかりやすく全般が書かれており、BERTのインデクスを知るのに良い本だった。深く掘り下げる前に俯瞰できる。また、これ系の本はなんとなく読みにく印象があたのだけど、サクッと読めたのもわかりやすいからなのだろうな。

BERTのtransformersのドキュメントを見ると、BertForXXX という汎用タスクもいくつもあって、表現の扱いやすさもあるのだろうなぁ。

また本で利用していた、日本語Wikipedia入力誤りデータセットも面白い。なるほどWikipediaのdiffから、日本語入力誤りを抽出してるのか、頭良い。