Transformers すごい / 2022年5月12日
黒磯商店で家系ラーメン。久しぶりということもあり、ウマすぎ塩分濃度が高いであろう汁も飲み干す。
Hugging Face の Transformers、あーなんかbertとかを使うためのライブラリでしょ、ぐらいの雑な知識しか持ってなかったのだけど、Quick tour見てみるとすげー、めちゃ良いんじゃないのこれ。チュートリアルもやってみる。
いままでニューラルネットワークのライブラリは、TensorFlow(Keras), PyTorchとフレームワークはあれど、学習方法や推論方法はモデルによって異なっている。こいつらをうまいこと抽象化しているので、どのモデル使い方がだいたい固定されるので、Transformersの使い方さえ覚えればOK。モデルも自動でロードされる。
高レベルAPIのpipelineを使うと、3行ぐらいでやりたい推論ができる(ケースもある)。なんかすごい!こういうのはマーケティングに必要。ブログが15分で作れる的な。主だった推論が3行でできる。
NN自然言語処理界隈はTransformersで動くものが多いので良い。画像分類なんかもTransformerを使ったモデルが近年出てきて徐々に増えてきている。google,MS,Facebookが結構モデルを公開しているなー。自然言語以外でもこのインターフェイスで使えるのは良いなぁ。転移学習して推論するだけな簡単なお仕事がより簡単にできそう。APIが良く出来ているのでなんでもこのAPI使いたくなるぞ。別にTransformerいわゆるMulti-Head Attentionを使ったモデルじゃなくても、たとえばResNetなんかもこんな風に抽象化してこのインターフェイスに合わせられそうだし。
他にもhubで公開しているモデルをオンデマンドでWebUIから推論を試せたり、なんかいろんな物がてんこ盛り。勢いを感じる。
そういえばAmazonは機械学習モデルは公開しないスタンスっぽいのだが、なぜそういう戦略をとってるのかの話ってどこかでされてたりするのだろうか。