食べ過ぎた日・Vertex Matching Engine がニッチすぎて面白い / 2021年6月8日
先日行った、インターコンチネンタルの昼のビュッフェに、半額券があったということもあり再度食べに行く。どれも美味しいし、値段もそれなりにするため元を取るぞ!と前回に引き続きたくさん食べたら、案の定食べすぎて帰り道が辛く、家に帰った後もしばし動けず…。もうちょっと食べる量をセーブしておけば、美味しく終われたのに。この歳だと美味しいビュッフェは危険だ。
散歩道の花畑は丁度満開で賑やか。
こないだの Google IO で発表された Vertex AI についてざっくり調べる。ふむふむ、AutoML, MLOps 系ねなるほどなるほど、といろいろドキュメントを読み進めると、Vertex Matching Engine という超巨大データに対しての高速なベクトル類似検索というニッチすぎるプロダクトが。
Announcing ScaNN: Efficient Vector Similarity Searchに書かれているような、高速な内積探索をするにあたってデータを量子化(探索できる形での圧縮)したものを用いることで、数十億の埋め込みベクトルに対してQPSが数十万の環境でも50パーセンタイルで5msで結果を返せるような、超高速ベクトル類似検索サービスを提供できる、とのこと。
埋め込みベクトルはレコメンデーション、類似画像検索、BERTのようなテキストembeddingsなど使われてるのだけど、それを超巨大データで超高速に返す、というのはsearch, adsなどで培っているGoogle技術ならではのもの。このプロダクトを有効的に使える企業は巨大なデータを持ってる企業やAdTech企業等の一部に限られるのだろうけど、いいぞ、もっとやれ!と言いたくなるようなニッチプロダクトで面白いなあ。