<p>4月。よく見る番組の出演者が変わったりすると、新期の人事異動を実感する。仕事でメインで関わっているプロジェクトに新しい人たちが加わり、こちらも色々と楽しみだ。</p>
<hr>
<p>カネルブレッドのコーヒーシナモンロール。美味しい。</p>
<div class="photos photos-small"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20240402_R0022765.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20240402_R0022765.webp" class="photo" itemprop="image" /></a></span></div>
<hr>
<p>夕食は三つ星キッチンのお惣菜。</p>
<div class="photos photos-small"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20240404_DSC05508.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20240404_DSC05508.webp" class="photo" itemprop="image" /></a></span></div>

4月。よく見る番組の出演者が変わったりすると、新期の人事異動を実感する。仕事でメインで関わっているプロジェクトに新しい人たちが加わり、こちらも色々と楽しみだ。カネルブレッドのコーヒーシナモンロール。美味しい。夕食は三つ星キッチンのお惣菜。

2024年4月1日

<p>I家のみなさんとお花見。温かいお日柄で桜も満開、絶好の花見日和だ。コロナのリスクが減ったからか、去年よりも人も出店も増えて賑やか。I家の小さなお子さんは毎度会うたびにすくすく育っていて成長を感じるなぁ。<a href="https://secon.dev/entry/2022/04/10/210000/">去年は4月10日に花見</a>をしたようで、今年は一週間ぐらい桜が早い感じなのか。毎年、色んな人との花見は楽しいので、来年もやっていきたいものだ。</p>
<div class="photos photos-columns"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20230401_DSC04754.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20230401_DSC04754.webp" class="photo" itemprop="image" /></a></span><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20230401_DSC04800.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20230401_DSC04800.webp" class="photo" itemprop="image" /></a></span><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20230401_DSC04823.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20230401_DSC04823.webp" class="photo" itemprop="image" /></a></span></div>
<div class="photos photos-columns"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20230401_DSC04828.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20230401_DSC04828.webp" class="photo" itemprop="image" /></a></span><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20230401_DSC04851.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20230401_DSC04851.webp" class="photo" itemprop="image" /></a></span><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20230401_DSC04858.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20230401_DSC04858.webp" class="photo" itemprop="image" /></a></span></div>

I家のみなさんとお花見。温かいお日柄で桜も満開、絶好の花見日和だ。コロナのリスクが減ったからか、去年よりも人も出店も増えて賑やか。I家の小さなお子さんは毎度会うたびにすくすく育っていて成長を感じるなぁ。去年は4月10日に花見をしたようで、今年は一週間ぐらい桜が早い感じなのか。毎年、色んな人との花見は楽しいので、来年もやっていきたいものだ。

烏ケ森公園での花見 / 2023年4月1日

<p>引き続き左肩が痛い日。ロキソニン飲んだり湿布張ったりしたが、とりわけ緩和された感じはせず。</p>
<hr>
<p>ミモザの花、すぐ散ってしまいそうと思っていたが、意外ともっている。偉い。</p>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20220402_DSC09696.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20220402_DSC09696.webp" class="photo" itemprop="image" /></a></span></div>
<hr>
<p>プロ野球シーズンが開幕したので、DAZN for docomo に加入する。DAZNは今年から大幅値上げ(月額1925円→3000円へ)されたのだけど、DAZN for docomoは4月中旬までに加入すれば、以前の料金プラン(月額1925円)で継続して使えるという。このプランの存在は知っていたのだけど、docomoユーザのみなのかなと勝手に思っていたら、別に誰でも入れるという。初月無料なのも嬉しい。今季のプロ野球シーズンが終わるまではDAZN継続しそうだ。</p>
<hr>
<p><a href="https://amzn.to/3wRBXdK">チ。―地球の運動について―の1・2巻が期間限定無料</a>になっていたので、読んだら面白くて既刊全巻を購入する。世代交代しながら話が進むのだけど、あんまり世代交代物って漫画で見かけない気がする。メイン登場人物変わっちゃうし。世代交代物は、幼少の頃にやったロマサガ2の影響で、それだけで良い方向にバイアスがかかる。</p>

引き続き左肩が痛い日。ロキソニン飲んだり湿布張ったりしたが、とりわけ緩和された感じはせず。ミモザの花、すぐ散ってしまいそうと思っていたが、意外ともっている。偉い。プロ野球シーズンが開幕したので、DAZN for docomo に加入する。DAZNは今年から大幅値上げ(月額1925円→3000円へ)されたのだけど、DAZN for docomoは4月中旬までに加入すれば、以前の料金プラン(月額1925円)で継続して使えるという。このプランの存在は知っていたのだけど、docomoユーザのみなのかなと勝手に思っていたら、別に誰でも入れるという。初月無料なのも嬉しい。今季のプロ野球シーズンが終わるまではDAZN継続しそうだ。チ。―地球の運動について―の1・2巻が期間限定無料になっていたので、読んだら面白くて既刊全巻を購入する。世代交代しながら話が進むのだけど、あんまり世代交代物って漫画で見かけない

引き続き左肩が痛い日。ロキソニン飲んだり湿布張ったりしたが、とりわけ緩和された感じはせず。ミモザの花、すぐ散ってしまいそうと思っていたが、意外ともっている。偉い。プロ野球シーズンが開幕したので、DAZN for docomo に加入する。DAZNは今年から大幅値上げ(月額1925円→3000円へ)されたのだけど、DAZN for docomoは4月中旬までに加入すれば、以前の料金プラン(月額1925円)で継続して使えるという。このプランの存在は知っていたのだけど、docomoユーザのみなのかなと勝手に思っていたら、別に誰でも入れるという。初月無料なのも嬉しい。今季のプロ野球シーズンが終わるまではDAZN継続しそうだ。チ。―地球の運動について―の1・2巻が期間限定無料になっていたので、読んだら面白くて既刊全巻を購入する。世代交代しながら話が進むのだけど、あんまり世代交代物って漫画で見かけない気がする。メイン登場人物変わっちゃうし。世代交代物は、幼少の頃にやったロマサガ2の影響で、それだけで良い方向にバイアスがかかる。

ミモザ・DAZN for docomo・チ。 / 2022年4月1日

<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20210402142143.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20210402142143.webp" class="photo" itemprop="image" /></a></span></div>
<p>今まで関わっていたベンチャーのプロダクトが、組織の方向性をITではない別軸に置くために3月末でクローズ。思い入れもあって残念ではあるけど、色々やった上で別軸へ進む腹落ちができたようで、それはそれで喜ばしい。組織作り含めて、実験的かつ面白いことにトライできたと思う。</p>
<p>4月、というか今日からは新しい機械学習のプロジェクトにジョインする。2月辺りから勉強し始めて、面白くなってきた所で、たまたま自分のスキルでも参加OK(ありがたい)なプロジェクトに出会えたので参加させてもらう。機械学習はまぁ初心者の部類なのだけど、他のエンジニアリングスキルとソフトスキルでカバーしつつ、足を引っ張らないようにせねば。</p>
<p>写真はベランダで生い茂るハーブ、の一部。</p>
<hr>
<h2>機械学習学習日記 - 59日目</h2>
<p>この機械学習学習日記の立ち位置も、仕事で機械学習をすると微妙な感じもする。当初の目的は「ソフトウェアエンジニアのたしなみとして最低限の理解をしないとまずいよなー、ということで、できる限り毎日少しでも学習して日記に記す」だったので、仕事でほぼ毎日触れるとすると、はからずしも目的は達成できてしまうが、まぁせっかくなので続けてみる。仕事のメインは多分NNではないから、機会学習学習日記では主にNN系のことをやろうかな。</p>
<p>waifu2d のNN以外の処理をすすめる。画像拡大→画像分割→パッディング→NN→パディング削除→統合、という処理をTFで書いて8割ぐらい終わる。<a href="https://www.tensorflow.org/api_docs/python/tf/image">tf.image</a>でNNに必要とされそうな画像前処理はほぼできるのね。</p>

今まで関わっていたベンチャーのプロダクトが、組織の方向性をITではない別軸に置くために3月末でクローズ。思い入れもあって残念ではあるけど、色々やった上で別軸へ進む腹落ちができたようで、それはそれで喜ばしい。組織作り含めて、実験的かつ面白いことにトライできたと思う。4月、というか今日からは新しい機械学習のプロジェクトにジョインする。2月辺りから勉強し始めて、面白くなってきた所で、たまたま自分のスキルでも参加OK(ありがたい)なプロジェクトに出会えたので参加させてもらう。機械学習はまぁ初心者の部類なのだけど、他のエンジニアリングスキルとソフトスキルでカバーしつつ、足を引っ張らないようにせねば。写真はベランダで生い茂るハーブ、の一部。機械学習学習日記 - 59日目この機械学習学習日記の立ち位置も、仕事で機械学習をすると微妙な感じもする。当初の目的は「ソフトウェアエンジニアのたしなみとして最低限の

今まで関わっていたベンチャーのプロダクトが、組織の方向性をITではない別軸に置くために3月末でクローズ。思い入れもあって残念ではあるけど、色々やった上で別軸へ進む腹落ちができたようで、それはそれで喜ばしい。組織作り含めて、実験的かつ面白いことにトライできたと思う。4月、というか今日からは新しい機械学習のプロジェクトにジョインする。2月辺りから勉強し始めて、面白くなってきた所で、たまたま自分のスキルでも参加OK(ありがたい)なプロジェクトに出会えたので参加させてもらう。機械学習はまぁ初心者の部類なのだけど、他のエンジニアリングスキルとソフトスキルでカバーしつつ、足を引っ張らないようにせねば。写真はベランダで生い茂るハーブ、の一部。機械学習学習日記 - 59日目この機械学習学習日記の立ち位置も、仕事で機械学習をすると微妙な感じもする。当初の目的は「ソフトウェアエンジニアのたしなみとして最低限の理解をしないとまずいよなー、ということで、できる限り毎日少しでも学習して日記に記す」だったので、仕事でほぼ毎日触れるとすると、はからずしも目的は達成できてしまうが、まぁせっかくなので続けてみる。仕事のメインは多分NNではないから、機会学習学習日記では主にNN系のことをやろうかな。waifu2d のNN以外の処理をすすめる。画像拡大→画像分割→パッディング→NN→パディング削除→統合、という処理をTFで書いて8割ぐらい終わる。tf.imageでNNに必要とされそうな画像前処理はほぼできるのね。

2021年4月1日

<p>朝ヨガからのマムアン朝食。昼食にと買ったお粥も美味しかった。</p>
<div class="photos photos-small"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20240402_R0022758.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20240402_R0022758.webp" class="photo" itemprop="image" /></a></span></div>
<hr>
<p>みるるの壁の文字が入れ替わって、有名な作品からの引用に変わる。食の本が並ぶところは孤独のグルメへ。</p>
<div class="photos photos-small"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20240402_R0022759.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20240402_R0022759.webp" class="photo" itemprop="image" /></a></span></div>
<hr>
<p>N氏が北関東に来てるとのことで、中華夕食を食べ、その後馬頭温泉へ。まさか車で落ち合う日が来るなんて。もう知り合って20年来なので、思い出話に花が咲く。同じ時間を共有した仲間と話せる過去がある、というのはありがたいね。楽しい時間。</p>
<div class="photos photos-small"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20240402_R0022762.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20240402_R0022762.webp" class="photo" itemprop="image" /></a></span></div>

朝ヨガからのマムアン朝食。昼食にと買ったお粥も美味しかった。みるるの壁の文字が入れ替わって、有名な作品からの引用に変わる。食の本が並ぶところは孤独のグルメへ。N氏が北関東に来てるとのことで、中華夕食を食べ、その後馬頭温泉へ。まさか車で落ち合う日が来るなんて。もう知り合って20年来なので、思い出話に花が咲く。同じ時間を共有した仲間と話せる過去がある、というのはありがたいね。楽しい時間。

N氏と馬頭温泉 / 2024年3月31日

<p>日本語に特化した形で学習されたRerankerがほとんど無かったので、日本語を適切に学習させた Reranker ファミリーを作りました。小さいモデルから大きなモデルまで揃っています。</p>
<p>評価性能は以下の通りで、現在(2024年4月頭)に公開されているRerank日本語タスクにおいては最高性能かな、と思っています。なぜなら日本語を学習させたRerankerがほぼ公開されていないから…。</p>
<table>
<thead>
<tr>
<th>モデル名</th>
<th>layers</th>
<th>hidden_size</th>
<th><a href="https://huggingface.co/datasets/hotchpotch/JQaRA">JQaRA</a></th>
<th><a href="https://huggingface.co/datasets/hotchpotch/JaCWIR">JaCWIR</a></th>
<th><a href="https://huggingface.co/datasets/miracl/miracl">MIRACL</a></th>
<th><a href="https://github.com/yahoojapan/JGLUE">JSQuAD</a></th>
</tr>
</thead>
<tbody>
<tr>
<td><a href="https://huggingface.co/hotchpotch/japanese-reranker-cross-encoder-xsmall-v1">japanese-reranker-cross-encoder-xsmall-v1</a></td>
<td>6</td>
<td>384</td>
<td>0.6136</td>
<td>0.9376</td>
<td>0.7411</td>
<td>0.9602</td>
</tr>
<tr>
<td><a href="https://huggingface.co/hotchpotch/japanese-reranker-cross-encoder-small-v1">japanese-reranker-cross-encoder-small-v1</a></td>
<td>12</td>
<td>384</td>
<td>0.6247</td>
<td>0.939</td>
<td>0.7776</td>
<td>0.9604</td>
</tr>
<tr>
<td><a href="https://huggingface.co/hotchpotch/japanese-reranker-cross-encoder-base-v1">japanese-reranker-cross-encoder-base-v1</a></td>
<td>12</td>
<td>768</td>
<td>0.6711</td>
<td>0.9337</td>
<td>0.818</td>
<td>0.9708</td>
</tr>
<tr>
<td><a href="https://huggingface.co/hotchpotch/japanese-reranker-cross-encoder-large-v1">japanese-reranker-cross-encoder-large-v1</a></td>
<td>24</td>
<td>1024</td>
<td>0.7099</td>
<td>0.9364</td>
<td>0.8406</td>
<td>0.9773</td>
</tr>
<tr>
<td><a href="https://huggingface.co/hotchpotch/japanese-bge-reranker-v2-m3-v1">japanese-bge-reranker-v2-m3-v1</a></td>
<td>24</td>
<td>1024</td>
<td>0.6918</td>
<td>0.9372</td>
<td>0.8423</td>
<td>0.9624</td>
</tr>
</tbody>
</table>
<p>なお、今回作ったRerankerの技術的な話は、<a href="https://secon.dev/entry/2024/04/02/080000-japanese-reranker-tech-report/">日本語 Reranker 作成のテクニカルレポート</a>に記載しているので、興味のある方はそちらをご覧ください。</p>
<h1>そもそも Reranker とは？</h1>
<p>Reranker とは、名前の通り再ランク付け(rerank)するもので、質問文に対して関連する順に文章を並べ替えます。文ベクトル(文章のembeddings)で類似度を測って並べ替えするものと何が違うのか？と思われるかもしれませんが、実際、文ベクトル類似度でも同じように並べ替えが可能です。</p>
<p><img src="https://i.imgur.com/dQsNajT.png" alt="embeddings と reranker"></p>
<p>しかしながら、大きく二つの点で異なります。</p>
<h2>Reranker は再ランク性能が高い</h2>
<p>文ベクトルは、質問文と文章を同じベクトル空間上の表現として類似度を測ります。そのため大規模なデータに対しても事前に文章のベクトルを算出しておくことで、効率的な計算が可能です。</p>
<p>しかしながら、Reranker は再ランクに特化しており、例えば今回作ったモデルは CrossEncoderというアーキテクチャを用いて質問文と文章を一つのペアにして評価することで、より細かなニュアンスや質問と文章の関連性からの文脈的理解を行えます。そのため質問に関連する文章がより上位になりやすく性能が高いです。</p>
<h2>Reranker は事前計算ができず遅い</h2>
<p>精度が高いなら、文ベクトルなど作らずに全部 Reranker で評価すればいいじゃない？と思われるかもしれませんが、Reranker は質問と文章両方を入力に使います。文ベクトルなら、対象となる文章のベクトルをオフラインで事前に計算することができるため、検索時には質問文のベクトルだけ計算すれば、それを元に検索が可能です。</p>
<p>しかしながら、Reranker (CrossEncoder)は文章のみを事前に計算しておくことができないため、例えば対象文章が100件のデータならオンラインでその場で実行時に100件分全て計算しても問題ない計算量ですが、件数が増えるにつれて現実的な速度では検索できなくなります。</p>
<h1>Reranker の使い所</h1>
<p>とすると、現実世界の検索では Reranker の使い所がないのでは、と思われるかもしれません。そこで、まず文ベクトルなどの効率よくオフライン計算ができる手法で質問に関連する文章上位100件を抽出し、その後Rerankerでその100件をより効率よく並べ替えすることで精度を上げる、といった用途で活用できます。</p>
<p><img src="https://raw.githubusercontent.com/UKPLab/sentence-transformers/master/docs/img/InformationRetrieval.png" alt="Retrieve &#x26; Re-Rank Pipeline"></p>
<p><a href="https://www.sbert.net/examples/applications/retrieve_rerank/README.html#retrieve-re-rank-pipeline" title="Permalink to this headline">Retrieve &#x26; Re-Rank Pipeline</a> より引用</p>
<p>GCP の記事、<a href="https://cloud.google.com/blog/products/ai-machine-learning/rags-powered-by-google-search-technology-part-2?hl=en">Your RAGs powered by Google Search technology, part 2</a> などでも、<strong>Deep re-ranking</strong> の項で同じ手法について書かれているように、再ランク付は重要です。</p>
<h2>実際に Reranker で再ランクを行うと、どれぐらい情報検索スコアが変化するのか</h2>
<p>以前書いた記事、
<a href="https://secon.dev/entry/2023/12/21/080000-vector-search-ai-ou-comp/">ベクトル検索のみで、AI王クイズ第一回コンペに臨む - Q&#x26;Aタスクでの複数の日本語embeddingsの評価</a>では約550万の文章を各種文ベクトルモデルで文ベクトルに変換後、IVFPQアルゴリズムを使い、近似最近傍探索で検索評価を行っています。これらの各種文ベクトルモデルで正解率を出した結果は以下です。</p>
<ul>
<li><a href="https://docs.google.com/spreadsheets/d/1eSYzxzIfN3uMIpFKDGCTQsIxuWYELBtD49LQbl88GUE/edit?usp=sharing">jaqket v1 ベクトル検索 - 日本語embeddings評価</a></li>
</ul>
<p>ではこの近似最近傍探索での検索結果の上位100件を用いて、今回作ったモデルの中で、最小最速のRerankerモデルの xsmall で再ランク付けしてみましょう。</p>
<div style="max-height:400px; text-align:center;">
    <img src="https://i.imgur.com/dr8Ahy1.png" alt="rerank - japanese-reranker-cross-encoder-small-v1" style="max-height:400px; display:block; margin:auto;" />
</div>
<p>かなり結果が向上したのがわかると思います。550万の文章から現実的な速度で検索するために近似最近傍探索を行っており、通常の文ベクトルの総当たり類似度検索よりも精度が落ちていることもあって、Rerankerモデルで再ランクすることによって大幅なスコア向上となっています。</p>
<p>また、例えば OpenAI の text-embeddings は、日本語の情報検索タスクではあまりスコアが芳しくないことが多いのですが、それらも再ランクすることで大幅にスコアが上がっていますね。</p>
<p>では続いて、大きなlargeモデルのRerankerで再ランクしてみましょう。</p>
<div style="max-height:400px; text-align:center;">
    <img src="https://i.imgur.com/Rk8bmIy.png" alt="rerank - japanese-reranker-cross-encoder-large-v1" style="max-height:400px; display:block; margin:auto;" />
</div>
<p>こちらはさらに大幅にスコアが上がっていますね。計算機リソースに余裕があれば大きなモデルを使うのは良いのですが、モデルサイズによってどんどん再ランクにかかる速度が増えていきます。各々のモデルで、<a href="https://huggingface.co/datasets/hotchpotch/JaCWIR">JaCWIR</a> の評価にかかった実行速度(GPU RTX3090 で実行)は以下です。</p>
<table>
<thead>
<tr>
<th>モデル名</th>
<th>layers</th>
<th>hidden_size</th>
<th>実行速度(秒)</th>
</tr>
</thead>
<tbody>
<tr>
<td>japanese-reranker-cross-encoder-xsmall-v1</td>
<td>6</td>
<td>384</td>
<td>196</td>
</tr>
<tr>
<td>japanese-reranker-cross-encoder-small-v1</td>
<td>12</td>
<td>384</td>
<td>265</td>
</tr>
<tr>
<td>japanese-reranker-cross-encoder-base-v1</td>
<td>12</td>
<td>768</td>
<td>481</td>
</tr>
<tr>
<td>japanese-reranker-cross-encoder-large-v1</td>
<td>24</td>
<td>1024</td>
<td>1253</td>
</tr>
<tr>
<td>japanese-bge-reranker-v2-m3-v1</td>
<td>24</td>
<td>1024</td>
<td>1173</td>
</tr>
</tbody>
</table>
<p>xsmallとlargeでは、6倍ほど速度に差が出ています。このように、性能と速度とのトレードオフが発生するので、どれぐらいの性能と速度が必要かを考えて Reranker を選ぶ必要があります。実行時に処理するRerankerは処理速度が重要なケースも多いでしょう。</p>
<p>なお他の様々なモデルとの評価結果については、<a href="https://secon.dev/entry/2024/04/02/080000-japanese-reranker-tech-report/">日本語 Reranker 作成のテクニカルレポート</a>をご覧ください。また本記事でのAI王クイズコンペの再ランク評価は、評価にtestデータを用いているため直接学習はしていないものの、AI王クイズコンペのdev, unused を用いたデータセット<a href="https://huggingface.co/datasets/hotchpotch/JQaRA">JQaRA</a>のデータも今回作成したモデルは学習しているため、スコアが上がりやすい傾向であることに留意ください。</p>
<h1>意外と大事な Reranker</h1>
<p>今回日本語の Reranker を作ったきっかけは、数百万〜の文章に対して情報検索をしていると、文ベクトル+近似最近傍探索のみの検索よりも、Reranker を組み合わせた方がだいぶ良い検索結果になったためです。この時に使った Reranker はマルチリンガルモデルの <a href="https://huggingface.co/corrius/cross-encoder-mmarco-mMiniLMv2-L12-H384-v1">cross-encoder-mmarco-mMiniLMv2-L12-H384-v1</a> だったのですが、マルチリンガルでだいぶ精度が上がるなら、日本語をちゃんと学習させればさらに精度が上がるのでは？と思い立ったのがきっかけです。</p>
<p>またRerankerは、良くも悪くもオンライン計算が必要になります。悪い点は計算コストが高い点ですが、精度以外の良い点としては事前計算を再計算しなくて良いことも挙げられるでしょう。例えば文ベクトルモデルでより良いモデルを適用したくなっても、データベースにすでに文ベクトルデータが事前計算され格納されているため、本番環境で利用されている文ベクトルの変更は慎重に行う必要がありますし、数億データ〜ともなってくると全て再計算するのにも計算機コストがかかります。しかしながらRerankerは、ソートアルゴリズムの変更のようなもので、事前計算データの変更もなく適用が可能なので、差し替えがしやすいです。</p>
<p>さらに、Reranker は解きたい課題のドメインのデータで学習させると、性能・スコアがかなり上がることも観測しており、そのために文ベクトル変換は汎用モデルを、Rerankerはドメイン特化モデルを、といった使い分けもできるでしょう。</p>
<p>というわけで、日本語を学習させたRerankerの作成と、Reranker はどのようなものか？についてご紹介しました。世の中はLLMの学習と利活用にフォーカスしている感がありますが、個人的にはLLMの利活用が進むにつれ、検索を人間ではなくAIに最適化する時代が訪れ情報検索の分野の重要性がさらに増すのでは、と思っています。</p>
<p>情報検索をよりよく行う手段の一つとして、Reranker は欠かせないものになってくるでしょうし、本記事でRerankerや情報検索も面白そうだぞ、と興味を持たれる方が少しでも増えたら幸いです。</p>
<hr>
<p>なおこの文章は、私が書いた草稿をもとに、<a href="https://www.anthropic.com/news/claude-3-family">Claude 3 Opus</a>によって生成した文章を微調整したものです。</p>

日本語に特化した形で学習されたRerankerがほとんど無かったので、日本語を適切に学習させた Reranker ファミリーを作りました。小さいモデルから大きなモデルまで揃っています。評価性能は以下の通りで、現在(2024年4月頭)に公開されているRerank日本語タスクにおいては最高性能かな、と思っています。なぜなら日本語を学習させたRerankerがほぼ公開されていないから…。| モデル名                                                                                                                     | layers | hidden_size | JQaRA | JaCWIR | MIRACL | JSQuAD |
| -----------------------

日本語に特化した形で学習されたRerankerがほとんど無かったので、日本語を適切に学習させた Reranker ファミリーを作りました。小さいモデルから大きなモデルまで揃っています。評価性能は以下の通りで、現在(2024年4月頭)に公開されているRerank日本語タスクにおいては最高性能かな、と思っています。なぜなら日本語を学習させたRerankerがほぼ公開されていないから…。| モデル名                                                                                                                     | layers | hidden_size | JQaRA | JaCWIR | MIRACL | JSQuAD |
| ------------------------------------------------------------------------------------------------------------------------ | ------ | ------------ | --------------------------------------------------------- | ----------------------------------------------------------- | ------------------------------------------------------- | --------------------------------------------- |
| japanese-reranker-cross-encoder-xsmall-v1 | 6      | 384          | 0.6136                                                    | 0.9376                                                      | 0.7411                                                  | 0.9602                                        |
| japanese-reranker-cross-encoder-small-v1   | 12     | 384          | 0.6247                                                    | 0.939                                                       | 0.7776                                                  | 0.9604                                        |
| japanese-reranker-cross-encoder-base-v1     | 12     | 768          | 0.6711                                                    | 0.9337                                                      | 0.818                                                   | 0.9708                                        |
| japanese-reranker-cross-encoder-large-v1   | 24     | 1024         | 0.7099                                                    | 0.9364                                                      | 0.8406                                                  | 0.9773                                        |
| japanese-bge-reranker-v2-m3-v1                       | 24     | 1024         | 0.6918                                                    | 0.9372                                                      | 0.8423                                                  | 0.9624                                        |なお、今回作ったRerankerの技術的な話は、日本語 Reranker 作成のテクニカルレポートに記載しているので、興味のある方はそちらをご覧ください。そもそも Reranker とは？Reranker とは、名前の通り再ランク付け(rerank)するもので、質問文に対して関連する順に文章を並べ替えます。文ベクトル(文章のembeddings)で類似度を測って並べ替えするものと何が違うのか？と思われるかもしれませんが、実際、文ベクトル類似度でも同じように並べ替えが可能です。embeddings と rerankerしかしながら、大きく二つの点で異なります。Reranker は再ランク性能が高い文ベクトルは、質問文と文章を同じベクトル空間上の表現として類似度を測ります。そのため大規模なデータに対しても事前に文章のベクトルを算出しておくことで、効率的な計算が可能です。しかしながら、Reranker は再ランクに特化しており、例えば今回作ったモデルは CrossEncoderというアーキテクチャを用いて質問文と文章を一つのペアにして評価することで、より細かなニュアンスや質問と文章の関連性からの文脈的理解を行えます。そのため質問に関連する文章がより上位になりやすく性能が高いです。Reranker は事前計算ができず遅い精度が高いなら、文ベクトルなど作らずに全部 Reranker で評価すればいいじゃない？と思われるかもしれませんが、Reranker は質問と文章両方を入力に使います。文ベクトルなら、対象となる文章のベクトルをオフラインで事前に計算することができるため、検索時には質問文のベクトルだけ計算すれば、それを元に検索が可能です。しかしながら、Reranker (CrossEncoder)は文章のみを事前に計算しておくことができないため、例えば対象文章が100件のデータならオンラインでその場で実行時に100件分全て計算しても問題ない計算量ですが、件数が増えるにつれて現実的な速度では検索できなくなります。Reranker の使い所とすると、現実世界の検索では Reranker の使い所がないのでは、と思われるかもしれません。そこで、まず文ベクトルなどの効率よくオフライン計算ができる手法で質問に関連する文章上位100件を抽出し、その後Rerankerでその100件をより効率よく並べ替えすることで精度を上げる、といった用途で活用できます。Retrieve & Re-Rank PipelinePermalink to this headline より引用GCP の記事、Your RAGs powered by Google Search technology, part 2 などでも、Deep re-ranking の項で同じ手法について書かれているように、再ランク付は重要です。実際に Reranker で再ランクを行うと、どれぐらい情報検索スコアが変化するのか以前書いた記事、
ベクトル検索のみで、AI王クイズ第一回コンペに臨む - Q&Aタスクでの複数の日本語embeddingsの評価では約550万の文章を各種文ベクトルモデルで文ベクトルに変換後、IVFPQアルゴリズムを使い、近似最近傍探索で検索評価を行っています。これらの各種文ベクトルモデルで正解率を出した結果は以下です。jaqket v1 ベクトル検索 - 日本語embeddings評価ではこの近似最近傍探索での検索結果の上位100件を用いて、今回作ったモデルの中で、最小最速のRerankerモデルの xsmall で再ランク付けしてみましょう。
    
かなり結果が向上したのがわかると思います。550万の文章から現実的な速度で検索するために近似最近傍探索を行っており、通常の文ベクトルの総当たり類似度検索よりも精度が落ちていることもあって、Rerankerモデルで再ランクすることによって大幅なスコア向上となっています。また、例えば OpenAI の text-embeddings は、日本語の情報検索タスクではあまりスコアが芳しくないことが多いのですが、それらも再ランクすることで大幅にスコアが上がっていますね。では続いて、大きなlargeモデルのRerankerで再ランクしてみましょう。
    
こちらはさらに大幅にスコアが上がっていますね。計算機リソースに余裕があれば大きなモデルを使うのは良いのですが、モデルサイズによってどんどん再ランクにかかる速度が増えていきます。各々のモデルで、JaCWIR の評価にかかった実行速度(GPU RTX3090 で実行)は以下です。| モデル名                                      | layers | hidden_size | 実行速度(秒) |
| ----------------------------------------- | ------ | ----------- | ------- |
| japanese-reranker-cross-encoder-xsmall-v1 | 6      | 384         | 196     |
| japanese-reranker-cross-encoder-small-v1  | 12     | 384         | 265     |
| japanese-reranker-cross-encoder-base-v1   | 12     | 768         | 481     |
| japanese-reranker-cross-encoder-large-v1  | 24     | 1024        | 1253    |
| japanese-bge-reranker-v2-m3-v1            | 24     | 1024        | 1173    |xsmallとlargeでは、6倍ほど速度に差が出ています。このように、性能と速度とのトレードオフが発生するので、どれぐらいの性能と速度が必要かを考えて Reranker を選ぶ必要があります。実行時に処理するRerankerは処理速度が重要なケースも多いでしょう。なお他の様々なモデルとの評価結果については、日本語 Reranker 作成のテクニカルレポートをご覧ください。また本記事でのAI王クイズコンペの再ランク評価は、評価にtestデータを用いているため直接学習はしていないものの、AI王クイズコンペのdev, unused を用いたデータセットJQaRAのデータも今回作成したモデルは学習しているため、スコアが上がりやすい傾向であることに留意ください。意外と大事な Reranker今回日本語の Reranker を作ったきっかけは、数百万〜の文章に対して情報検索をしていると、文ベクトル+近似最近傍探索のみの検索よりも、Reranker を組み合わせた方がだいぶ良い検索結果になったためです。この時に使った Reranker はマルチリンガルモデルの cross-encoder-mmarco-mMiniLMv2-L12-H384-v1 だったのですが、マルチリンガルでだいぶ精度が上がるなら、日本語をちゃんと学習させればさらに精度が上がるのでは？と思い立ったのがきっかけです。またRerankerは、良くも悪くもオンライン計算が必要になります。悪い点は計算コストが高い点ですが、精度以外の良い点としては事前計算を再計算しなくて良いことも挙げられるでしょう。例えば文ベクトルモデルでより良いモデルを適用したくなっても、データベースにすでに文ベクトルデータが事前計算され格納されているため、本番環境で利用されている文ベクトルの変更は慎重に行う必要がありますし、数億データ〜ともなってくると全て再計算するのにも計算機コストがかかります。しかしながらRerankerは、ソートアルゴリズムの変更のようなもので、事前計算データの変更もなく適用が可能なので、差し替えがしやすいです。さらに、Reranker は解きたい課題のドメインのデータで学習させると、性能・スコアがかなり上がることも観測しており、そのために文ベクトル変換は汎用モデルを、Rerankerはドメイン特化モデルを、といった使い分けもできるでしょう。というわけで、日本語を学習させたRerankerの作成と、Reranker はどのようなものか？についてご紹介しました。世の中はLLMの学習と利活用にフォーカスしている感がありますが、個人的にはLLMの利活用が進むにつれ、検索を人間ではなくAIに最適化する時代が訪れ情報検索の分野の重要性がさらに増すのでは、と思っています。情報検索をよりよく行う手段の一つとして、Reranker は欠かせないものになってくるでしょうし、本記事でRerankerや情報検索も面白そうだぞ、と興味を持たれる方が少しでも増えたら幸いです。なおこの文章は、私が書いた草稿をもとに、Claude 3 Opusによって生成した文章を微調整したものです。

A Day in the Life

2024年4月1日

似ている画像がある記事

同じ日付の日記

書いている人

おたよりを送る