<p>夜、雨が降ったようで、雨上がりの散歩。稲に水滴がついている様は美しいなぁ。</p>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20230723_P7201348.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20230723_P7201348.webp" class="photo" itemprop="image" /></a></span></div>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20230723_P7201351.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20230723_P7201351.webp" class="photo" itemprop="image" /></a></span></div>

夜、雨が降ったようで、雨上がりの散歩。稲に水滴がついている様は美しいなぁ。

2023年7月21日

<p>妻作のスイカゼリー。凍らして食べたら、高級なスイカバー的な美味しさ。</p>
<div class="photos photos-small"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20240722_L1008705.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20240722_L1008705.webp" class="photo" itemprop="image" /></a></span></div>
<hr>
<p>無線LANルータの調子が悪く、リセットすれば治る気もするが、セットアップに手間がかかるし、ならいっそとで新しい TP-Link のルータ、<a href="https://amzn.to/4cNHhAR">BE9300</a>を買って切り替える。Primeセールでお安く入手。6GHzバンドの対応機器なんて、ほぼ持ってないのだけどまぁ。WiFi 6E対応の iPad Pro かつルータの置いてある部屋なら、スピードテストで800Mbps以上でてるので、WiFi でも光回線のほぼ上限近く出るようになった。安定性はこれから。</p>
<p>BE9300のフロントLED、不要だなーと思っていたが、置いてみるとなかなか良いかもね。</p>
<div class="photos photos-small"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20240722_L1008717.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20240722_L1008717.webp" class="photo" itemprop="image" /></a></span></div>

妻作のスイカゼリー。凍らして食べたら、高級なスイカバー的な美味しさ。無線LANルータの調子が悪く、リセットすれば治る気もするが、セットアップに手間がかかるし、ならいっそとで新しい TP-Link のルータ、BE9300を買って切り替える。Primeセールでお安く入手。6GHzバンドの対応機器なんて、ほぼ持ってないのだけどまぁ。WiFi 6E対応の iPad Pro かつルータの置いてある部屋なら、スピードテストで800Mbps以上でてるので、WiFi でも光回線のほぼ上限近く出るようになった。安定性はこれから。BE9300のフロントLED、不要だなーと思っていたが、置いてみるとなかなか良いかもね。

2024年7月21日

<p>日本企業の安価なサーキュレータを購入したら、当初からプロペラ回転時にカタカタ音がしていてそういうものかな、と使っていたのだけどどうやら初期不良や修理対応してくれるらしい(首振り時のカタカタ音は仕様らしいが）。ただ、購入してしばらくたってしまっていて、保証書もどこかにやってしまった。直している人の動画を見ると、軸受に油を塗れば良いらしいので、代わりに<a href="https://amzn.to/3yVUk0t">シリコンスプレー</a>を吹き付けたところカタカタ音がしなくなった。意外と耳障りだったのでカタカタ音がなくなって快適だ。</p>
<p>引っ越し前は大して使っていなかったシリコンスプレーだけど、こちらに引越し後はアルミサッシだったり引き戸だったり、いろいろなところに散布して潤滑油的役割としてつかっていて大変便利。そろそろ無くなりそうだ。購入履歴を見ると、購入したのは6年前だったらしい。</p>
<p>分解ついでに目立つロゴを黒塗りすべく、<a href="https://amzn.to/3OryHL8">タッチアップペン</a>でロゴを隠す。結構良い感じに隠れて、当初からやっておけばよかった。黒く染めるには、他にスプレータイプの染めQも持っているが、一部だけ塗りつぶすような用途にはタッチアップペン（ペンと言うがマニキュアのような中身になっている）が便利だ。</p>
<hr>
<p>夜は那須山温泉でサウナ。妻が運転してくれたので那須街道撮影。紫陽花は梅雨があっという間に過ぎてしまったのですぐ枯れるか、と思いきや結構もっていて街道を賑わせている。</p>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20220721_RX000339.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20220721_RX000339.webp" class="photo" itemprop="image" /></a></span></div>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20220721_RX000320.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20220721_RX000320.webp" class="photo" itemprop="image" /></a></span></div>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20220721_RX000346.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20220721_RX000346.webp" class="photo" itemprop="image" /></a></span></div>

日本企業の安価なサーキュレータを購入したら、当初からプロペラ回転時にカタカタ音がしていてそういうものかな、と使っていたのだけどどうやら初期不良や修理対応してくれるらしい(首振り時のカタカタ音は仕様らしいが）。ただ、購入してしばらくたってしまっていて、保証書もどこかにやってしまった。直している人の動画を見ると、軸受に油を塗れば良いらしいので、代わりにシリコンスプレーを吹き付けたところカタカタ音がしなくなった。意外と耳障りだったのでカタカタ音がなくなって快適だ。引っ越し前は大して使っていなかったシリコンスプレーだけど、こちらに引越し後はアルミサッシだったり引き戸だったり、いろいろなところに散布して潤滑油的役割としてつかっていて大変便利。そろそろ無くなりそうだ。購入履歴を見ると、購入したのは6年前だったらしい。分解ついでに目立つロゴを黒塗りすべく、タッチアップペンでロゴを隠す。結構良い感じに隠れ

日本企業の安価なサーキュレータを購入したら、当初からプロペラ回転時にカタカタ音がしていてそういうものかな、と使っていたのだけどどうやら初期不良や修理対応してくれるらしい(首振り時のカタカタ音は仕様らしいが）。ただ、購入してしばらくたってしまっていて、保証書もどこかにやってしまった。直している人の動画を見ると、軸受に油を塗れば良いらしいので、代わりにシリコンスプレーを吹き付けたところカタカタ音がしなくなった。意外と耳障りだったのでカタカタ音がなくなって快適だ。引っ越し前は大して使っていなかったシリコンスプレーだけど、こちらに引越し後はアルミサッシだったり引き戸だったり、いろいろなところに散布して潤滑油的役割としてつかっていて大変便利。そろそろ無くなりそうだ。購入履歴を見ると、購入したのは6年前だったらしい。分解ついでに目立つロゴを黒塗りすべく、タッチアップペンでロゴを隠す。結構良い感じに隠れて、当初からやっておけばよかった。黒く染めるには、他にスプレータイプの染めQも持っているが、一部だけ塗りつぶすような用途にはタッチアップペン（ペンと言うがマニキュアのような中身になっている）が便利だ。夜は那須山温泉でサウナ。妻が運転してくれたので那須街道撮影。紫陽花は梅雨があっという間に過ぎてしまったのですぐ枯れるか、と思いきや結構もっていて街道を賑わせている。

2022年7月21日

<p>ちょい体調悪めの日。今日中に済ませたい仕事があったのでがっと行い、あとは大体寝ていた。</p>

ちょい体調悪めの日。今日中に済ませたい仕事があったのでがっと行い、あとは大体寝ていた。

2021年7月21日

<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20190721185450.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20190721185450.webp" class="photo" itemprop="image"></a></span></div>
<p>用事で両親が来たので、昼は東京駅の大丸へ。</p>
<p>その後旅行用品を、大丸の石井スポーツや東急ハンズで見た後に、京橋のモンベルへ。最近、旅行系グッズを見るのが趣味の一つになりつつある。そのドメインの知識がたまると、どういうところを工夫している商品なのか分かるようになるため、考え選択することが、どんどん面白くなる。旅行グッズは便利さはもとより、重さもとても重要な指標で、モンベルはすべての商品をWebサイトにて重さを公開している所がとても便利。</p>
<p>その後は、有楽町ビッグカメラにて、マイクロフォーサーズ系のレンズをあれこれ見る。いまメインで使ってるのはオリンパスの12-100mm F4（換算24-200mm）なのだけど、最近出た12-200mm F3.5-F6.3 (換算24-400mm)のレンズが、画質や明るさと言った点では12-100mmよりは良くなくレンズ内手ぶれ補正も無いのだけど、許容できるレベルの画質、かつ何よりレンズが軽い（12100は561gぐらい、12200は455g）ことはマイクロフォーサーズシステムにおいて正義、というわけで気になっている。100mm地点での最短撮影距離も、12100も12200もほぼ変わらず。</p>
<p>この夏出る予定である、E-M5 mark IIIのキットレンズになって、フルサイズに比べ、軽い（超便利レンズ込みでで1kg未満）、安い、超便利レンズ、防塵防滴、ボディ内手ぶれ5段でそれなりにぶれない、画質はそこそこ！みたいな売り出し方で、フルサイズ全盛の今、一石を投じる事になるのだろう。予想だけど。</p>
<p>その後は国際フォーラムでちょっと写真撮ったのち、選挙に間に合うぐらいの時間に帰宅。20代はほぼ全く選挙に行かず、というかどの政党に投票すべきかの指針など全くわかってなかったのだけど、30代になって、自分が考える社会のあり方、などが徐々に見えてくると、普通に選挙に行こう、という感じになったのだけど、若い時に興味を持つことは難しいよなぁ、とか思ったりした。</p>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200731062555.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200731062555.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200801134333.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200801134333.webp" class="photo" itemprop="image"></a></span></div>

用事で両親が来たので、昼は東京駅の大丸へ。その後旅行用品を、大丸の石井スポーツや東急ハンズで見た後に、京橋のモンベルへ。最近、旅行系グッズを見るのが趣味の一つになりつつある。そのドメインの知識がたまると、どういうところを工夫している商品なのか分かるようになるため、考え選択することが、どんどん面白くなる。旅行グッズは便利さはもとより、重さもとても重要な指標で、モンベルはすべての商品をWebサイトにて重さを公開している所がとても便利。その後は、有楽町ビッグカメラにて、マイクロフォーサーズ系のレンズをあれこれ見る。いまメインで使ってるのはオリンパスの12-100mm F4（換算24-200mm）なのだけど、最近出た12-200mm F3.5-F6.3 (換算24-400mm)のレンズが、画質や明るさと言った点では12-100mmよりは良くなくレンズ内手ぶれ補正も無いのだけど、許容できるレベルの画

用事で両親が来たので、昼は東京駅の大丸へ。その後旅行用品を、大丸の石井スポーツや東急ハンズで見た後に、京橋のモンベルへ。最近、旅行系グッズを見るのが趣味の一つになりつつある。そのドメインの知識がたまると、どういうところを工夫している商品なのか分かるようになるため、考え選択することが、どんどん面白くなる。旅行グッズは便利さはもとより、重さもとても重要な指標で、モンベルはすべての商品をWebサイトにて重さを公開している所がとても便利。その後は、有楽町ビッグカメラにて、マイクロフォーサーズ系のレンズをあれこれ見る。いまメインで使ってるのはオリンパスの12-100mm F4（換算24-200mm）なのだけど、最近出た12-200mm F3.5-F6.3 (換算24-400mm)のレンズが、画質や明るさと言った点では12-100mmよりは良くなくレンズ内手ぶれ補正も無いのだけど、許容できるレベルの画質、かつ何よりレンズが軽い（12100は561gぐらい、12200は455g）ことはマイクロフォーサーズシステムにおいて正義、というわけで気になっている。100mm地点での最短撮影距離も、12100も12200もほぼ変わらず。この夏出る予定である、E-M5 mark IIIのキットレンズになって、フルサイズに比べ、軽い（超便利レンズ込みでで1kg未満）、安い、超便利レンズ、防塵防滴、ボディ内手ぶれ5段でそれなりにぶれない、画質はそこそこ！みたいな売り出し方で、フルサイズ全盛の今、一石を投じる事になるのだろう。予想だけど。その後は国際フォーラムでちょっと写真撮ったのち、選挙に間に合うぐらいの時間に帰宅。20代はほぼ全く選挙に行かず、というかどの政党に投票すべきかの指針など全くわかってなかったのだけど、30代になって、自分が考える社会のあり方、などが徐々に見えてくると、普通に選挙に行こう、という感じになったのだけど、若い時に興味を持つことは難しいよなぁ、とか思ったりした。

2019/07/21

<p>最近公開された論文 <a href="https://aclanthology.org/2023.findings-acl.426">“Low-Resource” Text Classification: A Parameter-Free Classification Method with Compressors</a> (Jiang et al., Findings 2023) は、gzip で圧縮したデータの長さを活用し、テキスト分類課題で BERTよりも優れたパフォーマンスを発揮すると述べています。面白そうだったので、自分でこの方法を実装して試してみました。その結果、実際に <a href="https://www.rondhuit.com/download.html">livedoor ニュースコーパス</a> を用いたテキストのカテゴリー分類では、日本語 BERTよりも優れた結果が出ました。</p>
<h2>どんな手法なのか</h2>
<p>やっていることはシンプルで、まず<a href="https://en.wikipedia.org/wiki/Normalized_compression_distance">NCD(Normalized compression distance)</a>を算出します。例では圧縮アルゴリズムに gzip を使っています。</p>
<ul>
<li>個々のデータxとyを圧縮し、それぞれの圧縮後の長さをC(x)、C(y)とする。</li>
<li>2つのデータを結合したものxyを圧縮し、その圧縮後の長さをC(xy)とする。</li>
<li>NCDを計算する
<ul>
<li>NCD(x, y) = [C(xy) - min(C(x), C(y))] / max(C(x), C(y))</li>
</ul>
</li>
</ul>
<p>これで、情報が似ていればNCD近く(小さく)なります。"Hello world!" と "Hello!" を結合したものは圧縮率が高くNCDが小さそうですが、"Hello world!" と "Good!" は NCD が遠そうですよね。</p>
<p>続いて、この距離で学習元データをソートして、top-k を取り出して、そのtop-k のカテゴリーの中から最も多いカテゴリーを推論結果とします。NCD距離から最近傍のデータk個を使って決定する、つまりkNNですね。</p>
<h2>実装する</h2>
<p>元論文の実装として <a href="https://github.com/bazingagin/npc_gzip">https://github.com/bazingagin/npc_gzip</a> が公開されているのですが、やってることは単純なはずなのに利用するにはなかなか難解なコードとなっていたので、sklearn の fit / predict のインターフェイスでサクッと使えるような形で実装してみました。</p>
<ul>
<li><a href="https://github.com/hotchpotch/ncd_classifier/">https://github.com/hotchpotch/ncd_classifier/</a></li>
</ul>
<h2>livedoor ニュースコーパスで試す</h2>
<p>これの実装を使って、livedoor ニュースコーパスのカテゴリー分類をやってみましょう。<a href="https://qiita.com/sugulu_Ogawa_ISID/items/697bd03499c1de9cf082">【実装解説】日本語版BERTでlivedoorニュース分類：Google Colaboratoryで（PyTorch）</a>では、testとして1475個(全体の約2割)を推論し、正解率が <code>0.9261</code> とのことでした。</p>
<p>今回私は、データセットを train:test で 8:2 に分割し、train: 5894個 test: 1473個のデータに対して分類してみました。</p>
<ul>
<li><a href="https://github.com/hotchpotch/ncd_classifier/blob/main/examples/livedoor_news_ja.py">https://github.com/hotchpotch/ncd_classifier/blob/main/examples/livedoor_news_ja.py</a></li>
</ul>
<p>結果の正解率は <code>0.9457</code> となり、日本語BERTを超える結果となったようです。単純な仕組みなのにすごい。なお validation 用意しないの？と疑問に思った方もいるかも知れませんが、やっているのはただの距離の計算(NCD)だけで事前学習させているわけではないので、valなデータは作っても意味がないので作っていません。</p>
<pre><code># 正解率
0.9456890699253224
</code></pre>
<pre><code># 混合行列の結果
[[150   0   0   0   1   1   0   0   0]
 [  0 166   2   2   3   0   0   0   2]
 [  0   1 164   0   0   2   0   0   0]
 [  0   0   1 156   0   0   5   0   0]
 [  5   1   3   2 103   5   0   3   4]
 [  5   0   1   1   5 148   0   4   3]
 [  0   0   0   5   1   0 182   0   0]
 [  1   0   1   0   3   7   0 151   0]
 [  0   0   0   0   0   0   0   0 173]]
</code></pre>
<h2>MARC-ja で試す</h2>
<p>同様に、JGLUEデータセットの MARC-ja を評価しましょう。MARC-ja はポジティブ9割、ネガティブ1割の分類ラベルが付いた、約19万件のデータセットです。なお日本語BERTで正解率 <code>0.958</code> とのことです。ちなみに全部ポジティブラベルとして判定した場合、正解率は <code>0.9</code> ぐらいのデータですね。</p>
<p>NCD Classifier で試した結果、正解率 <code>0.802</code> でした。圧倒的な悪さ…！最初は悪すぎて実装ミスかと何度も確認したのですが、データセットの分布に大きく偏りがあること、テキスト長が短すぎるデータが多いこと(livedoor ニュース記事などはそこそこの長さがある)で、あまり性能が出ない感じでした。</p>
<ul>
<li><a href="https://github.com/hotchpotch/ncd_classifier/blob/main/examples/JGLUE_MARC_ja.py">https://github.com/hotchpotch/ncd_classifier/blob/main/examples/JGLUE_MARC_ja.py</a></li>
</ul>
<pre><code># 正解率
0.8020870180403255
</code></pre>
<pre><code># 混合行列
[[4077  755]
 [ 364  458]]
</code></pre>
<h2>AGNews で試す</h2>
<p>論文ではAGNewsに対するスコアが 0.937 を達成したと記述されていますが、私の実装では 0.898 程度しか達成できませんでした。この違いについては原因が不明ですが、実装の差異や使ったデータ、データ処理の何らかの違いが考えられます。このへんは私の実装が悪い可能性もあるので、実装に不備がありそうでしたら教えてください。</p>
<ul>
<li><a href="https://github.com/hotchpotch/ncd_classifier/blob/main/examples/ag_news.py">https://github.com/hotchpotch/ncd_classifier/blob/main/examples/ag_news.py</a></li>
</ul>
<pre><code># 正解率
0.8976315789473684
</code></pre>
<pre><code># 混合行列
[[1718   47   83   52]
 [  20 1838   23   19]
 [  72   31 1635  162]
 [  81   37  151 1631]]
</code></pre>
<h2>ざっくりまとめ</h2>
<p>学習せずにともNCD(gzip) + kNN という単純なテキスト分類で、場合によっては BERT 超えの性能が出ることが出ることが確認されました。論文でも書かれていますが、とりわけ数百件～数千件ぐらい、かつテキスト長がそこそこあるニュース記事のような小さなデータセットに対しては、よい性能が出そうな感じです。今回試した中ではlivedoorニュースコーパスのようなデータセットがまさにですね。</p>
<p>事前学習を必要としないカジュアルなテキスト分類に使える分類器の一つとして、この論文のアプローチのテキスト分類機を使ってみても良さそうですね。実装も簡単ですしね。</p>
<p>ただ論文で書かれている通り計算量がデータが増えれば増えるほど増大します。推論時の計算量は Mをtrainデータ件数、Nをpredictするデータ件数とする場合、ざっくりO(M*N)となるので、データが増えれば増えるほど、predict時の推論コストが掛かります。特徴を学習しているのではなく、ベタにフル計算するので遅いです。例えば、MARC_ja のデータセットは M = 187528, N = 5654 となるので、かなりの計算コストになり、CPU に Ryzen 7950X の仮想32コアをフルで使って5654件を推論させても30分ぐらいかかります。</p>
<p>ともあれ、事前学習を必要としないシンプルなアプローチで、用途に応じては十分な性能が出るという、面白い内容の論文でした。</p>

最近公開された論文 “Low-Resource” Text Classification: A Parameter-Free Classification Method with Compressors (Jiang et al., Findings 2023) は、gzip で圧縮したデータの長さを活用し、テキスト分類課題で BERTよりも優れたパフォーマンスを発揮すると述べています。面白そうだったので、自分でこの方法を実装して試してみました。その結果、実際に livedoor ニュースコーパス を用いたテキストのカテゴリー分類では、日本語 BERTよりも優れた結果が出ました。どんな手法なのかやっていることはシンプルで、まずNCD(Normalized compression distance)を算出します。例では圧縮アルゴリズムに gzip を使っています。個々のデータxとyを圧縮し、

最近公開された論文 “Low-Resource” Text Classification: A Parameter-Free Classification Method with Compressors (Jiang et al., Findings 2023) は、gzip で圧縮したデータの長さを活用し、テキスト分類課題で BERTよりも優れたパフォーマンスを発揮すると述べています。面白そうだったので、自分でこの方法を実装して試してみました。その結果、実際に livedoor ニュースコーパス を用いたテキストのカテゴリー分類では、日本語 BERTよりも優れた結果が出ました。どんな手法なのかやっていることはシンプルで、まずNCD(Normalized compression distance)を算出します。例では圧縮アルゴリズムに gzip を使っています。個々のデータxとyを圧縮し、それぞれの圧縮後の長さをC(x)、C(y)とする。2つのデータを結合したものxyを圧縮し、その圧縮後の長さをC(xy)とする。NCDを計算するNCD(x, y) = [C(xy) - min(C(x), C(y))] / max(C(x), C(y))これで、情報が似ていればNCD近く(小さく)なります。"Hello world!" と "Hello!" を結合したものは圧縮率が高くNCDが小さそうですが、"Hello world!" と "Good!" は NCD が遠そうですよね。続いて、この距離で学習元データをソートして、top-k を取り出して、そのtop-k のカテゴリーの中から最も多いカテゴリーを推論結果とします。NCD距離から最近傍のデータk個を使って決定する、つまりkNNですね。実装する元論文の実装として https://github.com/bazingagin/npc_gzip が公開されているのですが、やってることは単純なはずなのに利用するにはなかなか難解なコードとなっていたので、sklearn の fit / predict のインターフェイスでサクッと使えるような形で実装してみました。https://github.com/hotchpotch/ncd_classifier/livedoor ニュースコーパスで試すこれの実装を使って、livedoor ニュースコーパスのカテゴリー分類をやってみましょう。【実装解説】日本語版BERTでlivedoorニュース分類：Google Colaboratoryで（PyTorch）では、testとして1475個(全体の約2割)を推論し、正解率が 0.9261 とのことでした。今回私は、データセットを train:test で 8:2 に分割し、train: 5894個 test: 1473個のデータに対して分類してみました。https://github.com/hotchpotch/ncd_classifier/blob/main/examples/livedoor_news_ja.py結果の正解率は 0.9457 となり、日本語BERTを超える結果となったようです。単純な仕組みなのにすごい。なお validation 用意しないの？と疑問に思った方もいるかも知れませんが、やっているのはただの距離の計算(NCD)だけで事前学習させているわけではないので、valなデータは作っても意味がないので作っていません。# 正解率
0.9456890699253224# 混合行列の結果
[[150   0   0   0   1   1   0   0   0]
 [  0 166   2   2   3   0   0   0   2]
 [  0   1 164   0   0   2   0   0   0]
 [  0   0   1 156   0   0   5   0   0]
 [  5   1   3   2 103   5   0   3   4]
 [  5   0   1   1   5 148   0   4   3]
 [  0   0   0   5   1   0 182   0   0]
 [  1   0   1   0   3   7   0 151   0]
 [  0   0   0   0   0   0   0   0 173]]MARC-ja で試す同様に、JGLUEデータセットの MARC-ja を評価しましょう。MARC-ja はポジティブ9割、ネガティブ1割の分類ラベルが付いた、約19万件のデータセットです。なお日本語BERTで正解率 0.958 とのことです。ちなみに全部ポジティブラベルとして判定した場合、正解率は 0.9 ぐらいのデータですね。NCD Classifier で試した結果、正解率 0.802 でした。圧倒的な悪さ…！最初は悪すぎて実装ミスかと何度も確認したのですが、データセットの分布に大きく偏りがあること、テキスト長が短すぎるデータが多いこと(livedoor ニュース記事などはそこそこの長さがある)で、あまり性能が出ない感じでした。https://github.com/hotchpotch/ncd_classifier/blob/main/examples/JGLUE_MARC_ja.py# 正解率
0.8020870180403255# 混合行列
[[4077  755]
 [ 364  458]]AGNews で試す論文ではAGNewsに対するスコアが 0.937 を達成したと記述されていますが、私の実装では 0.898 程度しか達成できませんでした。この違いについては原因が不明ですが、実装の差異や使ったデータ、データ処理の何らかの違いが考えられます。このへんは私の実装が悪い可能性もあるので、実装に不備がありそうでしたら教えてください。https://github.com/hotchpotch/ncd_classifier/blob/main/examples/ag_news.py# 正解率
0.8976315789473684# 混合行列
[[1718   47   83   52]
 [  20 1838   23   19]
 [  72   31 1635  162]
 [  81   37  151 1631]]ざっくりまとめ学習せずにともNCD(gzip) + kNN という単純なテキスト分類で、場合によっては BERT 超えの性能が出ることが出ることが確認されました。論文でも書かれていますが、とりわけ数百件～数千件ぐらい、かつテキスト長がそこそこあるニュース記事のような小さなデータセットに対しては、よい性能が出そうな感じです。今回試した中ではlivedoorニュースコーパスのようなデータセットがまさにですね。事前学習を必要としないカジュアルなテキスト分類に使える分類器の一つとして、この論文のアプローチのテキスト分類機を使ってみても良さそうですね。実装も簡単ですしね。ただ論文で書かれている通り計算量がデータが増えれば増えるほど増大します。推論時の計算量は Mをtrainデータ件数、Nをpredictするデータ件数とする場合、ざっくりO(M*N)となるので、データが増えれば増えるほど、predict時の推論コストが掛かります。特徴を学習しているのではなく、ベタにフル計算するので遅いです。例えば、MARC_ja のデータセットは M = 187528, N = 5654 となるので、かなりの計算コストになり、CPU に Ryzen 7950X の仮想32コアをフルで使って5654件を推論させても30分ぐらいかかります。ともあれ、事前学習を必要としないシンプルなアプローチで、用途に応じては十分な性能が出るという、面白い内容の論文でした。

gzip + kNN のテキスト分類で BERT 超え論文 "Low-Resource" Text Classification: A Parameter-Free Classification Method with Compressors を実装し試す

<p>ピクミン4が発売されたので、一日中プレイする。ピクミンシリーズはやったことがなかったから新鮮だ。ちょっとRTSっぽさがあるのだなぁ。</p>

ピクミン4が発売されたので、一日中プレイする。ピクミンシリーズはやったことがなかったから新鮮だ。ちょっとRTSっぽさがあるのだなぁ。

A Day in the Life

2023年7月21日

似ている画像がある記事

同じ日付の日記

書いている人

おたよりを送る