🍷 FineWeb2 Edu Japanese: 高品質な教育向け日本語データセットを、公開しました。

• https://huggingface.co/datasets/hotchpotch/fineweb-2-edu-japanese

以下の内容は、上記ページの日本語訳です。

本データセットは、FineWeb2 の日本語データ（376M件）のうち、教育向けコンテンツと判断した120M件（約89.3Bトークン）の文章をフィルタしたものです。以下のサブセットも提供しています。

• default: 約120M件（1.2億件）のデータ・約89.3Bトークン
• sample_10BT: default からランダムサンプリングした約10Bトークンのデータ
• small_tokens: トークン数が512以下の短い文章のみから構成されるデータ
• small_tokens_cleaned: small_tokens から Web 特有のテキストノイズを除去したデータ

データセット作成の背景

FineWeb（英語のみ）は、Webデータの重複除去と高品質テキスト抽出を目的として作成されました。さらに、教育向けに質の高いテキストを抽出した FineWeb-Edu により、より少ないトークン数でも効率的な学習が実現可能となっています。

2024年12月に公開された FineWeb2 は多言語対応（日本語を含む）の高品質データセットですが、2025年2月現在、教育向けに価値が高い「Edu」データセットは未公開です。そこで、本プロジェクトでは FineWeb2 Edu Japanese データセット を作成し、公開しました。

教育的データのフィルタリング

本データセットの構築には、FineWeb2 日本語データから、教育向け文章を判定するためのモデル fineweb-2-edu-japanese-classifier を利用してフィルタリングしました。判定モデルのスコアリングの教師データには、DeepSeek-API (deepseek-chat) によって評価された fineweb-2-edu-japanese-scores を使っています。なお、本データセットでは、スコアが2.5以上の文章のみを抽出しており、そのスコアは score カラムに記載しています。

トークンカウントの付与

ModernBERT-Ja-130M のトークナイザを用いてカウントしたトークン数が token_count カラムとして付与されています。

Web特有のノイズ除去

FineWeb2 の日本語データには、Web特有のボイラープレートや不要なノイズが含まれることがあります。例えば、以下のような文章が含まれます。

この文章は90日以上更新の無いサイトに表示されています。
ログイン ログアウト

本当に必要な文章以外にも、さまざまなノイズが含まれていることがあります。例えば、この文章もその一例です。本来不要なテキストが入ってしまうことがこのようにあるでしょう。

今なら50%オフ！クリックしてリンク先の商品を表示

とりわけ文章長が短い場合、文章のほとんどがノイズを含む可能性があります。それらを取り除くことで、より高品質の文章を抽出できないかと考えています。

前のページ  次のページ

このような不要なテキストを取り除くためのモデル、fineweb-2-japanese-text-cleaner を開発しました。ノイズ判定の教師データとしては、fineweb-2-japanese-noise-spans を利用しています。この教師データはcyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese を活用して作られました。

このモデルにより、以下のようにノイズ箇所が検出されます。

[NOISE]この文章は90日以上更新の無いサイトに表示されています。[/NOISE]
[NOISE]ログイン[/NOISE] [NOISE]ログアウト[/NOISE]

本当に必要な文章以外にも、さまざまなノイズが含まれていることがあります。例えば、この文章もその一例です。本来不要なテキストが入ってしまうことがこのようにあるでしょう。
[NOISE]
今なら50%オフ！クリックしてリンク先の商品を表示[/NOISE]

とりわけ文章長が短い場合、文章のほとんどがノイズを含む可能性があります。それらを取り除くことで、より高品質の文章を抽出できないかと考えています。

[NOISE]前のページ[/NOISE]  [NOISE]次のページ[/NOISE]

本データセットに含まれるsmall_tokens_cleaned サブセットは、small_tokens からさらに fineweb-2-japanese-text-cleaner モデルを適用し、ノイズを除去したデータとなります。なお、モデルを使ってノイズ検出をした生データは fineweb-2-edu-japanese-noise-detect-raw で公開しています。

なおノイズ検出は完璧ではないため、場合によっては正しい文章の一部が誤って除外されている可能性がありますのでご注意ください。

注意事項

本データセット「FineWeb2 Edu Japanese」と、Eduフィルタリングを実施していない大元の「FineWeb2」データセットとの比較実験は行っておりません。そのため、実際のLLM学習においてどの程度の効果差が生じるかは未検証です。

また、教育向けテキストかどうかの分類精度も完璧ではなく、一部教育向けではないテキストも含まれます。

ライセンス

本データセットは、元の FineWeb2 と同様に Open Data Commons Attribution License (ODC-By) v1.0 の下で公開します。また、使用にあたっては CommonCrawlの利用規約 も適用されます。

Citation Information

@software{yuichi2025fineweb-2-edu-japanese,
  author = {Yuichi Tateno},
  title = {FineWeb2 Edu Japanese},
  month = feb,
  year = 2025,
  url = {https://huggingface.co/datasets/hotchpotch/fineweb-2-edu-japanese/}
}