hotchpotch/fineweb-2-edu-japanese-noise-detect-raw download history

hotchpotch/fineweb-2-edu-japanese-noise-detect-raw is a dataset on the Hugging Face Hub. In the last 30 days it was downloaded 139 times (28 in the last 7 days), and 5,104 times in total. It ranks #89,911 among datasets by monthly downloads.

fineweb-2-edu-japanese の small_tokens の text カラムをユニコード正規化(NFKC)したものを fineweb-2-japanese-text-cleaner を使ってノイズ箇所を推論したRAWデータセットです。 このデータセットで、ノイズ文字列を削除したのものを、fineweb-2-edu-japaneseのsmall_tokens_cleanedサブセットとして公開しています。 推論時のパラメータは閾値0.7以上かつノイズの文字列長4文字以上のものを、noise_spans カラムに付与しています。noise_spans は start_pos,

Open hotchpotch/fineweb-2-edu-japanese-noise-detect-raw on Hugging Face

Sister project: Paper Pulse, the upvote history of every Hugging Face Daily Paper.