hpprc/wikipedia-20240101 download history

hpprc/wikipedia-20240101 is a dataset on the Hugging Face Hub. In the last 30 days it was downloaded 98 times (16 in the last 7 days), and 3,641 times in total. It ranks #115,511 among datasets by monthly downloads.

apache_beamとmwparserfromhellを用いて通常のWikipediaの前処理を行ったデータセットです。 本家の前処理時間が長すぎたため、前処理済みバージョンを配布しています。 各種規約・ライセンスは本家Wikipediaにしたがってください。 Preprocessing Code import datasets as ds dataset = ds.load_dataset( "wikipedia", language="ja", date="20240101", beam_runner="DirectRunner",

Open hpprc/wikipedia-20240101 on Hugging Face

Sister project: Paper Pulse, the upvote history of every Hugging Face Daily Paper.