jslin09/wikipedia_tw download history

jslin09/wikipedia_tw is a dataset on the Hugging Face Hub. In the last 30 days it was downloaded 112 times (20 in the last 7 days), and 2,788 times in total. It ranks #138,484 among datasets by monthly downloads.

要搞自己的大型語言模型,最基本的基本,就是需要一大堆文字資料,從 Common Crawl 上頭抓回來慢慢清洗是一條路,清洗維基百科網站的週期性下載檔也是一個方法。本資料集是解析自維基百科於 20260401 發布的繁體中文版打包檔 bz2 檔案的內容,在解析出所需內容後,利用 wikitextparser 移除 Wiki 標記。解析後保留的欄位有兩個:條目名稱(title),條目內容(page article)。 原始的打包檔條目內容簡繁混雜,所以有利用 OpenCC 進行簡轉繁處理。 全部 4,882,159 個條目 全部 1,,530,400 個條目標題 無法自動去標記的條目數:3,3

Models trained on wikipedia_tw

1 models list it as training data.

Open jslin09/wikipedia_tw on Hugging Face

Sister project: Paper Pulse, the upvote history of every Hugging Face Daily Paper.