tryumanshow/longwiki-4k-ko download history

tryumanshow/longwiki-4k-ko is a dataset on the Hugging Face Hub. In the last 30 days it was downloaded 15 times (5 in the last 7 days), and 501 times in total. It ranks #451,834 among datasets by monthly downloads.

Created by: Seungwoo Ryu 데이터 출처 Wikimedia에서 제공하는 kowiki-20240820-pages-articles.xml.bz2 파일 데이터 생성 방법 1. 데이터 전처리 mwparserfromhell 라이브러리를 활용하여 위키피디아 데이터를 열고 전처리하였습니다. 이때, parsing 과정에서 4000자 이상의 길이를 지니고 있으며 각주가 하나 이하만 존재하는 약 2천 개의 소규모 데이터만을 추출하였습니다. 2. Ins

Open tryumanshow/longwiki-4k-ko on Hugging Face

Sister project: Paper Pulse, the upvote history of every Hugging Face Daily Paper.