werty1248/stack-edu-ko download history

werty1248/stack-edu-ko is a dataset on the Hugging Face Hub. In the last 30 days it was downloaded 48 times (9 in the last 7 days), and 614 times in total. It ranks #191,074 among datasets by monthly downloads.

HuggingFaceTB/stack-edu 에서 한국어가 포함된 데이터만 발췌 주석이나 소스코드 내부에 한국어가 포함된 경우 한국어로 작성된 문서(Markdown 등) 특징 한글이 5글자 이상 들어있으면 한국어가 포함된 데이터라고 판단함 극소수지만 한국어가 아닌데 유니코드가 깨져서 우연히 한글이 검출된 경우도 있는 것 같음 SmolLM2 토크나이저 기준 토큰 수 비교 (총 125B -> 4.1B, 마크다운 제외 시 2.1B) Language Stack-Edu (B tokens) Stack-Edu-Ko (M

Open werty1248/stack-edu-ko on Hugging Face

Sister project: Paper Pulse, the upvote history of every Hugging Face Daily Paper.