twinkle-ai/tw-tokenizer-bench download history

twinkle-ai/tw-tokenizer-bench is a text generation dataset on the Hugging Face Hub. In the last 30 days it was downloaded 33 times (12 in the last 7 days), and 65 times in total. It ranks #361,752 among datasets by monthly downloads.

tw-tokenizer-bench v0.1 台灣繁體中文 tokenizer 評測基準。24,294 筆 / 1,844 萬字元 ,5 個領域 subset。 定位是正式文體 ——法律、政府、百科、翻譯網頁。這是刻意的取捨,不是「台灣中文全貌」, 限制寫在下面的〈已知限制〉。 筆數 24,294 字元數 18,439,640 subset 5 每筆長度 300–1,500 字元(固定窗格) 語言 繁體中文(台灣) Subsets subset 筆數 字元數 平均長度

Open twinkle-ai/tw-tokenizer-bench on Hugging Face

Sister project: Paper Pulse, the upvote history of every Hugging Face Daily Paper.