ShallowU/FineWeb-Edu-10B-Tokens-NPY download history
ShallowU/FineWeb-Edu-10B-Tokens-NPY is a text generation dataset on the Hugging Face Hub. In the last 30 days it was downloaded 2,891 times (609 in the last 7 days), and 12,399 times in total. It ranks #8,603 among datasets by monthly downloads.
FineWeb-Edu 10B Tokens (NPY Format) 数据集概述 这是一个预处理好的教育文本数据集，包含约100亿个tokens，专门为训练小型语言模型（如GPT-2 124M）而设计。数据来源于高质量的FineWeb-Edu数据集，已经使用GPT-2的tiktoken分词器进行预处理，并保存为numpy格式以提高训练效率。 Followed by Let's reproduce GPT-2 (124M). Thanks to Andrej Karpathy!!! 🎯 适用场景 小型语言模型训练：特别适合GP