lorinma/Slim-COIG-Kun download history
lorinma/Slim-COIG-Kun is a question answering dataset on the Hugging Face Hub. In the last 30 days it was downloaded 16 times (3 in the last 7 days), and 1,170 times in total. It ranks #433,426 among datasets by monthly downloads.
This is a Slim version of COIG-Kun 因为原始的数据集有53万条之多，所以进行了subsample。 采样方法大致为，使用bert-base-chinese将Instruction转换为embedding，使用类knn的方法抽取了1万条。并转换成了sharegpt格式。 为了更直观的查看效果，文件中还有一个仅采样了1千条的版本。采样前后的Embedding使用tsne进行可视化。 original Kun(蓝色)和Moss003（红色）的区别，是否可解读为虽然Kun的数量很高，但是首个instruction的语义多样化不如Moss。（后记：这个地方不应该用