hpprc/mmarco-ja download history
hpprc/mmarco-ja is a dataset on the Hugging Face Hub. In the last 30 days it was downloaded 41 times (8 in the last 7 days), and 975 times in total. It ranks #214,983 among datasets by monthly downloads.
mmarcoデータセットのquery--passageのペアについて、queryをkeyとして重複を削除したデータセットです。 元データ中のエンコーディング周りのミスの修正やNFKC正規化などの前処理を行ってあります。 dataset subsetのpos_idsおよびneg_ids中のidは、collectionsubsetのインデックス番号に対応しています。 したがって、collection[pos_id]のようにアクセスしてもらえれば所望のデータを得ることができます。 ライセンスは元データセットに従います。