以下の記事を参考に書いてます。 ・Huggingface Datasets - Loading a Dataset ・Huggingface Transformers 4.1.1 ・Huggingface Datasets 1.2 1. データセットの読み込み「Huggingface Datasets」は、様々なデータソースからデータセットを読み込むことができます。 (1) Huggingface Hub (2) ローカルファイル (CSV/JSON/テキスト/pandas pickled データフレーム) (3) インメモリデータ (Python辞書/pandasデータフレームなど) 2. Huggingface Hub からのデータセットの読み込みNLPタスク用の135を超えるデータセットが、「HuggingFace Hub」で提供されています。「Huggingface Dataset
