wehub-resource-sync
e06fe8e8c6
2.8 KiB
데이터 콜레이터(Data Collator)data-collator
데이터 콜레이터는 데이터셋 요소들의 리스트를 입력으로 사용하여 배치를 형성하는 객체입니다. 이러한 요소들은 train_dataset 또는 eval_dataset의 요소들과 동일한 타입 입니다. 배치를 구성하기 위해, 데이터 콜레이터는 (패딩과 같은) 일부 처리를 적용할 수 있습니다. [DataCollatorForLanguageModeling]과 같은 일부 콜레이터는 형성된 배치에 (무작위 마스킹과 같은) 일부 무작위 데이터 증강도 적용합니다. 사용 예시는 예제 스크립트나 예제 노트북에서 찾을 수 있습니다.
기본 데이터 콜레이터transformers.default_data_collator
autodoc data.data_collator.default_data_collator
DefaultDataCollatortransformers.DefaultDataCollator
autodoc data.data_collator.DefaultDataCollator
DataCollatorWithPaddingtransformers.DataCollatorWithPadding
autodoc data.data_collator.DataCollatorWithPadding
DataCollatorForTokenClassificationtransformers.DataCollatorForTokenClassification
autodoc data.data_collator.DataCollatorForTokenClassification
DataCollatorForSeq2Seqtransformers.DataCollatorForSeq2Seq
autodoc data.data_collator.DataCollatorForSeq2Seq
DataCollatorForLanguageModelingtransformers.DataCollatorForLanguageModeling
autodoc data.data_collator.DataCollatorForLanguageModeling - numpy_mask_tokens - torch_mask_tokens
DataCollatorForWholeWordMasktransformers.DataCollatorForWholeWordMask
autodoc data.data_collator.DataCollatorForWholeWordMask - numpy_mask_tokens - torch_mask_tokens
DataCollatorForPermutationLanguageModelingtransformers.DataCollatorForPermutationLanguageModeling
autodoc data.data_collator.DataCollatorForPermutationLanguageModeling - numpy_mask_tokens - torch_mask_tokens
DataCollatorWithFlatteningtransformers.DataCollatorWithFlattening
autodoc data.data_collator.DataCollatorWithFlattening