chore: import upstream snapshot with attribution

2026-07-13 13:39:21 +08:00
commit bc34f6df14
1149 changed files with 328099 additions and 0 deletions
@@ -0,0 +1,9 @@
+Embedder
+========
+
+.. toctree::
+    embedder/AbsArguments
+    embedder/AbsDataset
+    embedder/AbsModeling
+    embedder/AbsTrainer
+    embedder/AbsRunner
@@ -0,0 +1,6 @@
+AbsArguments
+============
+
+.. autoclass:: FlagEmbedding.abc.finetune.reranker.AbsRerankerModelArguments
+
+.. autoclass:: FlagEmbedding.abc.finetune.reranker.AbsRerankerDataArguments
@@ -0,0 +1,53 @@
+==========
+AbsDataset
+==========
+
+AbsEmbedderTrainDataset
+=======================
+
+.. autoclass:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderTrainDataset
+
+Methods
+-------
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderTrainDataset._load_dataset
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderTrainDataset._shuffle_text
+
+AbsEmbedderCollator
+===================
+
+.. autoclass:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderCollator
+
+AbsEmbedderSameDatasetTrainDataset
+==================================
+
+.. autoclass:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderSameDatasetTrainDataset
+
+Methods
+-------
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderSameDatasetTrainDataset.refresh_epoch
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderSameDatasetTrainDataset._load_dataset
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderSameDatasetTrainDataset._get_file_batch_size
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderSameDatasetTrainDataset._get_train_group_size
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderSameDatasetTrainDataset._create_batch_data
+
+AbsEmbedderSameDatasetCollator
+==============================
+
+.. autoclass:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderSameDatasetCollator
+
+EmbedderTrainerCallbackForDataRefresh
+=====================================
+
+.. autoclass:: FlagEmbedding.abc.finetune.embedder.EmbedderTrainerCallbackForDataRefresh
+
+Methods
+-------
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.EmbedderTrainerCallbackForDataRefresh.on_epoch_end
@@ -0,0 +1,41 @@
+===========
+AbsModeling
+===========
+
+AbsEmbedderModel
+================
+
+.. autoclass:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderModel
+
+Methods
+-------
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderModel.encode
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderModel.compute_loss
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderModel.compute_score
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderModel.save
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderModel.get_local_score
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderModel.compute_local_score
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderModel.forward
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderModel.distill_loss
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderModel._compute_no_in_batch_neg_loss
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderModel._compute_in_batch_neg_loss
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderModel._compute_cross_device_neg_loss
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderModel._dist_gather_tensor
+
+
+EmbedderOutput
+==============
+
+.. autoclass:: FlagEmbedding.abc.finetune.embedder.EmbedderOutput
@@ -0,0 +1,21 @@
+=========
+AbsRunner
+=========
+
+AbsEmbedderTrainer
+==================
+
+.. autoclass:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderRunner
+
+Methods
+-------
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderRunner.load_tokenizer_and_model
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderRunner.load_trainer
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderRunner.load_train_dataset
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderRunner.load_data_collator
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderRunner.run
@@ -0,0 +1,13 @@
+==========
+AbsTrainer
+==========
+
+AbsEmbedderTrainer
+==================
+
+.. autoclass:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderTrainer
+
+Methods
+-------
+
+.. automethod:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderTrainer.compute_loss
@@ -0,0 +1,9 @@
+Reranker
+========
+
+.. toctree::
+    reranker/AbsArguments
+    reranker/AbsDataset
+    reranker/AbsModeling
+    reranker/AbsTrainer
+    reranker/AbsRunner
@@ -0,0 +1,6 @@
+AbsArguments
+============
+
+.. autoclass:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderModelArguments
+
+.. autoclass:: FlagEmbedding.abc.finetune.embedder.AbsEmbedderDataArguments
@@ -0,0 +1,32 @@
+==========
+AbsDataset
+==========
+
+AbsRerankerTrainDataset
+=======================
+
+.. autoclass:: FlagEmbedding.abc.finetune.reranker.AbsRerankerTrainDataset
+
+Methods
+-------
+
+.. automethod:: FlagEmbedding.abc.finetune.reranker.AbsRerankerTrainDataset.create_one_example
+
+.. automethod:: FlagEmbedding.abc.finetune.reranker.AbsRerankerTrainDataset._load_dataset
+
+.. automethod:: FlagEmbedding.abc.finetune.reranker.AbsRerankerTrainDataset._shuffle_text
+
+AbsRerankerCollator
+===================
+
+.. autoclass:: FlagEmbedding.abc.finetune.reranker.AbsRerankerCollator
+
+AbsLLMRerankerTrainDataset
+==========================
+
+.. autoclass:: FlagEmbedding.abc.finetune.reranker.AbsLLMRerankerTrainDataset
+
+AbsLLMRerankerCollator
+======================
+
+.. autoclass:: FlagEmbedding.abc.finetune.reranker.AbsLLMRerankerCollator
@@ -0,0 +1,31 @@
+===========
+AbsModeling
+===========
+
+AbsRerankerModel
+================
+
+.. autoclass:: FlagEmbedding.abc.finetune.reranker.AbsRerankerModel
+
+Methods
+-------
+
+.. automethod:: FlagEmbedding.abc.finetune.reranker.AbsRerankerModel.encode
+
+.. automethod:: FlagEmbedding.abc.finetune.reranker.AbsRerankerModel.gradient_checkpointing_enable
+
+.. automethod:: FlagEmbedding.abc.finetune.reranker.AbsRerankerModel.enable_input_require_grads
+
+.. automethod:: FlagEmbedding.abc.finetune.reranker.AbsRerankerModel.forward
+
+.. automethod:: FlagEmbedding.abc.finetune.reranker.AbsRerankerModel.compute_loss
+
+.. automethod:: FlagEmbedding.abc.finetune.reranker.AbsRerankerModel.save
+
+.. automethod:: FlagEmbedding.abc.finetune.reranker.AbsRerankerModel.save_pretrained
+
+
+RerankerOutput
+==============
+
+.. autoclass:: FlagEmbedding.abc.finetune.reranker.RerankerOutput
@@ -0,0 +1,21 @@
+=========
+AbsRunner
+=========
+
+AbsRerankerTrainer
+==================
+
+.. autoclass:: FlagEmbedding.abc.finetune.reranker.AbsRerankerRunner
+
+Methods
+-------
+
+.. automethod:: FlagEmbedding.abc.finetune.reranker.AbsRerankerRunner.load_tokenizer_and_model
+
+.. automethod:: FlagEmbedding.abc.finetune.reranker.AbsRerankerRunner.load_trainer
+
+.. automethod:: FlagEmbedding.abc.finetune.reranker.AbsRerankerRunner.load_train_dataset
+
+.. automethod:: FlagEmbedding.abc.finetune.reranker.AbsRerankerRunner.load_data_collator
+
+.. automethod:: FlagEmbedding.abc.finetune.reranker.AbsRerankerRunner.run
@@ -0,0 +1,13 @@
+==========
+AbsTrainer
+==========
+
+AbsRerankerTrainer
+==================
+
+.. autoclass:: FlagEmbedding.abc.finetune.reranker.AbsRerankerTrainer
+
+Methods
+-------
+
+.. automethod:: FlagEmbedding.abc.finetune.reranker.AbsRerankerTrainer.compute_loss