wehub-resource-sync- 关于Instruct GPT复现的一些细节与想法
- 人人都能看懂的PPO原理与源码解读
- MOSS-RLHF
- 模型调优（RLHF/DPO/ORPO）- 终极指南
- DPO: Direct Preference Optimization 论文解读及代码实践
- 强化学习入门：基本思想和经典算法
- 动手学强化学习
ORPO：
- ORPO: Monolithic Preference Optimization without Reference Model
- https://github.com/xfactlab/orpo
- https://arxiv.org/pdf/2307.12966.pdf