> [!NOTE] > 本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。 > [English](./README.en.md) · [原始项目](https://github.com/maris205/dnagpt2) · [上游 README](https://github.com/maris205/dnagpt2/blob/HEAD/README.md) > 原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。 DNAGPT2- 基因序列大语言模型最佳入门指南 ### 1. 概述 大语言模型早已超越自然语言处理（NLP）研究领域，成为人工智能在科学领域的基石。在生物信息学中，基因序列与自然语言最为相似，因此将大模型应用于生物序列研究是近年来热门的研究方向。2024 年诺贝尔化学奖授予 AlphaFold 以表彰其在蛋白质结构预测方面的贡献，进一步照亮了生物学研究的未来道路。 然而，对大多数生物学家而言，大模型仍是陌生的领域。直到 2023 年，像 GPT 这样的模型还是 NLP 研究中的小众话题，只因 ChatGPT 的出现才获得公众关注。 大多数生物学与大模型的研究都出现在 2023 年之后，但显著的跨学科鸿沟意味着这些研究通常由大公司和团队协同完成。对许多研究者来说，复现或学习这些工作颇具挑战，GitHub 上顶级论文的 issues 版块就是明证。 一方面，大模型几乎必将塑造生物学研究的未来；另一方面，许多研究者在大模型门槛前踌躇不前。因此，架起跨越这一鸿沟的桥梁是迫切之需。 DNAGTP2 正是这座桥梁，旨在帮助更多生物学家跨越大模型门槛，并利用这些强大工具推进工作。 ### 2. 教程特点 本教程的特点包括： 1. **简洁**：完全使用 Hugging Face 标准库构建的简单代码。 2. **简洁**：基础理论讲解配以完整可视化辅助。 3. **简洁**：易于理解的经典论文案例。 尽管简洁，教程内容却十分全面，从构建分词器到从头搭建 GPT、BERT 模型，微调 LLaMA 模型，基础的 DeepSpeed 多 GPU 分布式训练，以及应用 LucaOne、ESM3 等前沿（SOTA）模型。它结合序列分类、结构预测、回归分析等典型生物学任务，循序渐进展开。 ### 目标受众： 1. 生物学领域的研究者与学生，尤其是生物信息学方向。 2. 大模型学习初学者，适用范围不限于生物学。 ### 3. 教程大纲 #### 1 数据与环境 1.1 大模型运行环境介绍 1.2 与基因相关的预训练与微调数据 1.3 Datasets 库基础用法 #### 2 从头构建 DNA GPT2/BERT 大模型 2.1 构建 DNA 分词器 2.2 从头训练 DNA GPT2 模型 2.3 从头训练 DNA BERT 模型 2.4 使用基因大模型进行生物序列特征提取 2.5 基于多模态数据构建大模型 #### 3 使用基因大模型完成生物序列任务 3.1 序列分类任务 3.2 结构预测任务 3.3 多序列交互分析 3.4 功能预测任务 3.5 回归任务 #### 4 步入 ChatGPT 时代：基因指令构建与微调 4.1 基于基因数据扩展 LLaMA 词表 4.2 DeepSpeed 分布式训练介绍 4.3 基于基因数据对 LLaMA 模型进行持续预训练 4.4 使用 LLaMA-gene 大模型完成分类任务 4.5 基于 LLaMA-gene 大模型的指令微调 #### 5 生物学前沿大模型应用概览 5.1 DNABERT2 的应用 5.2 LucaOne 的使用 5.3 ESM3 的使用 5.4 MedGPT 的应用 5.5 LLaMA-gene 的应用 ### 完整数据与视频 huggingface： https://huggingface.co/dnagpt/dnagpt2 github：https://github.com/maris205/dnagpt2 video：https://www.bilibili.com/video/BV1zEktYXEPK/