wehub-resource-sync
3.5 KiB
Note
本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
English · 原始项目 · 上游 README
原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。
DNAGPT2- 基因序列大语言模型最佳入门指南
1. 概述
大语言模型早已超越自然语言处理（NLP）研究领域，成为人工智能在科学领域的基石。在生物信息学中，基因序列与自然语言最为相似，因此将大模型应用于生物序列研究是近年来热门的研究方向。2024 年诺贝尔化学奖授予 AlphaFold 以表彰其在蛋白质结构预测方面的贡献，进一步照亮了生物学研究的未来道路。
然而，对大多数生物学家而言，大模型仍是陌生的领域。直到 2023 年，像 GPT 这样的模型还是 NLP 研究中的小众话题，只因 ChatGPT 的出现才获得公众关注。
大多数生物学与大模型的研究都出现在 2023 年之后，但显著的跨学科鸿沟意味着这些研究通常由大公司和团队协同完成。对许多研究者来说，复现或学习这些工作颇具挑战，GitHub 上顶级论文的 issues 版块就是明证。
一方面，大模型几乎必将塑造生物学研究的未来；另一方面，许多研究者在大模型门槛前踌躇不前。因此，架起跨越这一鸿沟的桥梁是迫切之需。
DNAGTP2 正是这座桥梁，旨在帮助更多生物学家跨越大模型门槛，并利用这些强大工具推进工作。
2. 教程特点
本教程的特点包括：
- 简洁：完全使用 Hugging Face 标准库构建的简单代码。
- 简洁：基础理论讲解配以完整可视化辅助。
- 简洁：易于理解的经典论文案例。
尽管简洁，教程内容却十分全面，从构建分词器到从头搭建 GPT、BERT 模型，微调 LLaMA 模型，基础的 DeepSpeed 多 GPU 分布式训练，以及应用 LucaOne、ESM3 等前沿（SOTA）模型。它结合序列分类、结构预测、回归分析等典型生物学任务，循序渐进展开。
目标受众：
- 生物学领域的研究者与学生，尤其是生物信息学方向。
- 大模型学习初学者，适用范围不限于生物学。
3. 教程大纲
1 数据与环境
1.1 大模型运行环境介绍
1.2 与基因相关的预训练与微调数据
1.3 Datasets 库基础用法
2 从头构建 DNA GPT2/BERT 大模型
2.1 构建 DNA 分词器
2.2 从头训练 DNA GPT2 模型
2.3 从头训练 DNA BERT 模型
2.4 使用基因大模型进行生物序列特征提取
2.5 基于多模态数据构建大模型
3 使用基因大模型完成生物序列任务
3.1 序列分类任务
3.2 结构预测任务
3.3 多序列交互分析
3.4 功能预测任务
3.5 回归任务
4 步入 ChatGPT 时代：基因指令构建与微调
4.1 基于基因数据扩展 LLaMA 词表
4.2 DeepSpeed 分布式训练介绍
4.3 基于基因数据对 LLaMA 模型进行持续预训练
4.4 使用 LLaMA-gene 大模型完成分类任务
4.5 基于 LLaMA-gene 大模型的指令微调
5 生物学前沿大模型应用概览
5.1 DNABERT2 的应用
5.2 LucaOne 的使用
5.3 ESM3 的使用
5.4 MedGPT 的应用
5.5 LLaMA-gene 的应用
完整数据与视频
huggingface： https://huggingface.co/dnagpt/dnagpt2