wehub-resource-sync
74 lines
3.5 KiB
Markdown
74 lines
3.5 KiB
Markdown
<!-- WEHUB_ZH_README -->
|
||
> [!NOTE]
|
||
> 本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
|
||
> [English](./README.en.md) · [原始项目](https://github.com/maris205/dnagpt2) · [上游 README](https://github.com/maris205/dnagpt2/blob/HEAD/README.md)
|
||
> 原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。
|
||
|
||
DNAGPT2- 基因序列大语言模型最佳入门指南
|
||
|
||
### 1. 概述
|
||
大语言模型早已超越自然语言处理（NLP）研究领域，成为人工智能在科学领域的基石。在生物信息学中，基因序列与自然语言最为相似，因此将大模型应用于生物序列研究是近年来热门的研究方向。2024 年诺贝尔化学奖授予 AlphaFold 以表彰其在蛋白质结构预测方面的贡献，进一步照亮了生物学研究的未来道路。
|
||
|
||
然而，对大多数生物学家而言，大模型仍是陌生的领域。直到 2023 年，像 GPT 这样的模型还是 NLP 研究中的小众话题，只因 ChatGPT 的出现才获得公众关注。
|
||
|
||
大多数生物学与大模型的研究都出现在 2023 年之后，但显著的跨学科鸿沟意味着这些研究通常由大公司和团队协同完成。对许多研究者来说，复现或学习这些工作颇具挑战，GitHub 上顶级论文的 issues 版块就是明证。
|
||
|
||
一方面，大模型几乎必将塑造生物学研究的未来；另一方面，许多研究者在大模型门槛前踌躇不前。因此，架起跨越这一鸿沟的桥梁是迫切之需。
|
||
|
||
DNAGTP2 正是这座桥梁，旨在帮助更多生物学家跨越大模型门槛，并利用这些强大工具推进工作。
|
||
|
||
### 2. 教程特点
|
||
本教程的特点包括：
|
||
|
||
1. **简洁**：完全使用 Hugging Face 标准库构建的简单代码。
|
||
2. **简洁**：基础理论讲解配以完整可视化辅助。
|
||
3. **简洁**：易于理解的经典论文案例。
|
||
|
||
尽管简洁，教程内容却十分全面，从构建分词器到从头搭建 GPT、BERT 模型，微调 LLaMA 模型，基础的 DeepSpeed 多 GPU 分布式训练，以及应用 LucaOne、ESM3 等前沿（SOTA）模型。它结合序列分类、结构预测、回归分析等典型生物学任务，循序渐进展开。
|
||
|
||
### 目标受众：
|
||
1. 生物学领域的研究者与学生，尤其是生物信息学方向。
|
||
2. 大模型学习初学者，适用范围不限于生物学。
|
||
|
||
### 3. 教程大纲
|
||
#### 1 数据与环境
|
||
1.1 大模型运行环境介绍
|
||
1.2 与基因相关的预训练与微调数据
|
||
1.3 Datasets 库基础用法
|
||
|
||
#### 2 从头构建 DNA GPT2/BERT 大模型
|
||
2.1 构建 DNA 分词器
|
||
2.2 从头训练 DNA GPT2 模型
|
||
2.3 从头训练 DNA BERT 模型
|
||
2.4 使用基因大模型进行生物序列特征提取
|
||
2.5 基于多模态数据构建大模型
|
||
|
||
#### 3 使用基因大模型完成生物序列任务
|
||
3.1 序列分类任务
|
||
3.2 结构预测任务
|
||
3.3 多序列交互分析
|
||
3.4 功能预测任务
|
||
3.5 回归任务
|
||
|
||
#### 4 步入 ChatGPT 时代：基因指令构建与微调
|
||
4.1 基于基因数据扩展 LLaMA 词表
|
||
4.2 DeepSpeed 分布式训练介绍
|
||
4.3 基于基因数据对 LLaMA 模型进行持续预训练
|
||
4.4 使用 LLaMA-gene 大模型完成分类任务
|
||
4.5 基于 LLaMA-gene 大模型的指令微调
|
||
|
||
#### 5 生物学前沿大模型应用概览
|
||
5.1 DNABERT2 的应用
|
||
5.2 LucaOne 的使用
|
||
5.3 ESM3 的使用
|
||
5.4 MedGPT 的应用
|
||
5.5 LLaMA-gene 的应用
|
||
|
||
|
||
### 完整数据与视频
|
||
huggingface： https://huggingface.co/dnagpt/dnagpt2
|
||
|
||
github：https://github.com/maris205/dnagpt2
|
||
|
||
video：https://www.bilibili.com/video/BV1zEktYXEPK/
|