labmlai--annotated_deep_learning_paper_implementations/README.md

Note

本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
English · 原始项目 · 上游 README
原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。

labml.ai Deep Learning Paper Implementations

这是一组简洁的 PyTorch 神经网络及相关算法实现。 这些实现配有解释性文档，

网站 将这些内容渲染为并排排版的笔记。 我们相信这些内容能帮助你更好地理解这些算法。

我们正在积极维护本仓库，几乎每周都会添加新的 实现。 获取更新。

论文实现

✨ Transformers

• JAX 实现
• 多头注意力（Multi-headed attention）
• Triton Flash Attention
• Transformer 构建模块
• Transformer XL
  • 相对多头注意力（Relative multi-headed attention）
• Rotary Positional Embeddings
• Attention with Linear Biases (ALiBi)
• RETRO
• Compressive Transformer
• GPT Architecture
• GLU Variants
• kNN-LM: Generalization through Memorization
• Feedback Transformer
• Switch Transformer
• Fast Weights Transformer
• FNet
• Attention Free Transformer
• Masked Language Model
• MLP-Mixer: An all-MLP Architecture for Vision
• Pay Attention to MLPs (gMLP)
• Vision Transformer (ViT)
• Primer EZ
• Hourglass

✨ Low-Rank Adaptation (LoRA)

✨ Eleuther GPT-NeoX

• 在 48GB GPU 上生成
• 在两块 48GB GPU 上微调
• LLM.int8()

✨ 扩散模型（Diffusion models）

• Denoising Diffusion Probabilistic Models (DDPM)
• Denoising Diffusion Implicit Models (DDIM)
• Latent Diffusion Models
• Stable Diffusion

✨ 生成对抗网络（Generative Adversarial Networks）

• 原始 GAN
• 基于深度卷积网络的 GAN
• Cycle GAN
• Wasserstein GAN
• Wasserstein GAN with Gradient Penalty
• StyleGAN 2

✨ 循环高速公路网络（Recurrent Highway Networks）

✨ LSTM

✨ HyperNetworks - HyperLSTM

✨ ResNet

✨ ConvMixer

✨ 胶囊网络（Capsule Networks）

✨ U-Net

✨ Sketch RNN

✨ 图神经网络（Graph Neural Networks）

• 图注意力网络（Graph Attention Networks，GAT）
• 图注意力网络 v2（Graph Attention Networks v2，GATv2）

✨ 反事实遗憾最小化（Counterfactual Regret Minimization，CFR）

使用 CFR 求解具有不完全信息的博弈，例如扑克。

• Kuhn 扑克（Kuhn Poker）

✨ 强化学习（Reinforcement Learning）

• 近端策略优化（Proximal Policy Optimization） 与 广义优势估计（Generalized Advantage Estimation）
• 深度 Q 网络（Deep Q Networks） 结合 对决网络（Dueling Network）, 优先经验回放（Prioritized Replay） 以及 Double Q Network。

✨ 优化器（Optimizers）

• Adam
• AMSGrad
• 带 warmup 的 Adam 优化器（Adam Optimizer with warmup）
• Noam 优化器（Noam Optimizer）
• 校正 Adam 优化器（Rectified Adam Optimizer）
• AdaBelief 优化器（AdaBelief Optimizer）
• Sophia-G 优化器（Sophia-G Optimizer）

✨ 归一化层（Normalization Layers）

• 批归一化（Batch Normalization）
• 层归一化（Layer Normalization）
• 实例归一化（Instance Normalization）
• 组归一化（Group Normalization）
• 权重标准化（Weight Standardization）
• 批通道归一化（Batch-Channel Normalization）
• DeepNorm

✨ 蒸馏（Distillation）

✨ 自适应计算（Adaptive Computation）

• PonderNet

✨ 不确定性（Uncertainty）

• 用于量化分类不确定性的证据深度学习（Evidential Deep Learning to Quantify Classification Uncertainty）

✨ 激活函数（Activations）

• 模糊分块激活（Fuzzy Tiling Activations）

✨ 语言模型采样技术（Langauge Model Sampling Techniques）

• 贪心采样（Greedy Sampling）
• 温度采样（Temperature Sampling）
• Top-k 采样（Top-k Sampling）
• 核采样（Nucleus Sampling）

✨ 可扩展训练/推理（Scalable Training/Inference）

• Zero3 内存优化（Zero3 memory optimizations）

安装

pip install labml-nn