wehub/llava-vl--llava-next

Fork 0

Files

T

wehub-resource-sync b001966d6b docs: make Chinese README the default

2026-07-13 10:19:33 +00:00

23 KiB

Executable File

Raw Permalink Blame History

Note

本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
English · 原始项目 · 上游 README
原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。

LLaVA-NeXT：开放大型多模态模型

发布说明

📢 公告： 本仓库中的训练流程现已被视为遗留（legacy）。如需支持 LLaVA-OneVision 与 LLaVA-OneVision-2 的最新训练流程，请参阅 lmms-engine.

[2025/08/29] 🔥 LLaVA-Critic-R1 我们发布 LLaVA-Critic-R1，这是一族通过 GRPO 使用成对 critic 数据训练的生成式 critic 视觉语言模型（VLM）。LLaVA-Critic-R1 不仅展现出强大的 critic 能力，还在 7B 规模上实现了最先进的策略性能。更多训练细节请参阅 LLaVA-Critic-R1。

📄 了解更多:
- LLaVA-Critic-GRPO Dataset: 下载数据集。
- LLaVA-Critic-R1-7B: 基于 Qwen-2.5-VL-7B 训练的 LLaVA-Critic-R1。
- LLaVA-Critic-R1-7B-Plus-Qwen: 基于 ThinkLite-VL-7B 训练的 LLaVA-Critic-R1+。
- LLaVA-Critic-R1-7B-Plus-Mimo: 基于 MiMo-VL-7B-RL-2508 训练的 LLaVA-Critic-R1+。
- LLaVA-Critic-R1-7B-Plus-LLaMA32v: 基于 Llama-3.2-11B-Vision-Instruct 训练的 LLaVA-Critic-R1+。
- Paper: 关于 LLaVA-Critic-R1 的详细信息。
[2024/10/04] 🔥 LLaVA-Video（原 LLaVA-NeXT-Video）已完成重大升级！我们很高兴发布 LLaVA-Video-178K，这是一个用于视频指令微调的高质量合成数据集。该数据集包括：
- 178,510 条 caption 条目
- 960,792 对开放式问答（Q&A）
- 196,198 道多项选择题
与此同时，我们还发布了 LLaVA-Video 7B/72B 模型，在包括 Video-MME, LongVideoBench, 和 Dream-1K. 在内的最新视频基准测试中展现出具有竞争力的性能。

📄 了解更多:
- LLaVA-Video-178K Dataset: 下载数据集。
- LLaVA-Video Models: 获取模型检查点。
- Paper: 关于 LLaVA-Video 的详细信息。
- LLaVA-Video Documentation: 训练、推理与评估指南。
[2024/09/13] 🔥 🚀 LLaVA-OneVision-Chat。全新的 LLaVA-OV-Chat（7B/72B）显著改善了 LLaVA-OV 的对话体验。📄
[2024/08/06] 🔥 🚀 LLaVA-OneVision (OV)! 全新的 LLaVA-OV 模型（0.5B/7B/72B）在单图、多图和视频基准测试中创下新的最先进性能，在 47 个多样化基准上有时可与顶级商业模型相媲美。📄 了解更多：
- [Paper]: 深入见解与新涌现场景，例如通过从图像任务迁移实现强大的视频理解。
- [LLaVA-OV Doc]: 模型推理与评估指南。
- [Scripts]: 在你的单图/多图/视频数据上开始训练模型。
[2024/07/16] 🔥 LLaVA-NeXT-Video 已升级。新的 32B 模型在包括 Video-MME. 在内的多个视频基准测试中实现了最佳开源性能。详情请参阅 this page，演示请参阅 llava_next-video_demo。
[2024/06/23] 🔥 LLaVA-NeXT-Interleave 已发布。我们利用图文交错（image-text interleaved）格式，在单一 LLM 中统一多图、视频与 3D 任务，并在广泛基准测试中实现 SoTA 性能。请查看 paper, blog, 和 checkpoints 以了解新能力与性能提升！我们已发布 0.5b、7b 和 7b-dpo 模型。
- 面向多图、视频与 3D 的全能 LLM，性能强劲 [demo]
- 构建交错训练数据 M4-Instruct
- 构建多图基准 LLaVA-Interleave Bench
[2024/05/25] 🔥 好奇「What Else Influences Visual Instruction Tuning Beyond Data?」？我们的新 blog 总结了除指令数据本身之外，通过消融实验探索改进 LMM 各项设计选择的实证研究。同时，我们开源了使用 LLaVA-NeXT-34B 重新标注的高质量数据：[COCO] [LCS] [CC3M].
- 架构（LMM 与 Vision Encoder）
- 视觉表示（分辨率与 Token 数量）
- 训练策略（高质量数据与可训练模块）
[2024/05/10] 🔥 LLaVA-NeXT（Stronger）模型已发布，支持更强的 LMM，包括 LLama-3（8B）和 Qwen-1.5（72B/110B）。请查看 [blog] 和 [checkpoints] 了解性能提升！
[2024/05/10] 🔥 LLaVA-NeXT（Video）已发布。仅基于图像训练的 LLaVA-NeXT 模型在视频任务上出人意料地强劲，可实现零样本模态迁移。在视频上使用 AI 反馈进行 DPO 训练可带来显著提升。[Blog], [checkpoints] 和 [sglang]
[2024/01/30] 🔥 LLaVA-NeXT 正式发布！在 LLaVA-1.5 基础上进一步扩展规模后，LLaVA-NeXT-34B 在部分基准测试中超越了 Gemini Pro。它现在可处理 4 倍像素，并能完成比以往更多的任务/应用。请查看 blog post, 并体验 demo! 模型可在 Model Zoo. 获取。训练/评估数据与脚本即将发布。

[2024/03/10] 🔥 发布 LMMs-Eval，这是我们在开发 LLaVA-NeXT 时使用的高效评测流水线。它支持在数十个公开数据集上评测 LMMs，并允许接入新数据集，从而大幅加快新 LMM 的开发。[Blog] [Codebase]
[2023/11/10] 发布 LLaVA-Plus：学习使用工具以创建多模态智能体（Learning to Use Tools for Creating Multimodal Agents），即 LLaVA-Plus（可插拔并学习使用技能的 LLaVA，LLaVA that Plug and Learn to Use Skills）。[Project Page] [Demo] [Code] [Paper]
[2023/11/02] 发布 LLaVA-Interactive：通过一体化演示体验人机多模态交互的未来，涵盖图像对话、分割、生成与编辑（Image Chat, Segmentation, Generation and Editing）。[Project Page] [Demo] [Code] [Paper]
[2023/10/26] 🔥 采用 LoRA 的 LLaVA-1.5 可达到与全模型微调相当的性能，同时降低 GPU 显存需求（ckpts, script).）。我们还提供了关于如何使用 LoRA 在你自己的数据集上微调 LLaVA-1.5 的文档。
[2023/10/12] 请查看由 ETRI 创建、并慷慨支持我们研究的韩语版 LLaVA（Ko-LLaVA）！[🤗 Demo]
[2023/10/05] 🔥 LLaVA-1.5 发布！在原始 LLaVA 基础上仅做简单修改，即在 11 个基准上达到 SoTA（state-of-the-art），使用全部公开数据，在单台 8-A100 节点上约 1 天完成训练，并超越使用十亿级数据的方法（如 Qwen-VL-Chat）。请查看技术报告,并体验演示!。模型可在Model Zoo.获取。LLaVA-1.5 的训练数据与脚本发布在此处,，评测脚本发布在此处!。
[2023/09/26] LLaVA 通过基于人类反馈的强化学习（RLHF）得到改进，以提升事实 grounding 并减少幻觉。请在项目 [LLavA-RLHF] 查看新的 SFT 与 RLHF 检查点。
[2023/09/22] LLaVA 被 NeurIPS 2023 接收为 oral presentation（口头报告），LLaVA-Med 被 NeurIPS 2023 Datasets and Benchmarks Track 接收为 spotlight presentation（亮点报告）。
[2023/11/06] 支持 Intel 独立 GPU 与 CPU 平台。更多详情见此。
[2023/10/12] LLaVA 现已在 llama.cpp 中得到支持，并提供 4-bit / 5-bit 量化支持！
[2023/10/11] LLaVA-1.5 的训练数据与脚本发布在此处,，评测脚本发布在此处!。
[2023/10/10] Roboflow Deep Dive:：LLaVA-1.5 初体验。
[2023/09/20] 我们在一篇笔记.中总结了对 33B 与 65B LLaVA 模型训练的实证研究。此外，若你对多模态基础模型的全面综述、演进与趋势感兴趣，请阅读我们近期的综述论文 ``Multimodal Foundation Models: From Specialists to General-Purpose Assistants''.

[2023/07/19] 🔥 我们发布重大升级，包括对 LLaMA-2、LoRA 训练、4-/8-bit 推理、更高分辨率（336x336）等的支持。我们发布 LLaVA Bench 用于对开放式视觉对话进行基准测试，并包含 Bard 与 Bing-Chat 的结果。我们还支持并验证了在 RTX 3090 与 RTX A6000 上的训练。请查看 LLaVA-from-LLaMA-2, 以及我们的 model zoo!
[2023/06/26] CVPR 2023 Tutorial：Large Multimodal Models: Towards Building and Surpassing Multimodal GPT-4（大型多模态模型：构建并超越多模态 GPT-4）！请查看 [Slides] [Notes] [YouTube] [Bilibli].
[2023/06/11] 我们发布了最受期待功能的预览版：DeepSpeed 与 LoRA 支持！请参阅此处的文档。
[2023/06/01] 我们发布 LLaVA-Med：生物医学领域的大型语言与视觉助手（Large Language and Vision Assistant for Biomedicine），朝着构建具备 GPT-4 级能力的生物医学领域大型语言与视觉模型迈进。请查看论文与页面.。
[2023/05/06] 我们发布基于 MPT-7B-Chat 的 LLaVA-Lighting-MPT-7B-preview,！更多详情见此处。
[2023/05/02] 🔥 我们发布 LLaVA-Lighting！仅用 40 美元、3 小时即可训练轻量级多模态 GPT-4！更多详情见此处。
[2023/04/27] 得益于社区努力，4-bit 量化的 LLaVA-13B 允许你在显存低至 12GB 的 GPU 上运行！可在此处.试用。
[2023/04/17] 🔥 我们发布 LLaVA：大型语言与视觉助手（Large Language and Vision Assistant）。我们提出视觉指令微调（visual instruction tuning），致力于构建具备 GPT-4 级能力的大型语言与视觉模型。请查看论文与演示.。

Usage and License Notices：本项目使用了一些受各自原始许可证约束的数据集与检查点。用户必须遵守这些原始许可证的全部条款与条件，包括但不限于数据集的 OpenAI Terms of Use，以及使用该项目数据集训练的检查点所对应的基础语言模型的特定许可证（例如：LLaMA-2 与 Vicuna-v1.5 的 Llama-1/2 community license，Tongyi Qianwen RESEARCH LICENSE AGREEMENT 与 Llama-3 Research License).）。本项目不会在这些原始许可证之外施加任何额外限制。此外，提醒用户确保其对数据集与检查点的使用符合所有适用的法律法规。

Models & Scripts

Installation

1. 克隆本仓库并进入 LLaVA 文件夹：

git clone https://github.com/LLaVA-VL/LLaVA-NeXT
cd LLaVA-NeXT

2. 安装推理包：

conda create -n llava python=3.10 -y
conda activate llava
pip install --upgrade pip  # Enable PEP 660 support.
pip install -e ".[train]"

项目导航

请访问以下页面，了解更多推理与评估详情。

- LLaVA-OneVision：轻松实现任务迁移（Easy Task Transfer）

LLaVA-OneVision:：用于 demo 推理。评估代码见 lmms-eval.

- LLaVA-NeXT：更强的 LLM 在真实场景中增强多模态能力

LLaVA-NeXT-Image：用于图像 demo 推理，以及使用 lmms-eval. 对更强的 LMM 进行评估。

- LLaVA-NeXT：强大的零样本（Zero-shot）视频理解模型

LLaVA-NeXT-Video：用于视频推理与评估脚本。我们建议使用 LMMs-video 进行评估。

- LLaVA-NeXT：在大型多模态模型中处理多图、视频与 3D

LLaVA-NeXT-Interleave：用于多图 demo 与评估脚本。

使用 SGLang 加速推理与部署

我们使用 SGLang 来加速 LLaVA-NeXT 的推理与部署。你可以通过 SGLang 将 LLaVA-NeXT 作为后端 API 服务运行。

准备环境：请按照 sglang 中的说明进行操作。

LLaVA-NeXT/OneVision

请在 sglang/examples/runtime/llava_onevision 查看 HTTP Post/Get 与 SRT 的用法。

LLaVA-NeXT (Video)

在 (K) 个节点上启动并运行：

进入 sglang 项目
```
cd PATH_TO/sglang
```

第一个节点：

bash examples/usage/llava_video/srt_example_llava_v.sh K 0 YOUR_VIDEO_PATH YOUR_MODEL_PATH FRAMES_PER_VIDEO
(e.g. bash examples/usage/llava_video/srt_example_llava_v.sh K 0 examples/usage/llava_video/videos/Q98Z4OTh8RwmDonc.mp4 lmms-lab/LLaVA-NeXT-Video-7B-DPO 16)

第二个节点：

bash examples/usage/llava_video/srt_example_llava_v.sh K 1 YOUR_VIDEO_PATH YOUR_MODEL_PATH FRAMES_PER_VIDEO

第 K 个节点：

bash examples/usage/llava_video/srt_example_llava_v.sh K K-1 YOUR_VIDEO_PATH YOUR_MODEL_PATH FRAMES_PER_VIDEO

引用

若本工作对你的研究和应用有所帮助，请使用以下 BibTeX 引用相关论文/博客：

@article{li2024llava,
  title={LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models},
  author={Li, Feng and Zhang, Renrui and Zhang, Hao and Zhang, Yuanhan and Li, Bo and Li, Wei and Ma, Zejun and Li, Chunyuan},
  journal={arXiv preprint arXiv:2407.07895},
  year={2024}
}

@misc{li2024llavanext-ablations,
	title={LLaVA-NeXT: What Else Influences Visual Instruction Tuning Beyond Data?},
	url={https://llava-vl.github.io/blog/2024-05-25-llava-next-ablations/},
	author={Li, Bo and Zhang, Hao and Zhang, Kaichen and Guo, Dong and Zhang, Yuanhan and Zhang, Renrui and Li, Feng and Liu, Ziwei and Li, Chunyuan},
	month={May},
	year={2024}
}

@misc{li2024llavanext-strong,
    title={LLaVA-NeXT: Stronger LLMs Supercharge Multimodal Capabilities in the Wild},
    url={https://llava-vl.github.io/blog/2024-05-10-llava-next-stronger-llms/},
    author={Li, Bo and Zhang, Kaichen and Zhang, Hao and Guo, Dong and Zhang, Renrui and Li, Feng and Zhang, Yuanhan and Liu, Ziwei and Li, Chunyuan},
    month={May},
    year={2024}
}

@misc{zhang2024llavanext-video,
  title={LLaVA-NeXT: A Strong Zero-shot Video Understanding Model},
  url={https://llava-vl.github.io/blog/2024-04-30-llava-next-video/},
  author={Zhang, Yuanhan and Li, Bo and Liu, haotian and Lee, Yong jae and Gui, Liangke and Fu, Di and Feng, Jiashi and Liu, Ziwei and Li, Chunyuan},
  month={April},
  year={2024}
}

@misc{liu2024llavanext,
    title={LLaVA-NeXT: Improved reasoning, OCR, and world knowledge},
    url={https://llava-vl.github.io/blog/2024-01-30-llava-next/},
    author={Liu, Haotian and Li, Chunyuan and Li, Yuheng and Li, Bo and Zhang, Yuanhan and Shen, Sheng and Lee, Yong Jae},
    month={January},
    year={2024}
}

@misc{liu2023improvedllava,
      title={Improved Baselines with Visual Instruction Tuning}, 
      author={Liu, Haotian and Li, Chunyuan and Li, Yuheng and Lee, Yong Jae},
      publisher={arXiv:2310.03744},
      year={2023},
}

@misc{liu2023llava,
      title={Visual Instruction Tuning}, 
      author={Liu, Haotian and Li, Chunyuan and Wu, Qingyang and Lee, Yong Jae},
      publisher={NeurIPS},
      year={2023},
}

致谢

Vicuna:：我们基于此构建代码库，并以具备出色语言能力的 Vicuna-13B 作为基础模型！
LLaVA-NeXT 项目目前由团队与贡献者共同维护（按名字首字母排序）：Bo Li, Dong Guo, Feng Li, Hao Zhang, Kaichen Zhang, Renrui Zhang, Yuanhan Zhang,，由 Chunyuan Li 带领，并得到 Haotian Liu. 的指导与帮助。
lmms-eval 框架及其核心贡献者，包括 Peiyuan Zhang、Fanyi Pu、Joshua Adrian Cahyono 和 Kairui Hu，感谢他们在评估方面的支持。

23 KiB Executable File Raw Permalink Blame History Unescape Escape