nomic-ai--gpt4all/README.md

Note

本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
English · 原始项目 · 上游 README
原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。

GPT4All

现已支持 DeepSeek R1 Distillations

网站 • 文档 • Discord • YouTube 教程

GPT4All 可在日常使用的台式机和笔记本电脑上私密运行大语言模型（LLM）。

无需 API 调用或 GPU——你只需下载应用并开始使用。

在我们的博客中了解最新动态。

订阅新闻通讯

https://github.com/nomic-ai/gpt4all/assets/70534565/513a0f15-4964-4109-89e4-4f9a9011f311

GPT4All 由我们的算力合作伙伴 Paperspace 提供支持。

下载链接

— Windows 安装程序 —

— Windows ARM 安装程序 —

— macOS 安装程序 —

— Ubuntu 安装程序 —

Windows 和 Linux 版本需要 Intel Core i3 2nd Gen / AMD Bulldozer 或更高性能的处理器。

Windows ARM 版本支持 Qualcomm Snapdragon 以及 Microsoft SQ1/SQ2 处理器。

Linux 版本仅支持 x86-64（不支持 ARM）。

macOS 版本需要 Monterey 12.6 或更高版本。在 Apple Silicon M 系列处理器上效果最佳。

更多详情请参阅完整的系统要求。

Flathub（社区维护）

安装 GPT4All Python

gpt4all 让你可以通过我们的 Python 客户端，基于 llama.cpp 实现来访问 LLM。

Nomic 为 llama.cpp 等开源软件做出贡献，让 LLM 对所有人都更易获取、更高效。

pip install gpt4all

from gpt4all import GPT4All
model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf") # downloads / loads a 4.66GB LLM
with model.chat_session():
    print(model.generate("How can I run LLMs efficiently on my laptop?", max_tokens=1024))

集成

:parrot:🔗 Langchain 🗃️ Weaviate Vector Database - module docs 🔭 OpenLIT (OTel-native Monitoring) - Docs

发布历史

• 2024 年 7 月 2 日：V3.0.0 发布
  • 聊天应用 UI 全新改版
  • 改进 LocalDocs 的用户工作流
  • 扩展对更多模型架构的访问
• 2023 年 10 月 19 日：GGUF 支持上线，包含：
  • Mistral 7b 基础模型、我们网站上的更新模型库，以及多款新的本地代码模型，包括 Rift Coder v1.5
  • Nomic Vulkan 对 GGUF 中 Q4_0 和 Q4_1 量化的支持。
  • 支持离线构建，以运行旧版 GPT4All Local LLM Chat Client。
• 2023 年 9 月 18 日：Nomic Vulkan 上线，支持在 NVIDIA 和 AMD GPU 上进行本地 LLM 推理。
• 2023 年 7 月：稳定支持 LocalDocs——该功能可让你私密、本地地与你的数据对话。
• 2023 年 6 月 28 日：Docker-based API server 上线，允许通过兼容 OpenAI 的 HTTP 端点进行本地 LLM 推理。

贡献

GPT4All 欢迎开源社区的贡献、参与和讨论！ 请查看 CONTRIBUTING.md，并遵循 issues、bug 报告和 PR 的 Markdown 模板。

请通过项目 Discord、与项目维护者沟通，或查阅现有 issues/PR，以避免重复工作。 请确保为上述所有内容打上相关项目标识，否则你的贡献可能会丢失。 示例标签：backend、bindings、python-bindings、documentation 等。

引用

如果你在下游项目中使用了本仓库、模型或数据，请考虑按以下方式引用：

@misc{gpt4all,
  author = {Yuvanesh Anand and Zach Nussbaum and Brandon Duderstadt and Benjamin Schmidt and Andriy Mulyar},
  title = {GPT4All: Training an Assistant-style Chatbot with Large Scale Data Distillation from GPT-3.5-Turbo},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/nomic-ai/gpt4all}},
}