mudler--localai/README.md at main

wehub/mudler--localai

Fork 0

Files

T

wehub-resource-sync 7512cad2c0

Security Scan / tests (push) Waiting to run

Details

docs: make Chinese README the default

2026-07-13 10:19:06 +00:00

22 KiB

Raw Permalink Blame History

Note

本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
English · 原始项目 · 上游 README
原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。

LocalAI 是开源 AI 引擎。可在任意硬件上运行任意模型——大语言模型（LLM）、视觉、语音、图像、视频。无需 GPU。

小巧核心，而非捆绑包。 每个后端将一流引擎（llama.cpp、vLLM、whisper.cpp、stable-diffusion、MLX……）封装在各自的镜像中，仅在模型需要时才拉取。你只安装会用到的组件。

按设计可组合：后端相互独立并按需拉取，因此你只安装模型所需的部分
开放且可扩展：加载任意模型，或使用开放接口用任意语言构建自己的后端
即插即用 API 兼容：各后端均兼容 OpenAI、Anthropic 和 ElevenLabs API
任意模型、任意模态：LLM、视觉、语音、图像和视频，统一 API
任意硬件：NVIDIA、AMD、Intel、Apple Silicon、Vulkan，或纯 CPU
多用户就绪：API 密钥认证、用户配额、基于角色的访问控制
内置 AI 智能体：具备工具调用、RAG、MCP 和技能的自主智能体
隐私优先：你的数据永不离开你的基础设施

由 Ettore Di Giacinto 创建，并由 LocalAI 团队维护。

📖 文档 | 💬 Discord | 💻 快速入门 | 🖼️ 模型 | ❓常见问题

导览

https://github.com/user-attachments/assets/08cbb692-57da-48f7-963d-2e7b43883c18

点击查看更多！

快速入门

macOS

注意： DMG 未经 Apple 签名。安装后请运行：sudo xattr -d com.apple.quarantine /Applications/LocalAI.app。详见 #6268。

容器（Docker、podman……）

之前运行过 LocalAI？使用 docker start -i local-ai 重启现有容器。

仅 CPU：

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest

NVIDIA GPU：

# CUDA 13
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-13

# CUDA 12
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12

# NVIDIA Jetson ARM64 (CUDA 12, for AGX Orin and similar)
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-nvidia-l4t-arm64

# NVIDIA Jetson ARM64 (CUDA 13, for DGX Spark)
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-nvidia-l4t-arm64-cuda-13

AMD GPU (ROCm)：

docker run -ti --name local-ai -p 8080:8080 --device=/dev/kfd --device=/dev/dri --group-add=video localai/localai:latest-gpu-hipblas

Intel GPU (oneAPI)：

docker run -ti --name local-ai -p 8080:8080 --device=/dev/dri/card1 --device=/dev/dri/renderD128 localai/localai:latest-gpu-intel

Vulkan GPU：

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-gpu-vulkan

加载模型

# From the model gallery (see available models with `local-ai models list` or at https://models.localai.io)
local-ai run llama-3.2-1b-instruct:q4_k_m
# From Huggingface
local-ai run huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf
# From the Ollama OCI registry
local-ai run ollama://gemma:2b
# From a YAML config
local-ai run https://gist.githubusercontent.com/.../phi-2.yaml
# From a standard OCI registry (e.g., Docker Hub)
local-ai run oci://localai/phi-2:latest

要从终端测试正在运行的 LocalAI 服务器，可在另一个 shell 中打开交互式聊天会话。在提示符内，/models 列出已安装模型，/model <name> 可在模型间切换。

# Terminal 1
local-ai run llama-3.2-1b-instruct:q4_k_m

# Terminal 2
local-ai chat --model llama-3.2-1b-instruct:q4_k_m

自动后端检测：LocalAI 会自动检测你的 GPU 能力并下载相应后端。高级选项请参阅 GPU 加速.

更多详情请参阅入门指南.

功能特性

文本生成（llama.cpp、transformers、vllm ... 更多)
文本转音频
音频转文本
图像生成
兼容 OpenAI 的工具 API
Realtime API（语音到语音，Speech-to-speech）
嵌入向量生成
约束语法
从 Huggingface 下载模型
Vision API
目标检测
Reranker API
P2P 推理
分布式模式 — 基于 PostgreSQL + NATS 的水平扩展
Model Context Protocol (MCP)
内置智能体 — 具备工具调用、RAG、技能、SSE 流式传输的自主 AI 智能体，以及 Agent Hub
Backend Gallery — 通过 OCI 镜像即时安装/移除后端
语音活动检测（Silero-VAD）
集成 WebUI

支持的后端与加速

LocalAI 支持 60+ 种后端，包括 llama.cpp、vLLM、SGLang、transformers、whisper.cpp、diffusers、MLX、MLX-VLM 等。硬件加速支持 NVIDIA（CUDA 12/13）、AMD（ROCm）、Intel（oneAPI/SYCL）、Apple Silicon（Metal）、Vulkan 以及 NVIDIA Jetson（L4T）。所有后端均可通过 Backend Gallery. 即时安装。

查看完整的后端与模型兼容性表以及 GPU 加速指南.

我们自研的后端

大多数后端封装了同类上游引擎中的最佳实现。其中少数是由 LocalAI 项目自行开发并维护的原生 C/C++/GGML 引擎（推理时不依赖 Python）：

后端	功能说明
parakeet.cpp	NVIDIA NeMo Parakeet ASR（tdt/ctc/rnnt/hybrid）的 C++/GGML 移植版，支持缓存感知的流式转录
moss-transcribe.cpp	OpenMOSS MOSS-Transcribe-Diarize 的 C++/GGML 移植版：单次遍历即可完成长文本转录、说话人分离与时间戳标注
ced.cpp	CED 音频标注模型的 C++/GGML 移植版：通过 REST 与 realtime API 对声音事件进行分类（527 类 AudioSet），支持实时识别
voice-detect.cpp	说话人识别与语音分析（ECAPA-TDNN、WeSpeaker、ERes2Net、CAM++、wav2vec2 年龄/性别/情绪），替代 Python 说话人识别后端
voxtral-tts.c	纯 C 实现的 Voxtral Realtime 4B 语音转文本
vibevoice.cpp	Microsoft VibeVoice 的原生移植：支持 TTS（语音克隆）及带说话人分离的长文本 ASR
rf-detr.cpp	原生 RF-DETR 目标检测与实例分割
locate-anything.cpp	开放词汇目标检测与视觉定位（LocateAnything-3B）
depth-anything.cpp	Depth Anything 3 单目度量深度与相机位姿估计
face-detect.cpp	人脸检测、识别、人口统计属性分析与防伪（SCRFD/ArcFace、YuNet/SFace），替代 Python insightface 后端
free-splatter.cpp	无位姿 3D 重建（FreeSplatter）：将少量普通照片转换为 3D Gaussians，无需相机位姿或 GPU
privacy-filter.cpp	独立的 GGML PII/NER 词元分类引擎，为 LocalAI 的 PII 脱敏层提供支持
LocalVQE	联合声学回声消除、噪声抑制与去混响
local-store	本地优先的嵌入向量数据库（随源码一同发布）

我们还维护 apex-quant,：一种面向混合专家（Mixture-of-Experts）模型的逐张量、逐层量化方案，利用其结构稀疏性生成质量媲美甚至超越 Q8_0 的 GGUF 文件，且可在原版 llama.cpp 上开箱即用。

资源

文档
LLM 微调指南
从源码构建
Kubernetes 安装
集成与社区项目
安装视频教程
媒体与博客文章
示例 — 包括实时语音助手演示（带工具调用的 Realtime API Go 客户端）

团队

LocalAI 由一支小型核心团队与广大贡献者社区共同维护。

Ettore Di Giacinto — 原作者兼项目负责人
Richard Palethorpe — 维护者

衷心感谢每一位贡献代码、审查 PR、提交 issue 以及在 Discord 中帮助用户的成员——LocalAI 是一个社区驱动的项目，离不开你们的支持。查看完整的贡献者名单.

引用

如果你在下游项目中使用了本仓库或其数据，请考虑引用：

@misc{localai,
  author = {Ettore Di Giacinto},
  title = {LocalAI: The free, Open source OpenAI alternative},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/go-skynet/LocalAI}},

赞助商

觉得 LocalAI 有用吗？

成为支持者或赞助商. 来支持本项目。你的 Logo 将显示在此处，并附带指向你网站的链接。

衷心感谢慷慨赞助本项目的赞助商，你们的支持覆盖了 CI 开支；参见我们的赞助商名单:

往期赞助商

个人赞助商

特别感谢个人赞助商，完整名单见 GitHub 与 buymeacoffee. 特别鸣谢慷慨支持的 drikster80。感谢大家！

Star 历史

许可证

LocalAI 是由 Ettore Di Giacinto 创建、并由 LocalAI 团队维护的社区驱动项目。

MIT - 作者 Ettore Di Giacinto mudler@localai.io

致谢

LocalAI 的构建离不开社区中已有优秀软件的帮助。谢谢大家！

llama.cpp
https://github.com/tatsu-lab/stanford_alpaca
https://github.com/cornelk/llama-go 为最初的创意
https://github.com/antimatter15/alpaca.cpp
https://github.com/EdVince/Stable-Diffusion-NCNN
https://github.com/ggerganov/whisper.cpp
https://github.com/rhasspy/piper
exo 用于 MLX 分布式自动并行分片（auto-parallel sharding）实现

贡献者

这是一个社区项目，特别感谢我们的贡献者！

22 KiB Raw Permalink Blame History Unescape Escape

导览

用户与认证

智能体

每用户使用指标

微调与量化

WebRTC