wehub/anil-matcha--open-generative-ai

Fork 0

Files

T

wehub-resource-sync 0181c33152 docs: make Chinese README the default

2026-07-13 10:10:38 +00:00

34 KiB

Raw Permalink Blame History

Note

本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
English · 原始项目 · 上游 README
原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。

Open Generative AI — 不受限制的开源 AI 视频平台替代方案

免费、开源的 AI 视频平台替代方案。 使用 200+ 款最先进的模型生成 AI 图像与视频——无内容过滤、无封闭生态、无订阅费用。

社区： 加入 Discord 参与讨论并获得支持

🎨 探索 50+ 更多开源 AI 应用 →

🌐 在线试用 — 无需安装

托管版本： https://muapi.ai/open-generative-ai?utm_source=github&utm_medium=readme&utm_campaign=open-generative-ai

在浏览器中直接使用所有工作室（Image、Video、Audio、AI Clipping、Vibe Motion、Lip Sync、Cinema、Marketing、Workflows、Agents、Design Agent、Apps、MCP 与 CLI）——无需 Node.js，无需配置。注册免费账户即可开始生成。托管版本始终与最新模型保持同步。

关注创作者获取更新

⬇️ 下载桌面应用

一键安装程序 — 无需 Node.js 或终端。

平台	下载
macOS Apple Silicon (M1/M2/M3/M4)	Open Generative AI-1.0.9-arm64.dmg
macOS Intel (x64)	Open Generative AI-1.0.9.dmg
Windows (x64)	Open Generative AI Setup 1.0.9.exe
Linux (Ubuntu x64)	v1.0.9 release (`.AppImage` / `.deb`)，或使用 `npm run electron:build:linux` 在本地构建。

所有版本：github.com/Anil-matcha/Open-Generative-AI/releases

macOS 安装指南

由于应用未经 Apple 公证，macOS Gatekeeper 会在首次启动时阻止运行。请按以下步骤操作：

步骤 1 — 挂载 DMG 并将应用拖入 /Applications

步骤 2 — 打开终端并运行：

xattr -cr "/Applications/Open Generative AI.app"

步骤 3 — 在 /Applications 中右键点击应用 → 点击打开 → 在对话框中再次点击打开

只需操作一次。之后应用即可正常打开。

替代方法（无需终端）：

尝试打开应用 — macOS 会阻止运行
前往 系统设置 → 隐私与安全性
向下滚动找到 "Open Generative AI was blocked"
点击 仍要打开 → 打开

Windows 安装 — 修复 SmartScreen 警告

由于安装程序未经代码签名，Windows SmartScreen 可能会显示警告：

在 SmartScreen 对话框中点击 更多信息
点击 仍要运行

应用将静默安装到 %LocalAppData%，并创建开始菜单快捷方式。

Ubuntu / Linux 安装

使用 Electron Builder 构建时可获得 Linux 安装包：

# Build Linux installers (AppImage + .deb)
npm run electron:build:linux

生成的文件写入 release/ 文件夹：

AppImage — 便携版，赋予可执行权限后直接运行：

chmod +x "release/Open Generative AI-*.AppImage"
./release/Open\ Generative\ AI-*.AppImage

.deb — 在 Debian/Ubuntu 上安装：

sudo apt install ./release/open-generative-ai_*_amd64.deb

若 AppImage 在较旧系统上无法启动，请安装 libfuse2：

sudo apt install libfuse2

Ubuntu 24.04+ / AppArmor 沙箱限制

Ubuntu 24.04 及更高版本启用了内核安全策略（apparmor_restrict_unprivileged_userns），会阻止 Chromium 的用户命名空间沙箱。若应用静默启动失败或立即崩溃，你有两种选择：

方案 A — 推荐：改为安装 .deb。 .deb 软件包附带 AppArmor 配置文件，安装时会自动授予所需权限，无需修改系统全局设置。

方案 B — 临时系统修复（AppImage 用户）：

sudo sysctl -w kernel.apparmor_restrict_unprivileged_userns=0

此设置会持续到下次重启。若要永久生效：

echo 'kernel.apparmor_restrict_unprivileged_userns=0' | sudo tee /etc/sysctl.d/99-userns.conf

Open Generative AI 是一款免费、开源的 AI 图像、视频、电影与唇形同步（lip sync）工作室，让创意工作流人人可用。无内容过滤、无提示词拒绝、无护栏——只有完全的创作自由。由 Muapi.ai,) 驱动，支持文生图（text-to-image）、图生图（image-to-image）、文生视频（text-to-video）、图生视频（image-to-video）以及音频驱动的唇形同步生成，涵盖 Flux、Nano Banana、Midjourney、Kling、Sora、Veo、Seedream、Infinite Talk、LTX Lipsync、Wan 2.2 等模型——全部来自你可自托管、可定制的简洁现代界面。

为什么选择 Open Generative AI，而不是其他 AI 视频平台？

无过滤 — 无内容过滤、无保姆式护栏、无提示词拒绝
免费且开源 — 无订阅、无厂商锁定
自托管 — 数据留在你的机器上，完全掌控创作
200+ 模型 — 文生图、图生图、文生视频、图生视频、唇形同步
多图输入 — 最多可向兼容模型提供 14 张参考图
Lip Sync Studio — 用 9 个专用模型为肖像动画或让嘴唇与任意音频同步
可扩展 — 添加你自己的模型、修改 UI、在其之上构建

若要深入了解技术架构以及「Infinite Budget」电影工作流背后的理念，请参阅我们的综合指南与路线图.)

⚡ 本地模型推理（仅桌面应用）

桌面应用支持两个独立的本地引擎。根据你实际运行的机器选择其一：

Engine	What it is	Best for
sd.cpp (bundled)	来自 stable-diffusion.cpp,) 的 C++ 引擎，与应用运行在同一台机器上。Apple Silicon 上使用 Metal GPU，Linux/Windows 上使用 CUDA/Vulkan/ROCm。	仅图像模型。适用于 Mac M 系列。
Wan2GP (BYO server)	指向用户自建的 Wan2GP) 服务器的 HTTP 客户端。服务器在 CUDA/ROCm GPU 上运行 Python + PyTorch；桌面应用仅发送提示词并接收结果。	视频模型（Wan 2.2、Hunyuan、LTX）以及大型图像模型（Flux、Qwen-Image）。服务器端需要 NVIDIA/AMD GPU；桌面应用本身可在 Mac 上运行。

两个引擎共用同一套 UI：打开 Settings → Local Models 分别配置。

Engine 1 — sd.cpp (bundled)

Model	Type	Size	Notes
Z-Image Turbo ⚡	Diffusion Transformer	2.5 GB + 2.7 GB aux	8 步 turbo。内存占用大。
Z-Image Base ⚡	Diffusion Transformer	3.5 GB + 2.7 GB aux	50 步高质量。内存占用大。
Dreamshaper 8	SD 1.5	2.1 GB	20 步通用型。Mac 上测试过的最轻量选项。
Realistic Vision v5.1	SD 1.5	2.1 GB	25 步照片级写实
Anything v5	SD 1.5	2.1 GB	20 步动漫/插画
SDXL Base 1.0	SDXL	6.9 GB	30 步高分辨率

Z-Image 模型需要两个共享辅助文件（下载一次，两个模型共用）：

Qwen3-4B Text Encoder — 2.4 GB

FLUX VAE — 335 MB

使用方法：

在桌面应用中打开 Settings → Local Models
安装 sd.cpp inference engine（一键安装——自动下载）
下载你选择的模型（Z-Image 还需下载辅助文件）
在 Image Studio 中，点击模型选择器旁的 ⚡ Local 开关
选择本地模型并生成——无需 API key

所有下载均在应用内完成。不会在系统范围内安装任何内容。

默认情况下，sd.cpp 将引擎、模型权重和临时下载存放在 Electron 的应用数据目录下。常见路径为：

macOS: ~/Library/Application Support/open-generative-ai/local-ai
Windows: %APPDATA%\open-generative-ai\local-ai
Linux: ~/.config/open-generative-ai/local-ai

若要将数 GB 的模型权重放在另一块硬盘上，请在启动桌面应用前设置 OPEN_GENERATIVE_AI_LOCAL_AI_DIR。应用会在该目录下创建 bin/、models/ 和 tmp/，Settings -> Local Models 会显示解析后的模型文件夹。本地引擎输出与下载错误会写入应用进程控制台，因此需要排查日志时，请从 Terminal 或 PowerShell 启动。

Engine 2 — Wan2GP (remote Gradio server)

应用不会捆绑 Wan2GP 的 Python 或模型权重。你需要在配备 CUDA 或 ROCm GPU 的机器上自行运行 Wan2GP，并将桌面应用指向其 URL。

# On your GPU machine
git clone https://github.com/deepbeepmeep/Wan2GP
cd Wan2GP
./install.sh                          # or install.bat on Windows
python wgp.py --listen --server-name 0.0.0.0   # binds to all interfaces

然后在桌面应用中：Settings → Local Models → Wan2GP server，粘贴 URL（例如 http://192.168.1.42:7860），点击 Test，再点击 Save。Wan2GP 模型即可使用——图像模型在 Image Studio，视频模型可通过同一生成 API 访问（Image Studio 会明确拒绝视频输出；完整的 Video Studio 接入在路线图中）。

Model	Type	Notes
Flux.1 Dev	Image	1024px，28 steps
Qwen Image	Image	1024px，30 steps
Wan 2.2 (T2V / I2V)	Video	消费级 GPU 上较慢
Hunyuan Video	Video	高质量 T2V
LTX Video	Video	最快的视频选项

为何需要独立服务器？ Wan2GP 的运行时（Sage attention、flash-attn、AWQ/GGUF kernels）仅支持 CUDA——没有 MPS / Apple Silicon 路径。将其作为远程服务器，可让仅使用 Mac 的用户继续用桌面应用，同时将推理卸载到 Linux/Windows GPU 主机、局域网游戏 PC，或租用的 RunPod/vast.ai 实例。

本地推理仅在桌面应用中可用。 托管 Web 版始终使用云端 API。

硬件说明

sd.cpp 可在 CPU 上运行（全平台），Apple Silicon（M1/M2/M3/M4）上使用 Metal GPU；Linux/Windows 上使用 CUDA/Vulkan/ROCm。
Metal GPU 加速已内置在 macOS 桌面二进制中——显著快于仅 CPU。
sd.cpp Z-Image 推荐配置：16 GB RAM（7.4 GB 权重 + 2.4 GB 计算缓冲区）。在 8 GB 基础款 M 系列 Mac 上，Z-Image 已知会导致系统卡死——请改用 SD 1.5。
M2 上运行 SD 1.5：Metal dylib 激活时约 1–2 s/step。若看到约 10 s/step，二进制可能已回退到 CPU——见下方验证步骤。

验证 SD 1.5 路径（Mac 上最快的健全性测试）

若想在不经 UI 的情况下确认 sd.cpp 已正确安装，可直接驱动 sd-cli。这与应用使用的是同一二进制。

# 1. App data layout (created on first app launch)
APP_DATA="${OPEN_GENERATIVE_AI_LOCAL_AI_DIR:-$HOME/Library/Application Support/open-generative-ai/local-ai}"
ls "$APP_DATA/bin"     # sd-cli, libstable-diffusion.dylib
ls "$APP_DATA/models"  # whatever you've downloaded

# 2. Grab a small SD 1.5 model directly (Dreamshaper 8, ~2 GB)
curl -L --fail --progress-bar \
  -o "$APP_DATA/models/DreamShaper_8_pruned.safetensors" \
  "https://huggingface.co/Lykon/DreamShaper/resolve/main/DreamShaper_8_pruned.safetensors"

# 3. Run a single 512x512 / 12-step inference
DYLD_LIBRARY_PATH="$APP_DATA/bin" "$APP_DATA/bin/sd-cli" \
  -m "$APP_DATA/models/DreamShaper_8_pruned.safetensors" \
  -p "a serene mountain lake at sunrise, oil painting" \
  -o /tmp/sd15-test.png \
  --steps 12 -H 512 -W 512 --cfg-scale 7.5 --seed 42 \
  --sampling-method euler_a

在 Apple Silicon 上正常运行的输出会打印 total params memory size = 1969.78MB (VRAM 1969.78MB, RAM 0.00MB)（Metal 加速），并生成一张连贯的 512×512 PNG。若 VRAM 为 0.00MB 而非前者，则 dylib 为仅 CPU 版本——检查 otool -L "$APP_DATA/bin/libstable-diffusion.dylib" | grep -i metal，若缺少 Metal，请从 Settings → Local Models 重新安装引擎。

✨ 功能

Image Studio — 根据文本提示词生成图像（50+ 文生图模型），或变换现有图像（55+ 图生图模型）。是否提供参考图会自动切换模型集。支持分辨率/质量控制的模型会显示相应选项。
Local Inference — 两个引擎：sd.cpp（内置，在 Mac/Win/Linux 上通过 Metal/CUDA/Vulkan/ROCm 运行）用于 SD 1.5、SDXL 和 Z-Image；以及 Wan2GP（自带 Gradio 服务器）用于 Flux、Qwen-Image 和视频模型（Wan 2.2、Hunyuan、LTX）。在 Settings → Local Models 中配置两者。
Multi-Image Input — 为兼容的编辑模型上传最多 14 张参考图（Nano Banana 2 Edit、Flux Kontext Dev、GPT-4o Edit 等）。多选选择器带顺序徽章、批量上传，以及「Use Selected」确认流程。
Video Studio — 根据文本提示词生成视频（40+ 文生视频模型），或为起始帧图像生成动画（60+ 图生视频模型）。与 Image Studio 相同的智能模式切换。
Lip Sync Studio — 使用音频为肖像图像生成动画，或为现有视频同步嘴唇。9 个专用模型、两种模式：肖像图 + 音频 → 说话视频，以及视频 + 音频 → 唇形同步视频。
Cinema Studio — 照片级电影镜头界面，提供专业相机控制（Lens、Focal Length、Aperture）
Workflow Studio — 可视化构建并运行多步 AI 流水线。将图像、视频和音频模型串联为自动化流程。浏览社区模板，用节点式编辑器创建自己的流程，并通过交互式 playground 运行。
Upload History — 参考图只需上传一次并本地存储。选择面板让你跨会话复用任何历史上传图像——无需重复上传。
Smart Controls — 动态宽高比、分辨率/质量与时长选择器，随各模型能力自适应（包括带分辨率或质量选项的 t2i 模型）
Generation History — 浏览、回看并下载所有历史生成结果（持久化在浏览器存储中）
Image & Video Download — 一键下载全分辨率生成结果
API Key Management — 在浏览器 localStorage 中安全存储 API key（除 Muapi 外不会发送到任何服务器）
Responsive Design — 桌面与移动端无缝适配，深色玻璃拟态 UI

🖼️ Image Studio — 双模式

Image Studio 会在两套模型之间自动切换：

模式	触发条件	模型	提示词
Text-to-Image（文生图）	默认（无图片）	50+ 款 t2i 模型（Flux、Nano Banana 2、Seedream 5.0、Ideogram、GPT-4o、Midjourney…）	必填
Image-to-Image（图生图）	上传参考图	55+ 款 i2i 模型（Kontext、Nano Banana 2 Edit、Seedream 5.0 Edit、Seededit、Upscaler…）	可选

新增模型

模型	类型	主要特性
Nano Banana 2	Text-to-Image	Google Gemini 3.1 Flash Image · 分辨率 1K/2K/4K · Google Search 增强 · 宽高比 `auto`
Nano Banana 2 Edit	Image-to-Image	最多 14 张参考图 · 分辨率 1K/2K/4K · Google Search 增强
Seedream 5.0	Text-to-Image	ByteDance · 画质 basic/high · 8 种宽高比 · 最高 4K
Seedream 5.0 Edit	Image-to-Image	ByteDance · 自然语言风格迁移 · 画质 basic/high
MiniMax Image 01	Text-to-Image	MiniMax · 8 种宽高比 · 单次请求最多 4 张图 · 提示词 1500 字符

多图输入

支持多张参考图的模型在启用时会显示多选选择器：

模型	最大图片数
Nano Banana 2 Edit	14
Nano Banana Edit	10
Flux Kontext Dev I2I	10
Kling O1 Edit Image	10
GPT-4o Edit / GPT Image 1.5 Edit	10
Bytedance Seedream Edit v4 / v4.5	10
Vidu Q2 Reference to Image	7
Flux 2 Flex/Pro Edit	8
Nano Banana Pro Edit	8
Flux Kontext Pro/Max I2I	2
Wan 2.5/2.6 Image Edit	2–3
Qwen Image Edit Plus / 2511	3
GPT-4o Image to Image	5
Flux 2 Klein 4b/9b Edit	4

选择多图模型后，上传触发器会切换为多选模式：

带序号的复选框 — 图片会按你选择它们的顺序发送给模型
批量上传 — 在文件对话框中一次选择多个文件
触发器上的 数量徽章 显示当前启用的图片数量；当还有更多可用槽位时，会显示 + 徽章
「Use Selected」 按钮用于确认并关闭选择器

🎬 Video Studio — 双模式

Video Studio 遵循相同的模式：

模式	触发条件	模型	提示词
Text-to-Video（文生视频）	默认（无图片）	40+ 款 t2v 模型（Kling、Sora、Veo、Wan、Seedance 2.0、Hailuo、Runway…）	必填
Image-to-Video（图生视频）	上传起始帧	60+ 款 i2v 模型（Kling I2V、Veo3 I2V、Runway I2V、Wan I2V、Seedance 2.0 I2V、Midjourney I2V…）	可选

新增模型

模型	类型	主要特性
Seedance 2.0	Text-to-Video	ByteDance · 宽高比 16:9 / 9:16 / 4:3 / 3:4 · 时长 5 / 10 / 15s · 画质 basic/high
Seedance 2.0 I2V	Image-to-Video	ByteDance · 将图片动画化为视频 · 最多 9 张参考图 · 宽高比 16:9 / 9:16 / 4:3 / 3:4 · 时长 5 / 10 / 15s · 画质 basic/high
Seedance 2.0 Extend	Video Extension	ByteDance · 无缝延续任意 Seedance 2.0 生成结果 · 保留风格、运动与音频 · 可选续写提示词 · 时长 5 / 10 / 15s · 画质 basic/high
Grok Imagine T2V	Text-to-Video	xAI · 时长 6 / 10 / 15s · 模式：fun / normal / spicy · 宽高比 9:16 / 16:9 / 2:3 / 3:2 / 1:1
Grok Imagine I2V	Image-to-Video	xAI · 时长 6 / 10 / 15s · 模式：fun / normal / spicy · 由静态图片生成电影感运动
MiniMax Hailuo 02 / 2.3 Standard & Pro	Text-to-Video / Image-to-Video	MiniMax · 全高清视频 · 多种宽高比 · 包含快速变体

🎙️ Lip Sync Studio

Lip Sync Studio 使用 9 款模型、两种输入模式，生成由音频驱动的说话视频：

模式	触发条件	说明
Portrait Image（人像图片）	默认	上传人像图片 + 音频文件 → 生成动画说话视频
Video（视频）	切换至 Video 模式	上传现有视频 + 音频文件 → 生成口型同步视频

基于图片的模型（人像图片 + 音频 → 视频）

模型	端点	分辨率	提示词
Infinite Talk	`infinitetalk-image-to-video`	480p, 720p	可选
Wan 2.2 Speech to Video	`wan2.2-speech-to-video`	480p, 720p	可选
LTX 2.3 Lipsync	`ltx-2.3-lipsync`	480p, 720p, 1080p	可选
LTX 2 19B Lipsync	`ltx-2-19b-lipsync`	480p, 720p, 1080p	可选

基于视频的模型（视频 + 音频 → 口型同步视频）

模型	端点	分辨率	提示词
Sync Lipsync	`sync-lipsync`	—	—
LatentSync	`latentsync-video`	—	—
Creatify Lipsync	`creatify-lipsync`	—	—
Veed Lipsync	`veed-lipsync`	—	—
Infinite Talk V2V	`infinitetalk-video-to-video`	480p, 720p	可选

使用方法：

使用切换开关选择 Portrait Image（人像图片） 或 Video（视频） 模式
使用图片/视频上传按钮上传你的人像图片（或视频）
使用音频上传按钮上传音频文件
可选：输入提示词以引导动作风格
选择模型和分辨率（如支持），然后点击 Generate（生成）

生成历史会单独保存在 lipsync_history 中，页面刷新后待处理任务会自动恢复。

🔀 Workflow Studio

Workflow Studio 让你无需编写代码即可构建并运行多步骤 AI 流水线。

核心能力：

Templates（模板） — 从预置工作流开始（图像链路、视频流水线等）
My Workflows（我的工作流） — 保存并管理你的自定义流水线
Community（社区） — 浏览并运行其他用户发布的工作流
Node-based Builder（节点式构建器） — 拖放式可视化编辑器，用于连接模型并在步骤间路由输出
Playground（演练场） — 通过表单 UI 交互式运行任意工作流；结果内联渲染
API execution（API 执行） — 每个工作流也可通过 Muapi API 调用

💡 想在自己的应用中加入工作流？ 查看 Vibe Workflow — 为这一功能提供动力的开源工作流引擎。可将其集成到任何项目中。

🎥 Cinema Studio 控件

Cinema Studio 可对虚拟摄像机进行精确控制，将你的选择转换为优化后的提示词修饰符：

类别	可用选项
Cameras	Modular 8K Digital, Full-Frame Cine Digital, Grand Format 70mm Film, Studio Digital S35, Classic 16mm Film, Premium Large Format Digital
Lenses	Creative Tilt, Compact Anamorphic, Extreme Macro, 70s Cinema Prime, Classic Anamorphic, Premium Modern Prime, Warm Cinema Prime, Swirl Bokeh Portrait, Vintage Prime, Halation Diffusion, Clinical Sharp Prime
Focal Lengths	8mm (Ultra-Wide), 14mm, 24mm, 35mm (Human Eye), 50mm (Portrait), 85mm (Tight Portrait)
Apertures	f/1.4 (Shallow DoF), f/4 (Balanced), f/11 (Deep Focus)

📁 上传历史与选择器

你上传的每张图片都会在本地保存（URL + 缩略图），因此无需重复上传同一文件：

点击上传按钮打开 reference image picker（参考图选择器）
已上传的图片会以缩略图形式显示在三列网格中
单图模型 — 点击缩略图即可立即选中并关闭
多图模型 — 切换选择多个缩略图（显示序号），然后点击 Use Selected
使用 Upload files（上传文件） 按钮上传新图片（多图模式下支持多文件选择）
使用 ✕ 按钮从历史记录中移除单张图片
历史记录会在浏览器会话间保持（存储于 localStorage）

🚀 快速开始

前置条件

Node.js (v18+)
获取 Muapi.ai access key. Copy the generated key value into the app; do not enter the key name or label.

安装配置

大多数用户需要的是桌面应用，而非此开发路径。 如果你只想在本机运行 Open Generative AI，请改为下载预构建安装包 — 无需 Node.js。以下说明面向从源码构建的贡献者。

选择符合你目标的入口：

桌面应用（Electron） → npm run electron:dev
托管网页版（Next.js） → npm run dev

# Clone the repository (with submodules — required for the workflow + agent packages)
git clone --recurse-submodules https://github.com/Anil-matcha/Open-Generative-AI.git
cd Open-Generative-AI

# If you already cloned without --recurse-submodules, run this once:
# git submodule update --init --recursive

# Install dependencies + build workspace packages (studio, workflow, agents).
# This step is REQUIRED — `npm install` alone is not enough; the workspaces
# need to be built before either dev script will work.
npm run setup

# Then start ONE of:
npm run electron:dev   # Desktop app (Electron + Vite) — recommended
npm run dev            # Hosted web version (Next.js) → http://localhost:3000

首次使用时系统会提示你输入 Muapi API 密钥（若仅计划使用本地模型，可跳过密钥输入）。

故障排查 — Couldn't find a 'pages' directory：这表示 Next.js 无法看到 app/ 文件夹。请确认你是从仓库根目录运行 npm run dev（即包含 app/、package.json 和 next.config.mjs 的目录），并且克隆时包含了子模块（submodules）。如果 packages/Vibe-Workflow 或 packages/agents 为空，请重新运行 npm run setup。

生产构建

npm run build
npm run start

桌面应用构建

使用 Electron 构建原生桌面应用：

# macOS (DMG — Intel + Apple Silicon)
npm run electron:build

# Windows (NSIS installer — x64 + ARM64)
npm run electron:build:win

# Linux (AppImage + DEB — x64)
npm run electron:build:linux

# Both platforms in one pass
npm run electron:build:all

安装包将输出到 release/ 文件夹。预编译二进制文件也可在 Releases 页面. 获取。

🏗️ 架构

本应用是一个 Next.js monorepo，包含共享的 packages/studio 组件库。

Open-Generative-AI/
├── app/                        # Next.js App Router
│   ├── layout.js               # Root layout (Tailwind, fonts)
│   ├── page.js                 # Redirects → /studio
│   └── studio/
│       └── page.js             # Studio page — renders StandaloneShell
├── components/
│   ├── StandaloneShell.js      # Tab nav + BYOK (API key from localStorage)
│   └── ApiKeyModal.js          # API key entry modal
├── packages/
│   └── studio/                 # Shared React component library
│       └── src/
│           ├── index.js        # Exports: ImageStudio, VideoStudio, AudioStudio, ClippingStudio, VibeMotionStudio, LipSyncStudio, CinemaStudio, MarketingStudio, WorkflowStudio, AgentStudio, DesignAgentStudio, AppsStudio, McpCliStudio
│           ├── models.js       # 200+ model definitions (single source of truth)
│           ├── muapi.js        # API client (named exports, apiKey as first param)
│           └── components/
│               ├── ImageStudio.jsx    # Dual-mode t2i/i2i studio
│               ├── VideoStudio.jsx    # Dual-mode t2v/i2v studio
│               ├── LipSyncStudio.jsx  # Portrait/video + audio → talking video
│               ├── CinemaStudio.jsx   # Pro studio with camera controls
│               └── WorkflowStudio.jsx # Multi-step pipeline builder & playground
├── next.config.mjs             # transpilePackages: ['studio']
├── tailwind.config.js
└── package.json                # workspaces: ["packages/studio"]

packages/studio 库也会被 muapi.ai 上的托管版本使用——在 packages/studio/src/models.js 中进行的模型更新会自动同步到自托管应用和托管版本。

🔌 API 集成

应用通过两步模式与 Muapi.ai 通信：

Submit（提交） — 携带 prompt 和参数的 POST /api/v1/{model-endpoint}
Poll（轮询） — GET /api/v1/predictions/{request_id}/result，直到状态为 completed

认证使用 x-api-key 请求头。开发期间，Vite 代理通过将 /api 请求路由到 https://api.muapi.ai 来处理 CORS。

文件上传使用 POST /api/v1/upload_file（multipart/form-data），返回托管 URL 并传递给图像条件模型。对于多图模型，完整的 images_list 数组会在单次请求中转发给 API。

唇形同步（Lip sync）任务采用相同的两步模式：专用的 processLipSync() 方法接受 image_url 或 video_url 以及 audio_url，分发到模型端点，并轮询直到输出视频 URL 可用。

🎨 支持的模型类别

类别	数量	示例
文生图（Text-to-Image）	50+	Flux Dev, Nano Banana 2, Seedream 5.0, Ideogram v3, Midjourney v7, GPT-4o, SDXL
图生图（Image-to-Image）	55+	Nano Banana 2 Edit (×14), Flux Kontext Pro, GPT-4o Edit, Seededit v3, Upscaler, Background Remover
文生视频（Text-to-Video）	40+	Kling v3, Sora 2, Veo 3, Wan 2.6, Seedance 2.0, Seedance 2.0 Extend, Seedance Pro, Hailuo 2.3, Runway Gen-3
图生视频（Image-to-Video）	60+	Kling v2.1 I2V, Veo3 I2V, Runway I2V, Seedance 2.0 I2V, Midjourney v7 I2V, Hunyuan I2V, Wan2.2 I2V
唇形同步（Lip Sync）	9	Infinite Talk I2V, Wan 2.2 Speech to Video, LTX 2.3 Lipsync, LTX 2 19B Lipsync, Sync, LatentSync, Creatify, Veed, Infinite Talk V2V

🛠️ 技术栈

Next.js 14 — App Router、服务端组件、快速开发服务器
React 18 — Studio UI 组件
Tailwind CSS v3 — 实用优先的样式方案
npm workspaces — 包含共享 packages/studio 库的 Monorepo
Muapi.ai — AI 模型 API 网关

🤔 与其他 AI 视频平台有何不同？

Open Generative AI 是一个社区驱动的开源替代方案，在不依赖封闭生态的情况下提供类似的创意能力：

	其他提供商	Open Generative AI
成本	订阅制	免费（开源）
内容过滤	有——提示词会被拦截或修改	无
限制	平台护栏强制生效	完全的创作自由
模型	专有	200+ 开源与商业模型
多图输入	有限	每次请求最多 14 张图片
唇形同步	无	9 个模型，支持图像与视频模式
托管版本	订阅	在 muapi.ai/open-generative-ai 免费使用
自托管	不支持	支持
可定制	不支持	完全可 hack
数据隐私	基于云端	数据保留在本地
源代码	闭源	MIT 许可

📄 许可证

MIT

🙏 致谢

基于 Muapi.ai 构建——统一的 AI 图像与视频生成模型 API。

深度阅读：如需了解「AI Influencer」引擎、即将推出的「Popcorn」分镜功能以及本项目未来的更多细节，请阅读完整技术概述.

正在寻找免费、开源的 AI 视频平台？Open Generative AI 是一款开源 AI 图像与视频生成工作室——无内容过滤，可自托管、定制与扩展。

34 KiB Raw Permalink Blame History Unescape Escape

Open Generative AI — 不受限制的开源 AI 视频平台替代方案

相关项目

🌐 在线试用 — 无需安装

⬇️ 下载桌面应用

macOS 安装指南

Windows 安装 — 修复 SmartScreen 警告

Ubuntu / Linux 安装

Ubuntu 24.04+ / AppArmor 沙箱限制

⚡ 本地模型推理（仅桌面应用）

Engine 1 — sd.cpp (bundled)

Engine 2 — Wan2GP (remote Gradio server)

硬件说明

验证 SD 1.5 路径（Mac 上最快的健全性测试）

✨ 功能

🖼️ Image Studio — 双模式

新增模型

多图输入

🎬 Video Studio — 双模式

新增模型

🎙️ Lip Sync Studio

基于图片的模型（人像图片 + 音频 → 视频）

基于视频的模型（视频 + 音频 → 口型同步视频）

🔀 Workflow Studio

🎥 Cinema Studio 控件

📁 上传历史与选择器

🚀 快速开始

前置条件

安装配置

生产构建

桌面应用构建

🏗️ 架构

🔌 API 集成

🎨 支持的模型类别

🛠️ 技术栈

🤔 与其他 AI 视频平台有何不同？

📄 许可证

🙏 致谢

34 KiB

Raw Permalink Blame History