Files

🚀 OmniRoute — 免費 AI 閘道器

🌐 語言: 🇺🇸 English · 🇸🇦 ar · 🇧🇬 bg · 🇧🇩 bn · 🇨🇿 cs · 🇩🇰 da · 🇩🇪 de · 🇪🇸 es · 🇮🇷 fa · 🇫🇮 fi · 🇫🇷 fr · 🇮🇳 gu · 🇮🇱 he · 🇮🇳 hi · 🇭🇺 hu · 🇮🇩 id · 🇮🇹 it · 🇯🇵 ja · 🇰🇷 ko · 🇮🇳 mr · 🇲🇾 ms · 🇳🇱 nl · 🇳🇴 no · 🇵🇭 phi · 🇵🇱 pl · 🇵🇹 pt · 🇧🇷 pt-BR · 🇷🇴 ro · 🇷🇺 ru · 🇸🇰 sk · 🇸🇪 sv · 🇰🇪 sw · 🇮🇳 ta · 🇮🇳 te · 🇹🇭 th · 🇹🇷 tr · 🇺🇦 uk-UA · 🇵🇰 ur · 🇻🇳 vi · 🇨🇳 zh-CN · 🇹🇼 zh-TW


OmniRoute 儀表板

🚀 OmniRoute — 免費 AI 閘道器

永遠不要停止開發。透過一個端點,將每個 AI 工具連接到 231 個供應商50+ 免費

將 Claude Code、Codex、Cursor、Cline、Copilot 和 Antigravity 連接到免費的 Claude / GPT / Gemini。自動備援。


RTK + Caveman 壓縮可節省 1595% 的 Token。永遠不會達到限制。


~1.6B 有記錄的免費 Token/月 — 首月透過註冊獎勵最高可達 ~2.1B — 聚合所有免費層的配額,加上永久免費、無上限的供應商,而上述壓縮進一步延長每一分 Token。(統計方法 →)


231 AI Providers 50+ Free 1.6B Free Tokens/mo Token Savings 17 Strategies $0 to start


💬 加入社群

Discord Telegram WhatsApp Global WhatsApp Brasil

問題、供應商技巧、路線圖與支援 → Discord · Telegram · WhatsApp 🌍 全球 / 🇧🇷 巴西


diegosouzapw%2FOmniRoute | Trendshift

npm License: MIT Node Stars

npm version NPM Monthly Docker Hub Docker Pulls Electron Downloads Website


🚀 快速開始🎯 Combo🌐 供應商🔌 CLI 與 MCP🗜️ 壓縮🌍 網站

💥 承諾🤔 為什麼🏆 優勢🤖 相容 CLI🖥️ 執行平台🔒 隱私🎬 實際展示📚 探索更多📧 支援


💰 ~1.6B 免費 Token / 月

手動堆疊免費層很痛苦 — 數十個 SDK、數十個速率限制,而且你不清楚自己到底有多少配額。OmniRoute 將 40+ 供應商池 / 500+ 模型有記錄免費層聚合為一個真實數字,並在儀表板上即時展示 (/dashboard/free-tiers)。

  • ~1.6B 免費 Token/月(穩定) — 首月透過註冊獎勵最高可達 ~2.1B
  • 池去重,誠實 — 每個共享免費池只計算一次,因此標題不會被速率限制上限所誇大。(如果全天候計算每個速率限制,數字會接近 ~10B;我們不發布那個數字。)
  • 加上不可計數的 — 永久免費、無 Token 上限的供應商(SiliconFlow、Z.AI GLM-Flash、Kilo、OpenCode Zen…)以及 $10 OpenRouter 充值可解鎖 +24M/月,兩者分別列出,絕不誇大標題數字。
  • 按模型細分,當月已用/剩餘即時顯示,以及每個供應商的透明條款標誌

Free-Tier Budget card (preview mockup)

預覽模型 — 實際截圖將在 /dashboard/free-tiers 頁面驗證後上線。完整方法論(池去重、信用層級、供應商條款):docs/reference/FREE_TIERS.md


💥 承諾

一個端點。231 個供應商。 永遠不要停止建構 — 讓 OmniRoute 選擇最便宜且有效的方案。

🚫 永遠不會達到限制
跨 231 個供應商毫秒級自動備援。配額用盡?下一個供應商立即接管 — 零停機。
💸 節省高達 95% 的 Token
RTK + Caveman 堆疊壓縮可削減 1595% 的合格 Token(工具密集型會話平均約 89%)。
🆓 零成本開始
50+ 供應商提供免費層,11 個永久免費(Kiro、Qoder、Pollinations、LongCat…)。無需信用卡。
🔌 每個工具都相容
16+ 編碼代理 — Claude Code、Codex、Cursor、Cline、Copilot、Antigravity — 透過一個設定即可使用。
🧩 一個端點
OpenAI ↔ Claude ↔ Gemini ↔ Responses API 轉換。將任何工具指向 /v1 即可使用。
🛡️ 生產級別
斷路器、TLS 隱身、MCP(87 工具)、A2A、記憶、護欄、評估。14,965 個測試。


🤔 為什麼選擇 OmniRoute

告別管理 10 個儀表板、失效的 API 金鑰和意外帳單的煩惱。

日常痛點 OmniRoute 的解決方案
📉 訂閱配額每月用不完就浪費 最大化訂閱 — 追蹤配額,在重置前用盡每個 Token
🛑 速率限制中斷編碼 4 層自動備援 — 訂閱 → API → 廉價 → 免費,毫秒級切換
🔥 工具輸出消耗大量 Token RTK + Caveman 壓縮 — 每次請求節省 15–95% 合格 Token
💸 昂貴的 API(每個供應商 $20–50/月) 成本優化路由 — 自動路由到最便宜的可行模型
🧰 每個 AI 工具需要不同的設定 一個端點,所有工具,一個儀表板
🌍 所在國家/地區封鎖 AI 3 層代理 + TLS 指紋隱身 — 從任何地方使用 AI
┌──────────────────────────────────────────────────────────┐
│        Your IDE / CLI  (Claude Code, Cursor, Cline…)       │
└─────────────────────────┬──────────────────────────────────┘
                          │ http://localhost:20128/v1
                          ▼
┌──────────────────────────────────────────────────────────┐
│                  OmniRoute — Smart Router                  │
│  RTK + Caveman compression · 17 routing strategies         │
│  Circuit breakers · TLS stealth · MCP · A2A · Guardrails   │
└─────────────────────────┬──────────────────────────────────┘
        ┌─────────────┬────┴────────┬─────────────┐
        ▼ Tier 1      ▼ Tier 2      ▼ Tier 3       ▼ Tier 4
   SUBSCRIPTION     API KEY        CHEAP          FREE
   Claude Code,     DeepSeek,      GLM $0.5,      Kiro, Qoder,
   Codex, Copilot   Groq, xAI      MiniMax $0.2   Pollinations
   quota out? ───▶  budget hit? ─▶ budget hit? ─▶ always on

🎯 Combo — 旗艦功能

Combo 是 OmniRoute 自動路由的模型鏈。配額用盡、供應商失敗或成本飆升 — Combo 自動滑動到下一個模型。這就是 OmniRoute 不可中斷的原因。 🛡️

零設定 — 只需使用 auto

無需建立 Combo。將模型設定為 auto(或變體),OmniRoute 會根據您連接的供應商即時評分建構虛擬 Combo:

模型 ID 最佳化目標
auto 🎯 平衡預設(LKGP — 沿用上次好的供應商)
auto/coding 🧑‍💻 程式碼生成優先品質權重
auto/fast 最低延遲優先
auto/cheap 💰 每 Token 最低價優先
auto/offline 🔋 最多配額/速率限制餘量優先
auto/smart 🔭 品質優先 + 10% 探索以發現更好模型

🔀 或自行建構 — 17 種路由策略

目標 策略 / Combo
🥇 先用完訂閱再付費 priority / fill-first
⚖️ 跨帳戶分散負載 round-robin · weighted · p2c · least-used
💸 始終選最便宜的可行模型 cost-optimized · auto/cheap
🧠 模型間移交長上下文 context-relay · context-optimized
🎲 隨機/隱私路由 random · strict-random
🧬 分發到專家組 + 裁判合成 fusion
📊 按剩餘配額餘量路由 reset-window · headroom
🤖 智慧路由 auto9 因素評分)· lkgp · reset-aware

Auto-Combo 引擎根據 9 項因素(健康度、配額、成本、延遲、成功率、新鮮度…)對每個候選模型評分 — 參見 docs/routing/AUTO-COMBO.md

🧱 內建彈性(3 個獨立層)

範圍 作用
🔌 斷路器 整個供應商 停止重複呼叫上游失敗的供應商;自動探測恢復
💤 連線冷卻 一個帳戶/金鑰 跳過速率限制的金鑰,其他金鑰繼續提供服務
🎯 模型鎖定 供應商 + 模型 僅隔離配額受限的模型,不影響整個連線
Combo: "always-on"                         Strategy: priority
  1. cc/claude-opus-4-7   ← subscription (use it fully)
  2. cx/gpt-5.5           ← second subscription
  3. glm/glm-5.1          ← cheap backup ($0.5/1M)
  4. kr/claude-sonnet-4.5 ← FREE, unlimited (never fails)
Result: 4 layers of fallback = zero downtime

📖 Auto-Combo Engine · Resilience Guide


🏆 OmniRoute 的獨特優勢

功能 OmniRoute 其他路由器
🌐 供應商數量 231 20100
🆓 免費供應商 50+11 個永久免費) 15
🔀 路由策略 17 種(優先級、加權、成本優化、上下文繼電、融合…) 13
🗜️ Token 壓縮 RTK + Caveman 堆疊(1595% 無 / 2040%
🧰 內建 MCP 伺服器 87 工具、3 種傳輸、30 個範圍 少有
🤝 A2A 代理協定 6 項技能、JSON-RPC 2.0
🧠 記憶(FTS5 + 向量) 支援 少有
🛡️ 護欄(PII、注入、視覺) 支援 少有
☁️ 雲端代理 Codex、Devin、Jules
🥷 TLS 指紋隱身 JA3/JA4 透過 wreq-js
🖥️ 多平台 Web · 桌面 · Termux · PWA 僅 Web
🌍 國際化 42 種語言環境 04

📊 與 LiteLLM、OpenRouter 和 Portkey 的詳細比較 → docs/comparison/OMNIROUTE_VS_ALTERNATIVES.md


最新功能

v3.8.20 → v3.8.38 的重點更新。完整記錄在 CHANGELOG.md

  • ⚖️ Quota-Share 路由 — 一種專用 Combo 策略,根據可用配額跨帳戶分配負載:赤字輪詢排程、每個連線的 max_concurrent 搭配冷卻等待佇列、多時窗使用量桶(5 小時 / 7 天 / 按模型)、每(金鑰,模型)上限、為提示快取完整性而設的會話黏著性,以及來自上游 Token 使用量標頭的主動飽和偵測。→ Resilience Guide
  • 🛰️ 遠端模式 — 透過範圍存取令牌從任何機器驅動遠端 OmniRoute(omniroute connect / omniroute contexts / omniroute tokens)。→ Remote Mode
  • 🧭 更智慧的 Auto-Routing — OpenRouter 風格的 auto/<category>:<tier> Combo(例如 auto/coding:fastauto/reasoning:pro)、Fusion 策略(第 16 種 — 並行分發到多個模型,然後透過裁判合成)、任務感知路由(按任務類型選擇最佳連線)、每請求 X-Route-Model 覆寫、即時 Arena-ELO + models.dev 模型智慧、每步驟帳戶允許清單、供應商萬用字元 Combo 步驟、巢狀 Combo 引用執行、黏性加權選擇和 web_search 感知路由。→ Auto-Combo
  • 🗜️ 可插拔壓縮9 個可組合引擎的非同步管線,含 Compression Studios、LLMLingua-2 ONNX 引擎和啟發式/SLM 雙層 Ultra、RTK、委託 Anthropic Context Editing、Output Styles(輸出軸控制:terse-prose / less-code / terse-CJK)、自適應上下文預算撥盤(僅升級到足以符合上下文視窗)、每請求 x-omniroute-compression 控制、可選的離線評估工具、一鍵從儀表板管理 Headroom 代理生命週期、合成壓縮遊樂場(Play 賽道 + A/B 比較)、可選的每步驟保真度閘門,以及統一面板搭配命名設定檔 + 活動設定檔選擇器。→ Compression
  • 🕵️ 透明 MITM 解密(TPROXY — 捕獲並轉換忽略代理環境變數的 CLI 流量,配備每個 SNI 的憑證授權機構和信任儲存安裝程式。→ MITM/TPROXY
  • 💸 全方位成本遙測 — 每個端點(包括媒體)上的 X-OmniRoute-* 成本/使用量標頭、非 Token 成本引擎、快取命中 X-OmniRoute-Cost-Saved 標頭,以及每金鑰 USD 支出配額。→ API Reference
  • 🧠 可控記憶 — 可選的 int8 向量量化(Qdrant + sqlite-vec),記憶預設關閉,以及每請求 x-omniroute-no-memory 標頭。→ Memory
  • 🛡️ 安全 — 所有 LLM 路由的提示注入防護(由紅隊測試套件支援),加上免費的 DuckDuckGo 最後手段網路搜尋。→ Guardrails
  • 🤝 更多供應商和代理 — Cursor Cloud Agent(第 4 個雲端代理)、CodeBuddy CNcopilot.tencent.com)、Google Flow 影片生成供應商、新閘道 DGridPioneer AIFastino Labs)、入站 xAI Grok 轉換器加上 Grok Build (xAI) 附 OAuth 匯入令牌流程、GitHub Copilot 供應商上的 GPT-4 / GPT-4o-mini、多模型 Factory DroidZenMux Freesession-cookie 免費層)、Alibaba DashScope 文字轉影片(wan2.7-t2v)、更新後的 231 供應商目錄、Vertex AI 媒體生成(語音 / 轉錄 / 音樂 / 影片),以及從 CLIProxyAPI 一鍵匯入帳戶。→ Providers
  • 本地效能與基礎設施 — 一鍵本地 Redis 啟動器(omniroute redis up,加上儀表板 Redis 面板)、一鍵 Cloudflare WorkersDeno Deploy 中繼部署器接入代理池,以及可選的 Bifrost Go sidecar,用於卸載最熱門的中繼路徑(BIFROST_BASE_URL,逾時時自動備援到 TypeScript 路徑)。→ Environment

🤖 相容的 CLI 和編碼代理

一個設定 — http://localhost:20128/v1每個 AI IDE 或 CLI 都可以在免費和低成本模型上執行。

Claude Code
Claude Code
Codex CLI
Codex CLI
Cursor
Cursor
Copilot
Copilot
Continue
Continue
OpenCode
OpenCode
Kilo Code
Kilo Code
Droid
Droid
OpenClaw
OpenClaw
Kiro
Kiro
Command Code
Command
+也相容於 · Cline · Antigravity · Windsurf · AMP · Hermes · Qwen CLI · Roo · Continue · 任何相容 OpenAI 的工具

📖 所有 16+ 工具的個別設定 → docs/reference/CLI-TOOLS.md · 🧩 OpenCode 插件 → @omniroute/opencode-provider


🌐 231 個 AI 供應商 — 50+ 免費

最完整的開源路由器目錄:231 個供應商50+ 具有免費層11 個永久免費

🆓 永久免費 — $0,無需信用卡

AgentRouter
GPT-5, Claude, Gemini
$100 免費額度
Qoder AI
Kimi-K2, DeepSeek-R1
無限 FREE
Pollinations
GPT-5, Claude, Llama 4
無需金鑰
LongCat
Flash-Lite
5000 萬 Token/天 🔥
Cloudflare AI
50+ 模型
1 萬 neurons/天
NVIDIA NIM
129 模型
~40 RPM 免費
Cerebras
Qwen3 235B
100 萬 Token/天

📖 完整機器可讀目錄 → docs/reference/PROVIDER_REFERENCE.md


🖥️ OmniRoute 的執行平台 — 無所不在

相同的應用程式,您的機器,您的規則。從全域 npm 安裝到透過 Termux 在手機上執行。

平台 安裝方式 亮點
📦 npm(全域) npm install -g omniroute 一條命令,任何作業系統
🐳 Docker docker run … diegosouzapw/omniroute 多架構 AMD64 + ARM64
🖥️ 桌面(Electron npm run electron:build 原生視窗 + 系統匣 — Windows / macOS / Linux
💪 ARM 原生 arm64 Raspberry Pi、ARM 伺服器、Apple Silicon
📱 AndroidTermux pkg install nodejs-lts && npx -y omniroute 在手機上執行,24/7,無需 root
📲 PWA "新增到主畫面" 全螢幕、離線、可從瀏覽器安裝
🧩 OpenCode 插件 @omniroute/opencode-provider 原生 OpenCode 整合
🛠️ 從原始碼建構 npm install && npm run dev 參與開發

📖 Docker Guide · Desktop · Termux · PWA · OpenCode


🔒 私有與本地優先

您的金鑰、您的機器、您的資料。OmniRoute 是本地代理 — 絕不向外回報。

  • 🏠 100% 在您的硬體上執行 — npm、Docker、桌面或手機。OmniRoute 雲端絕不介入請求路徑。
  • 🔐 憑證靜態加密 — API 金鑰和 OAuth 令牌使用 AES-256-GCM 加密。
  • 🚫 預設零遙測 — 您的提示僅傳送給您選擇的供應商,絕無其他去處。
  • 🛡️ 強化閘道 — API 金鑰範圍限制、IP 過濾、速率限制、提示注入防護、僅回送處理程序路由。
  • 📜 MIT 授權且完全開源 — 審計每一行程式碼,永久自托管。

📖 Authorization · Guardrails · Compliance


🔌 完整 CLI + A2A 和 MCP

OmniRoute 不僅僅是伺服器 — 它擁有 60+ 命令完整命令列控制台,以及開放的代理協定,讓 AI 代理可以自行驅動 OmniRoute。

⌨️ 真正的 CLI(不僅僅是 start

omniroute               # 啟動閘道 + 儀表板(埠口 20128)
omniroute chat          # 互動式 TUI 聊天客戶端(斜線指令:/model /combo /skill /memory
omniroute setup         # 引導式首次執行精靈
omniroute doctor        # 診斷供應商、埠口、原生依賴

🛰️ 遠端模式 — 在此執行 CLIOmniRoute 在 VPS 上

OmniRoute 在伺服器上?從筆記型電腦使用相同 CLI 驅動。登入一次 使用範圍存取令牌;之後每個命令都指向遠端。

omniroute connect 192.168.0.15            # 密碼 → 範圍令牌,儲存為上下文
omniroute models list                     # ← 針對遠端伺服器執行
omniroute configure codex                 # ← 選擇遠端模型,寫入本地 Codex 設定檔
omniroute tokens create --name ci --scope read   # 為其他機器建立更窄的令牌
omniroute contexts use default            # ← 切換回本地伺服器

令牌範圍為 read / write / admin;產生處理程序的路由保持僅回送。 📖 Remote Mode

providers · oauth · keys · combo · nodes · models · cache · compression · cost · usage · quota · health · resilience · telemetry · logs · audit · mcp · a2a · cloud · memory · skills · eval · tunnel · backup · sync · webhooks · policy · pricing · translator · simulate

🤝 連接代理 — 代理自行控制 OmniRoute

透過 MCPA2A 公開 OmniRoute,任何有能力的代理即可取得整個閘道的金鑰 — 路由、供應商、Combo、快取、壓縮、記憶 — 自主運作。

協定 端點 用途
🧰 MCPstdio omniroute --mcp 接入 Claude Desktop、Cursor 等 MCP 客戶端
🌊 MCPHTTP http://localhost:20128/api/mcp/stream 遠端 MCP — 87 工具、30 範圍、完整稽核軌跡
📡 MCPSSE http://localhost:20128/api/mcp/sse 串流 MCP 傳輸
🤝 A2A http://localhost:20128/.well-known/agent.json 代理間通訊,JSON-RPC 2.0 + SSE6 技能
# 將完整 OmniRoute 工具集透過 MCP 提供給 Claude Code
claude mcp add-server omniroute --type http --url http://localhost:20128/api/mcp/stream

📖 MCP Server · A2A Server · Agent Protocols


🗜️ 自動節省 1595% 的 Token

為什麼用很多 Token 而不用少量 Token 每個請求透明地通過 OmniRoute 的壓縮管線 — 無需變更客戶端。它現在是9 個可組合引擎的堆疊,按順序執行,並可依路由 Combo 混合搭配 — 建立在 RTKCaveman ( 51K+)、LLMLingua-2Troglodita (PT-BR) 的基礎上。

🧱 9 引擎堆疊

引擎按管線順序執行;每個可獨立切換並按 Combo 設定:

# 引擎 作用
1 Session-Dedup 刪除跨輪次重複的內容(內容定址、跨輪次)
2 CCR 將大塊內容歸檔到檢索標記後,按需取得
3 RTK 智慧工具結果過濾、去重和截斷(命令感知)
4 Headroom 同構 JSON 陣列的無損表格壓縮(~30%+)
5 Caveman 基於規則的文章壓縮(輸出約 ~65–75%)
6 LLMLingua-2 透過 MobileBERT ONNX 進行 ML 語義剪枝 — 程式碼安全、非同步
7 Lite 空白字元和圖片 URL 修剪(低延遲基準線)
8 Aggressive 摘要 + 逐步淘汰舊輪次
9 Ultra 啟發式 Token 剪枝 + 可選小模型(SLM)層

程式碼區塊、URL 和結構化資料始終被完美保留一鍵預設組合引擎:

模式 節省比例 最佳用途
🪶 Lite ~15% 始終開啟的安全預設
🪨 StandardCaveman ~30% 日常編碼
Aggressive ~50% 長時間工具密集型會話
🔥 Ultra ~75% 最大節省
🧰 RTK 6090% Shell/測試/建構/Git 輸出
🔗 堆疊(RTK → Caveman 7895% 混合提示 + 工具日誌

實際範例 — Standard 模式:

之前(69 tokens): "The reason your React component is re-rendering is likely because you're creating a new object reference on each render cycle. When you pass an inline object as a prop, React's shallow comparison sees it as a different object every time, which triggers a re-render. I would recommend using useMemo to memoize the object."

之後(19 tokens): "New object ref each render. Inline object prop = new ref = re-render. Wrap in useMemo."

相同答案。72% 更少的 Token。零準確度損失。

PT-BR 範例 — Troglodita 模式:

Antes42 tokens): "O problema é que o componente está re-renderizando porque uma nova referência de objeto está sendo criada em cada ciclo de renderização. Eu recomendaria usar useMemo."

Depois12 tokens): "Re-render: ref nova cada ciclo (objeto inline recriado). Usar useMemo."

Mesma resposta. ~70% menos tokens. Precisão técnica intacta.

📖 運作方式 — 管線、架構與節省數學

Client (10,000 tok) ──▶ OmniRoute Compression (9 engines) ──▶ Provider (~1,080 tok, up to 95% saved)

預設堆疊 Combo 執行 RTK → Caveman。當兩者作用於相同工具/上下文 payload 時,節省效果疊加:

combined = 1  (1  RTK) × (1  Caveman_input)
average  = 1  (1  0.80) × (1  0.46) = 89.2%
range    = 78.4  94.6%

程式碼區塊、URL、JSON 和結構化資料始終受保留引擎保護。

🎚️ 超越引擎 — 輸出樣式、自適應撥盤與每請求控制

上述 9 個引擎縮小輸入。另外三層決定如何何時以及輸出什麼

  • 🪄 Output Styles輸出軸控制)— 注入確定性、快取安全的回應塑形指令;可組合,每個在 lite / full / ultra 強度。新增一個樣式只需一行註冊:
    • Terse prose — 刪除填充詞/冠詞/保留用語;保持技術內容精確。
    • Less code — "懶惰資深開發者" YAGNI:最小可行變更,不要求不搭建。
    • Terse CJK(文言) — 古典中文極簡風格(僅限 zh 語言環境)。
  • 🎯 自適應上下文預算撥盤)— 不是一個開/關 Token 閾值,而是僅升級最便宜、最無損的引擎,直到符合模型的上下文視窗。策略:reserve-output(預設,模型感知)· percentage · absolute。模式:floor(保證符合)· replace-autotrigger(您的明確選擇優先)· off(傳統閾值)。
  • 🎛️ 壓縮決策位置優先級,高 → 低)— 每請求 x-omniroute-compression 標頭 › 路由 Combo 覆寫 › 活動命名設定檔 › 自適應/自動觸發 › 面板預設 › 關閉。應用的計畫在 X-OmniRoute-Compression: <mode>; source=<source> 回應標頭中回顯。

按 Token 閾值自動觸發、切換自適應撥盤、固定命名設定檔、設定一次性每請求、或為每個路由 Combo 指派管線 — 任選適合工作負載的方式。可選的離線評估工具npm run eval:compression)在固定語料庫上評分保真度與節省比例。

📖 COMPRESSION_GUIDE.md · RTK_COMPRESSION.md · COMPRESSION_ENGINES.md


快速開始

1) 安裝並執行

npm install -g omniroute
omniroute

儀表板:http://localhost:20128 · APIhttp://localhost:20128/v1

2) 連接免費供應商(無需註冊)

儀表板 → Providers → 連接 Kiro AI(免費 Claude,每帳戶約 50 額度/月)或 OpenCode Free(無需驗證)→ 完成。

3) 設定您的編碼工具

Base URL: http://localhost:20128/v1
API Key:  [從儀表板 → Endpoints 複製]
Model:    auto            (零設定智慧路由 — 或任何供應商/模型)

4) 驗證是否正常運作

curl http://localhost:20128/v1/models -H "Authorization: Bearer ***"

您應該會看到已連接的模型列表。🎉 就是這樣 — 開始編碼,OmniRoute 會自動路由和備援。

如果您的客戶端無法傳送自訂標頭,OmniRoute 也提供令牌化的相容別名:

OpenAI catalog:   http://localhost:20128/vscode/YOUR_KEY/
OpenAI models:    http://localhost:20128/vscode/YOUR_KEY/models
OpenAI chat:      http://localhost:20128/vscode/YOUR_KEY/chat/completions
OpenAI responses: http://localhost:20128/vscode/YOUR_KEY/responses
Ollama chat:      http://localhost:20128/vscode/YOUR_KEY/api/chat
Ollama tags:      http://localhost:20128/vscode/YOUR_KEY/api/tags

僅在客戶端無法附加 Authorization: Bearer *** 時使用這些。標頭驗證仍是首選模式。


📦 更多安裝方式 — Docker、原始碼、pnpm、Arch

🐳 Docker

docker run -d --name omniroute --restart unless-stopped --stop-timeout 40 \
  -p 20128:20128 -v omniroute-data:/app/data diegosouzapw/omniroute:latest

🛠️ 從原始碼建構

cp .env.example .env && npm install
PORT=20128 npm run dev

📦 pnpm

pnpm add -g omniroute@latest --allow-build=better-sqlite3 --allow-build=@swc/core && omniroute

🐧 Arch LinuxAUR

yay -S omniroute-bin && systemctl --user enable --now omniroute.service

🔧 NixFlake

# 使用 Nix flakes
nix develop
npm run dev

# 或使用 devbox
devbox run npm run dev

📖 Docker Guide — Compose 設定檔、Caddy HTTPS、Cloudflare 隧道。

🦭 Podman

# 1. 建構映像
podman build --target runner-base -t omniroute:base .

# 2. 修正無 root Podman 的資料目錄權限
mkdir -p data && podman unshare chown 1000:1000 ./data

# 3. 在 .env 中設定執行時期,然後執行(參見 contrib/podman/ 中的 Quadlet
echo "CONTAINER_HOST=podman" >> .env
podman compose --profile base up -d

📖 Podman Guide — Quadlet 設定、podman-compose、Quadlet。


🎬 OmniRoute 實際展示

Guia em Português
🇧🇷 Português
Guia completo
English Guide
🇺🇸 English
Complete walkthrough
Руководство
🇷🇺 Русский
Полное руководство

🎬 製作了關於 OmniRoute 的影片? 透過連結開啟 issuediscussion — 我們會在此展示。


📚 探索更多

💰 價格一覽與 $0 免費堆疊(11 個供應商)
層級 範例 成本
💳 訂閱 Claude Code Pro / Codex / Copilot $10200/月
🔑 API 金鑰(免費層) NVIDIA NIM、Cerebras、Groq 免費
💰 廉價 GLM-5 $0.5/1M · MiniMax M2.5 $0.3/1M 幾分錢
🆓 永久免費 Kiro、Qoder、Qwen、Pollinations、LongCat $0

$0 免費堆疊 — 組合成一個不可中斷的 Combo:

供應商 前綴 免費模型 配額
Kiro kr/ Claude Sonnet 4.5、Haiku 4.5、Opus 4.6 50 額度/月
Qoder if/ kimi-k2-thinking、qwen3-coder-plus、deepseek-r1 ♾️ 無限
Qwen qw/ qwen3-coder-plus/flash/next ♾️ 無限
Pollinations pol/ GPT-5、Claude、Gemini、DeepSeek、Llama 4 無需金鑰
LongCat lc/ LongCat-Flash-Lite 5000 萬 Token/天 🔥
Cloudflare AI cf/ 50+ 模型 1 萬 neurons/天
NVIDIA NIM nvidia/ 129 模型 ~40 RPM
Cerebras cerebras/ Qwen3 235B、GPT-OSS 120B 100 萬 Token/天

💡 儀表板上的"成本"是節省追蹤器,不是帳單 — OmniRoute 從不向您收費。使用免費模型顯示的"$290 總成本"意味著節省了 $290

📖 完整免費目錄 → docs/reference/FREE_TIERS.md — 25+ 供應商、配額、基本 URL。

🎯 使用案例 — 現成 Combo 腳本

$0 永久免費:

1. kr/claude-sonnet-4.5   (Kiro — 每帳戶約 50 額度/月)
2. if/kimi-k2-thinking    (Qoder — 無限)
3. pol/gpt-5              (Pollinations — 無需金鑰)
4. lc/longcat-flash-lite  (5000 萬 Token/天備用)
壓縮:aggressive (~50%) → 加倍您的免費配額 · 成本:$0/月

24/7 無中斷: 串聯 2 個訂閱 → 廉價 → 免費,5 層備援。 被封鎖地區: 免費供應商 + 全域/每供應商代理 → 從任何國家存取 AI。 最大節省: 訂閱 + 廉價備用 + ultra 壓縮 (~75%) → 重度使用者每月節省 ~$150–300。

🌍 繞過地理封鎖 — 3 層代理 + 隱身

🇷🇺 🇨🇳 🇮🇷 🇨🇺 🇹🇷 在被封鎖的地區?OmniRoute 的 3 層代理(全域 / 每供應商 / 每連線)代理 API 請求、OAuth 流程、連線測試、Token 重新整理和模型同步。

  • 協定: HTTP/HTTPS、SOCKS5、認證代理
  • 🆓 1proxy 市場 — 數百個免費驗證代理、品質評分、自動輪換
  • 反偵測 — TLS 指紋偽造(wreq-js)、CLI 指紋比對、代理 IP 保留

📖 docs/ops/PROXY_GUIDE.md

完整功能列表 — 30+ 功能(記憶、評估、可觀測性)

路由: 15 種策略 · 任務感知智慧路由 · 思考預算控制 · 萬用字元路由 · 系統提示注入。 相容性: OpenAI ↔ Claude ↔ Gemini ↔ Responses API · 自動 OAuth 重新整理(PKCE,8 個供應商)· 多帳戶輪詢 · Batch + Files API · 即時 OpenAPI 3.0。 協定: MCP(87 工具、3 種傳輸、30 範圍)· A2AJSON-RPC 2.0、SSE、6 技能)· ACP · 雲端代理(Codex、Devin、Jules)。 插件: 自訂插件市場(系統設定的註冊表 URL,附 SSRF 防護擷取)· 安裝/啟用/停用 · Notion + Obsidian 知識庫整合(WebDAV 檔案伺服器、筆記 CRUD)。 內嵌服務: 一鍵安裝和生命週期管理本地 sidecar 服務(CLIProxy、NineRouter)。 品質與維運: 內建 Evals(黃金集:精確/包含/正則/自訂)· 護欄(PII、注入、視覺)· 健康儀表板 · p50/p95/p99 遙測 · webhooks · 合規稽核。 AI 代理技能: 即插即用 Markdown 清單 — 將任何代理指向 skills/*/SKILL.md 清單。43 個可用技能。

📖 MCP Server · A2A Server · Resilience Guide · Features Gallery

📖 設定、環境變數與 FAQ
環境變數 預設值 用途
PORT 20128 API + 儀表板埠口
REQUIRE_API_KEY false 要求所有請求使用 API 金鑰
DATA_DIR ~/.omniroute 資料庫和設定儲存位置

OmniRoute 會向我收費嗎? 不會 — 它是免費的開源軟體,在您的機器上執行。您只直接向付費供應商付費。OmniRoute 沒有帳單系統。 免費供應商真的無限嗎? 基本上是的 — Qoder、Pollinations、LongCat 和 Cloudflare 是免費的,沒有每帳戶額度上限。Kiro 也是免費的,但每帳戶每月約 50 額度上限。在 Combo 中堆疊多個免費供應商,自動備援讓您以 $0 持續使用。 壓縮會損害品質嗎? 不會 — 它只壓縮輸入;程式碼、URL、JSON 始終受保護。 在被封鎖 AI 的地區能用嗎? 可以 — 3 層代理 + 1proxy 市場可達所有 231 個供應商。

📖 User Guide · API Reference · Environment Config

🐛 故障排除
問題 快速修復
"Language model did not provide messages" 供應商配額用盡 → 使用 Combo 備援
速率限制(429 新增備援:cc/claude → glm/glm-4.7 → if/kimi-k2-thinking
OAuth 令牌過期 自動重新整理;如果卡住,在 Providers 中刪除並重新驗證
unsupported_country_region_territory 在 Settings → Proxy 中設定代理
Docker SQLite 鎖定 使用 --stop-timeout 40 進行乾淨的 WAL 檢查點
Node 執行時期錯誤 使用 Node >=22.0.0 <23>=24.0.0 <27

🐛 回報錯誤? 執行 npm run system-info 並附上 system-info.txt📖 docs/guides/TROUBLESHOOTING.md

📸 儀表板截圖
頁面 截圖 頁面 截圖
Providers Providers Combos Combos
Analytics Analytics Health Health
Translator Translator Settings Settings
CLI Tools CLI Tools Usage Logs Usage

📧 支援與社群

💬 與社群聊天 — Discord、Telegram 和 WhatsApp🌍 / 🇧🇷)連結在本 README 頂部



🛠️ 技術棧

  • 執行時期Node.js 22.x 或 24.x LTS(建議 24 LTS)— >=22.0.0 <23 || >=24.0.0 <27
  • 語言TypeScript 6.0 — 100% TypeScript,涵蓋 src/open-sse/(自 v2.0 起核心模組零 any
  • 框架Next.js 16 + React 19 + Tailwind CSS 4
  • 資料庫better-sqlite3SQLite+ LowDBJSON 舊版)— 領域狀態、代理日誌、MCP 稽核、路由決策、記憶、技能
  • 架構ZodMCP 工具 I/O 驗證、API 合約)
  • 協定MCPstdio/HTTP+ A2A v0.3JSON-RPC 2.0 + SSE
  • 串流Server-Sent EventsSSE+ WebSocket 橋接(/v1/ws
  • 驗證OAuth 2.0PKCE+ JWT + API 金鑰 + MCP 範圍授權
  • 測試Node.js 測試執行器 + Vitest14,965 個測試案例,涵蓋 517 個檔案 — 單元、整合、E2E、安全、生態系統)
  • 平台:桌面(Electron)、AndroidTermux)、PWA(任何瀏覽器)
  • CI/CDGitHub Actions(發布時自動 npm 發布 + Docker Hub
  • 網站omniroute.online
  • 套件npmjs.com/package/omniroute
  • Dockerhub.docker.com/r/diegosouzapw/omniroute
  • 彈性:斷路器、指數退避、反奔湧群、TLS 偽造、自動 Combo 自我修復

📖 文件

📘 入門指南

文件 說明
User Guide 供應商、Combo、CLI 整合、部署
Setup Guide 完整安裝方法、CLI 工具設定、協定設定、逾時調整
CLI Tools Guide Claude Code、Codex、Cursor、Cline、OpenClaw、Kilo、Copilot 的個別工具設定
Remote Mode 從筆記型電腦 CLI 透過範圍存取令牌驅動遠端 OmniRoute(VPS
Claude Code Config 將 Claude Code 指向 OmniRoute(本地/遠端),附 launch + 每模型設定檔
Quick Start 3 步驟安裝 → 連接 → 設定

🔧 維運與部署

文件 說明
Docker Guide Docker 執行、Compose 設定檔、Caddy HTTPS、隧道、映像標籤
Podman Guide Quadlet systemd 整合、podman-compose、SELinux
VM Deployment 完整指南:VM + nginx + Cloudflare 設定
Fly.io Deployment 部署到 Fly.io,附持久儲存
Termux Guide 在 Android 上透過 Termux 執行 OmniRoute
PWA Guide Progressive Web App 安裝、快取、架構
Uninstall Guide 所有安裝方法的完整移除
Environment Config 完整 .env 變數和參考

🧠 功能與架構

文件 說明
Architecture 系統架構、資料流程和內部運作
Compression Guide 7 選項管線:off / lite / standard / aggressive / ultra / RTK / stacked
RTK Compression 命令輸出壓縮、過濾器、信任、驗證、原始輸出恢復
Compression Engines Caveman、RTK、堆疊管線、儀表板/API/MCP 表面
Resilience Guide 斷路器、冷卻、佇列、反奔湧群、TLS 偽造
Auto-Combo Engine 9 因素評分、模式包、自我修復
Proxy Guide 3 層代理系統、1proxy 市場、註冊表 CRUD
Free Tiers 25+ 免費 API 供應商整合目錄
Features Gallery 附截圖的視覺儀表板導覽
Codebase Documentation 初學者友善的程式碼庫導覽

🤖 協定與 API

文件 說明
API Reference 所有端點附範例
OpenAPI Spec OpenAPI 3.0 規格
MCP Server 87 個 MCP 工具、IDE 設定、Python/TS/Go 客戶端
MCP Server Guide MCP 安裝、傳輸和工具參考
A2A Server JSON-RPC 2.0 協定、技能、串流、任務管理
A2A Server Guide A2A 代理卡片、任務、技能和串流

📋 專案與品質

文件 說明
Contributing 開發設定和指南
Changelog 完整每個版本的發布歷史
Security Policy 漏洞回報和安全實踐
i18n Guide 40+ 語言支援、翻譯工作流程、RTL
Release Checklist 發布前驗證步驟
Coverage Plan 測試覆蓋率策略和 14,965 測試套件

頂級貢獻者

OmniRoute 由充滿熱情的開源社群塑造。這些個人做出了卓越貢獻,直接影響了專案的品質、穩定性和影響力。謝謝你們。

oyi77
oyi77

🥇 190 commits • +72K lines
Analytics engine, SQL aggregations,
proxy marketplace, test coverage
Chris Staley
Chris Staley

🥈 72 commits • +5.7K lines
SSE stream hardening, Responses API,
Gemini pagination, test regression fixes
zenobit
zenobit

🥉 62 commits • +24K lines
CI/CD pipeline, i18n for 33 languages,
Void Linux package, platform fixes
R.D. & Randi
R.D. & Randi

🏅 107 commits • +28K lines
Endpoints page, tunnel integrations,
Docker workflows, A2A status, compression UI
benzntech
benzntech

🏅 20 commits • +7.5K lines
Electron desktop app, auto-updater,
release build workflows, cross-platform CI

🙏 這些貢獻者的功能、錯誤修復和基礎設施改進是 OmniRoute 可靠且功能豐富的核心部分。每一個 Pull Request、每一個測試案例、每一個 i18n 翻譯檔案都很重要。開源是由像他們這樣的人建構的。



👥 貢獻者

Contributors

如何貢獻

  1. Fork 倉庫
  2. 建立您的功能分支(git checkout -b feature/amazing-feature
  3. 提交您的變更(git commit -m 'Add amazing feature'
  4. 推送到分支(git push origin feature/amazing-feature
  5. 開啟 Pull Request

詳細指南請參見 CONTRIBUTING.md

發布新版本

# 建立發布 — npm publish 自動執行
gh release create v3.8.2 --title "v3.8.2" --generate-notes

📊 Stars

Star History Chart

🌍 StarMapper

StarMapper

🙏 致謝

OmniRoute 站在巨人的肩膀上。它始於 9router 的分支和 Go 專案 CLIProxyAPI 的 TypeScript 移植 — 從那裡開始,下面的每個子系統都受到先行開源專案的啟發。每一個都塑造了 OmniRoute 的具體部分。這是我們對它們所有人的感謝。🙏

星星數截至 2026 年 6 月 — 去給這些專案一顆星。

🧬 淵源與閘道

專案 啟發 OmniRoute 的方式
9router · decolua 17.9k 此分叉所基於的原始專案 — 此處以多模態 API 和完整的 TypeScript 重寫進行擴展。
CLIProxyAPI · router-for-me 37.8k 啟發此 JavaScript/TypeScript 移植的 Go 實作。
LiteLLM · BerriAI 50.8k AI 閘道,其公開定價資料集為我們的成本追蹤同步提供資料,其供應商正規化模型啟發了我們的路由。

🗜️ 上下文與 Token 壓縮 — 引擎

專案 啟發 OmniRoute 的方式
Caveman · JuliusBrussee 74.5k 病毒式"為什麼用很多 Token 而不用少量 Token"專案 — 其原始人語哲學為我們的標準壓縮模式和 30+ 填充詞/濃縮規則提供動力。
RTK Rust Token Killer · rtk-ai 63.6k 高效能命令輸出壓縮 — 啟發了我們的 RTK 引擎、JSON 過濾器 DSL、原始輸出恢復和堆疊 RTK → Caveman 管線。
headroom · chopratejas 33.6k 可逆上下文壓縮(SmartCrusher)— 啟發了我們的 headroom 引擎和 ccr 檢索標記模式。
LLMLingua · Microsoft 6.3k 提示壓縮研究(LLMLingua / LLMLingua-2)— 啟發了我們的非同步、程式碼安全、fail-open llmlingua 引擎。
llmlingua-2-js · atjsh 27 JS/ONNX 移植(MobileBERT / XLM-RoBERTa)用作 LLMLingua 引擎的工作執行緒後端。
Troglodita · Lenine Júnior 15 PT-BR Token 壓縮 — 為我們的 pt-BR 語言包提供動力:針對巴西葡萄牙語文法調整的冗詞減少和填充詞移除。
ponytail · DietrichGebert 51.4k 病毒式"懶惰資深開發者" YAGNI 編碼技能 — 啟發了我們的 less-code Output Style:最小可行變更控制,減少生成的程式碼(Caveman 精簡文章的輸出軸夥伴)。

🧩 緊湊格式、Token 研究和程式碼感知工具

專案 啟發 OmniRoute 的方式
TOON · toon-format 24.6k Token 導向物件表示法 — 其欄式、標頭+行模型塑造了我們的表格壓縮階段。
GCF · Blackwell Systems 11 架構感知的"LLM 用 JSON"表示法 — 共同啟發了我們使用 [N rows] 標記的無損同構陣列壓縮。
token-optimizer-mcp · ooples 409 Brotli/SQLite 快取 + 每會話上下文 delta — 啟發了我們的 session-dedup 引擎。
token-savior · Mibayy 993 Bash 輸出壓縮 + MCP 設定檔 — 啟發了我們的壓縮 bail-out 紀律和 MCP 工具清單縮減。
ts-morph · David Sherret 6.1k TypeScript 編譯器 API 工具包 — 啟發了我們基於解析器的註解移除,可保留字串、範本和正則表達式文字。

🧠 記憶與 RAG

專案 啟發 OmniRoute 的方式
Mem0 · mem0ai 58.9k 通用記憶層 — 其代理作為寫入/讀取邊界模型塑造了我們的記憶架構。
Letta (MemGPT) · letta-ai 23.4k 具有分層記憶的狀態化代理 — 啟發了我們的 Context Control & RecoveryCCR)分層模型。
WFGY · onestardao 1.8k 16 種常見 RAG/LLM 失敗模式的 ProblemMap 分類法 — 我們故障排除指南中的共享詞彙。

🛰️ 流量檢查、MITM 和透明代理

專案 啟發 OmniRoute 的方式
llm-interceptor · chouzz 46 編碼助手 ↔ LLM 流量的 MITM 攔截/分析 — 我們的 Traffic Inspector 移植其 SSE 合併、對話正規化、主機傳遞和秘密遮罩。
ProxyBridge · InterceptSuite 5.1k 透明每程序代理路由 — 啟發了我們的崩潰安全 MITM 拆卸、socket 空閒逾時、/proc 程序歸屬和 TPROXY 捕獲。

📚 模型資料、可觀測性與 UI

專案 啟發 OmniRoute 的方式
models.dev · SST / OpenCode 5.1k AI 模型規格、定價和能力的開放資料庫 — 原生同步到我們的模型目錄。
React Flow / xyflow · xyflow 37.1k 驅動我們即時 Compression Studio 和 Combo/Routing Studio 的基於節點的圖形函式庫。
LangGraph · LangChain 35.1k LangGraph Studio 的即時工作流程圖形視覺化啟發了我們 Studios 的即時級聯視圖。
Langfuse · Langfuse 29.3k 其 trace → span → generation 可觀測性模型塑造了我們的 Compression Studio 瀑布圖。
Kiali · Kiali 3.6k Istio 服務網格可觀測性 — 啟發了我們在 Routing/Combo Studio 中的斷路器徽章和錯誤邊緣視覺效果。
lobe-icons · LobeHub 2.1k 在我們儀表板上呈現供應商圖示的 AI/LLM 品牌標誌。

🛡️ 安全

專案 啟發 OmniRoute 的方式
awesome-secure-defaults · tldrsec 708 一個精選的安全預設函式庫列表,引導我們的安全選擇(Helmet.js、DOMPurify、ssrf-req-filter、safe-regex、Google Tink)。

❤️ 支援

OmniRoute 是免費且開源的,在公開環境中建構和維護。如果它為您節省了時間或金錢,請考慮支援其開發:

  • 為倉庫加星 — 這確實有助於提高能見度
  • 💖 GitHub Sponsors — 資助持續維護和新供應商
  • 🐛 Discussions 中回報錯誤和分享意見回饋

📄 授權

MIT 授權 — 詳情請參見 LICENSE


⬆ 回到頂部 · 為開源 AI 社群用心建構。

OmniRoute v3.8.24 · Node ≥22.0.0 · MIT License · omniroute.online