Files
wehub-resource-sync 5a558eb09e
Backend Tests / discover-tests (push) Waiting to run
Backend Tests / ${{ matrix.name }} (push) Blocked by required conditions
Build and Publish SDK / build-and-publish (push) Waiting to run
Build Opik Docker Images / set-version (push) Waiting to run
Build Opik Docker Images / build-backend (push) Blocked by required conditions
Build Opik Docker Images / build-sandbox-executor-python (push) Blocked by required conditions
Build Opik Docker Images / build-python-backend (push) Blocked by required conditions
Build Opik Docker Images / build-frontend (push) Blocked by required conditions
Build Opik Docker Images / create-git-tag (push) Blocked by required conditions
ClickHouse Migration Cluster Check / validate-clickhouse-migrations (push) Waiting to run
Docs - Publish / run (push) Waiting to run
E2E Tests - Post Merge (v2) / 🧪 E2E v2 Tests (${{ github.event.inputs.tier || 't1' }}) (push) Waiting to run
E2E Tests - Post Merge (v2) / 📢 Slack Notification (push) Blocked by required conditions
Frontend Unit Tests / Test on Node 20 (push) Waiting to run
Guardrails E2E Tests / Select Python version matrix (push) Waiting to run
Guardrails E2E Tests / Guardrails E2E Tests ${{matrix.python_version}} (push) Blocked by required conditions
Guardrails E2E Tests / 📢 Slack Notification (push) Blocked by required conditions
Guardrails Backend Unit Tests / Guardrails Backend Unit Tests (push) Waiting to run
Guardrails Backend Unit Tests / 📢 Slack Notification (push) Blocked by required conditions
SDK Library Integration Tests Runner / Check Secrets (push) Waiting to run
SDK Library Integration Tests Runner / Missed OpenAI API Key Warning (push) Blocked by required conditions
SDK Library Integration Tests Runner / Build (push) Blocked by required conditions
SDK Library Integration Tests Runner / openai_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / langchain_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / langchain_legacy_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / llama_index_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / anthropic_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / mistral_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / groq_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / aisuite_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / haystack_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / dspy_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / crewai_v0_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / crewai_v1_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / genai_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / adk_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / adk_legacy_1_3_0_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / evaluation_metrics_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / bedrock_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / litellm_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / harbor_tests (push) Blocked by required conditions
SDK Library Integration Tests Runner / Slack Notification (push) Blocked by required conditions
Lint Opik Helm Chart / lint-helm-chart (Helm v3.21.0) (push) Waiting to run
Lint Opik Helm Chart / lint-helm-chart (Helm v4.2.0) (push) Waiting to run
Lint Opik Helm Chart / unittest-helm-chart (push) Waiting to run
Lint Opik Helm Chart / render-equality (push) Waiting to run
Opik Optimizer - Unit Tests / Opik Optimizer Unit Tests Python ${{matrix.python_version}} (push) Waiting to run
Python BE E2E Tests / Python BE E2E (push) Waiting to run
Python Backend Tests / run-python-backend-tests (push) Waiting to run
Python SDK Unit Tests / Python SDK Unit Tests ${{matrix.python_version}} (push) Waiting to run
Release Drafter / update_release_draft (push) Waiting to run
SDK E2E Libraries Integration Tests / Check Secrets (push) Waiting to run
SDK E2E Libraries Integration Tests / Missed OpenAI API Key Warning (push) Blocked by required conditions
SDK E2E Libraries Integration Tests / build-opik (push) Blocked by required conditions
SDK E2E Libraries Integration Tests / E2E Lib Integration Python ${{matrix.python_version}} (push) Blocked by required conditions
TypeScript SDK Integration Build & Publish / build-and-publish (opik-gemini) (push) Waiting to run
TypeScript SDK Integration Build & Publish / build-and-publish (opik-langchain) (push) Waiting to run
TypeScript SDK Integration Build & Publish / build-and-publish (opik-openai) (push) Waiting to run
TypeScript SDK Integration Build & Publish / build-and-publish (opik-otel) (push) Waiting to run
TypeScript SDK Integration Build & Publish / build-and-publish (opik-vercel) (push) Waiting to run
TypeScript SDK Library Integration Tests / Check Secrets (push) Waiting to run
TypeScript SDK Library Integration Tests / opik-vercel (Vercel AI SDK / eve) (push) Blocked by required conditions
TypeScript SDK Build & Publish / build-and-publish (push) Waiting to run
TypeScript SDK Unit Tests / Test on Node ${{ matrix.node-version }} (push) Waiting to run
TypeScript SDK Compatibility V1.x E2E Tests / Select Node version matrix (push) Has been cancelled
TypeScript SDK Compatibility V1.x E2E Tests / TypeScript SDK Compatibility V1.x E2E Tests Node ${{matrix.node_version}} (push) Has been cancelled
TypeScript SDK E2E Tests / TypeScript SDK E2E Tests Node ${{matrix.node_version}} (push) Has been cancelled
Opik Optimizer - E2E Tests / build-opik (push) Has been cancelled
TypeScript SDK Compatibility V1.x E2E Tests / build-opik (push) Has been cancelled
Python SDK E2E Tests / Select Python version matrix (push) Has been cancelled
Python SDK E2E Tests / Python SDK E2E Tests ${{matrix.python_version}} (push) Has been cancelled
Python SDK E2E Tests / build-opik (push) Has been cancelled
Python SDK Compatibility V1.x E2E Tests / Select Python version matrix (push) Has been cancelled
Python SDK Compatibility V1.x E2E Tests / Python SDK Compatibility V1.x E2E Tests ${{matrix.python_version}} (push) Has been cancelled
Python SDK Compatibility V1.x E2E Tests / build-opik (push) Has been cancelled
TypeScript SDK E2E Tests / Select Node version matrix (push) Has been cancelled
TypeScript SDK E2E Tests / build-opik (push) Has been cancelled
Opik Optimizer - E2E Tests / Opik Optimizer E2E Tests Python ${{matrix.python_version}} (push) Has been cancelled
Opik Optimizer - E2E Tests / Opik Optimizer Integration Smoke Tests (push) Has been cancelled
🐙 Code Quality / detect (push) Has been cancelled
🐙 Code Quality / lint (${{ matrix.leg.name }}) (push) Has been cancelled
🐙 Code Quality / summary (push) Has been cancelled
chore: import upstream snapshot with attribution
2026-07-13 13:25:44 +08:00

37 KiB
Raw Permalink Blame History

注意:このファイルはAIを使用して機械翻訳されています。翻訳の改善への貢献を歓迎します!

Comet Opik logo
Opik

AI向けオープンソースのオブザーバビリティ、評価、最適化プラットフォーム

Opikは、プロトタイプから本番まで、より良く動作する生成AIアプリケーションの構築、テスト、最適化を支援します。RAGチャットボットやコードアシスタント、複雑なエージェンティックシステムに至るまで、Opikは包括的なトレース、評価、そしてプロンプトやツールの自動最適化を提供し、AI開発における試行錯誤を取り除きます。

Python SDK License Build

WebサイトSlack コミュニティTwitter変更履歴ドキュメント


Opik platform screenshot (thumbnail)

🚀 Opikとは?

OpikCometによる開発)は、LLMアプリケーションのライフサイクル全体を効率化するためのオープンソースプラットフォームです。開発者がモデルやエージェンシーシステムを評価、テスト、監視、最適化できるようにします。主な提供機能は次のとおりです:

  • 包括的なオブザーバビリティ:LLM呼び出しの詳細なトレーシング、会話ログ、エージェントアクティビティの記録。
  • 高度な評価:プロンプト評価、LLM-as-a-judge、実験管理の強力な機能。
  • 本番環境対応:スケーラブルな監視ダッシュボードとオンライン評価ルール。
  • Opik Agent Optimizer:プロンプトやエージェントを強化する専用SDKとオプティマイザー。
  • Opik Guardrails:安全で責任あるAI実践を支援する機能。

主な機能:

  • 開発 & トレーシング:

    • 開発中および本番環境での詳細コンテキスト付きLLM呼び出しとトレースの追跡(クイックスタート)。
    • 幅広いサードパーティ統合によるオブザーバビリティ:Google ADK、Autogen、Flowise AIなどの最新フレームワークをネイティブサポート(統合一覧)。
    • Python SDKUIを使ったトレースやスパンへのフィードバックスコアの注釈。
    • Prompt Playgroundでプロンプトやモデルを試行。
  • 評価 & テスト:

  • 本番監視 & 最適化:

    • 高ボリュームの本番トレース記録:Opikはスケールを重視(1日あたり4,000万以上のトレース)。
    • Opikダッシュボードでフィードバックスコア、トレース数、トークン使用量を時間推移で監視(ダッシュボード)。
    • オンライン評価ルールを使った本番問題の検出。
    • Opik Agent OptimizerOpik Guardrails で本番環境のLLMアプリを継続的に改善・保護。

Tip

現在Opikにない機能が必要な場合は、ぜひ新しい機能リクエストを提出してください 🚀


🛠️ Opikサーバーのインストール

数分でOpikサーバーを起動できます。ニーズに合ったオプションを選んでください:

オプション1:Comet.comクラウド(最も簡単 & 推奨)

セットアップ不要で即時にOpikにアクセスできます。クイックスタートやメンテナンス不要の方に最適。

👉 無料のCometアカウントを作成

オプション2:セルフホストによる完全管理

独自環境にOpikをデプロイ。ローカルはDocker、スケーラブル環境はKubernetesを選択。

Docker Composeでのセルフホスト(ローカル開発 & テスト向け)

最も簡単にローカルOpikインスタンスを起動する方法です。新しい .opik.sh インストールスクリプトに注目:

On Linux or Mac Environment:

# Opikリポジトリをクローン
git clone https://github.com/comet-ml/opik.git

# リポジトリへ移動
cd opik

# Opikプラットフォームを起動
./opik.sh

On Windows Environment:

# Opikリポジトリをクローン
git clone https://github.com/comet-ml/opik.git

# リポジトリへ移動
cd opik

# Opikプラットフォームを起動
powershell -ExecutionPolicy ByPass -c ".\\opik.ps1"

開発用サービスプロファイル

Opikインストールスクリプトは、異なる開発シナリオ向けのサービスプロファイルをサポートしています:

# フルOpikスイート(デフォルト動作)
./opik.sh

# インフラストラクチャサービスのみ(データベース、キャッシュなど)
./opik.sh --infra

# インフラストラクチャ + バックエンドサービス
./opik.sh --backend

# 任意のプロファイルでガードレールを有効化
./opik.sh --guardrails # フルOpikスイート + ガードレール
./opik.sh --backend --guardrails # インフラストラクチャ + バックエンド + ガードレール

--help または --info オプションでトラブルシューティングが可能。Dockerfileは非rootユーザー実行を保証し、セキュリティを強化。起動後、ブラウザで localhost:5173 を開くだけです。詳細は ローカルデプロイガイド をご覧ください。

Kubernetes & Helmでのセルフホスト(大規模デプロイ向け)

本番や大規模セルフホスト環境では、Helmチャートを使ってKubernetesクラスタにインストールできます。詳しくはバッジをクリックして Kubernetesインストールガイド (Helm) をご参照ください。

Kubernetes

Important

バージョン 1.7.0 の変更:重要な更新と破壊的変更については 変更履歴 をご確認ください。

💻 OpikクライアントSDK

Opikは、Opikサーバーとやり取りするためのクライアントライブラリ群とREST APIを提供します。Python、TypeScript、RubyOpenTelemetry経由)のSDKがあり、ワークフローへのシームレスな統合が可能です。詳細は Opikクライアントリファレンス をご覧ください。

Python SDKクイックスタート

Python SDKを始めるには:

パッケージをインストール:

# pipでインストール
pip install opik

# または uv を使ってインストール
uv pip install opik

opik configure コマンドを実行して、Opikサーバーアドレス(セルフホストの場合)またはAPIキーとワークスペース(Comet.comの場合)を入力します:

opik configure

Tip

Pythonコード内で opik.configure(use_local=True) を呼び出してローカルセルフホスト構成にしたり、APIキーとワークスペースを直接指定することも可能です。詳細は Python SDKドキュメント を参照してください。

これで Python SDK を使ったトレースのログ記録が可能になります。

📝 トレースのログ記録と統合

最も簡単なトレース記録方法は、直接統合を使うことです。Opikは以下を含む多種多様なフレームワークをサポートしています:

統合 説明 ドキュメント
ADK Google Agent Development Kit (ADK) のトレースを記録 ドキュメント
AG2 AG2 LLM 呼び出しのトレースを記録 ドキュメント
aisuite aisuite LLM 呼び出しのトレースを記録 ドキュメント
Agent Spec Agent Spec 呼び出しのトレースを記録 ドキュメント
Agno Agno エージェントオーケストレーションフレームワーク呼び出しのトレースを記録 ドキュメント
Anthropic Anthropic LLM 呼び出しのトレースを記録 ドキュメント
Autogen Autogen エージェンシーワークフローのトレースを記録 ドキュメント
Bedrock Amazon Bedrock LLM 呼び出しのトレースを記録 ドキュメント
BeeAI (Python) BeeAI Python エージェントフレームワーク呼び出しのトレースを記録 ドキュメント
BeeAI (TypeScript) BeeAI TypeScript エージェントフレームワーク呼び出しのトレースを記録 ドキュメント
BytePlus BytePlus LLM 呼び出しのトレースを記録 ドキュメント
CrewAI CrewAI 呼び出しのトレースを記録 ドキュメント
Cloudflare Workers AI Cloudflare Workers AI 呼び出しのトレースを記録 ドキュメント
Cohere Cohere LLM 呼び出しのトレースを記録 ドキュメント
Cursor Cursor 会話のトレースを記録 ドキュメント
DeepSeek DeepSeek LLM 呼び出しのトレースを記録 ドキュメント
Dify Dify エージェンシー実行のトレースを記録 ドキュメント
DSPy DSPy 実行のトレースを記録 ドキュメント
Fireworks AI Fireworks AI LLM 呼び出しのトレースを記録 ドキュメント
Flowise AI Flowise AI ビジュアルLLMアプリのトレースを記録 ドキュメント
Gemini (Python) Google Gemini LLM 呼び出しのトレースを記録 ドキュメント
Gemini (TypeScript) Google Gemini TypeScript SDK 呼び出しのトレースを記録 ドキュメント
Groq Groq LLM 呼び出しのトレースを記録 ドキュメント
Guardrails Guardrails AI 検証のトレースを記録 ドキュメント
Haystack Haystack 呼び出しのトレースを記録 ドキュメント
Harbor Harbor ベンチマーク評価トライアルのトレースを記録 ドキュメント
Instructor Instructor 経由のLLM呼び出しトレースを記録 ドキュメント
LangChain (Python) LangChain LLM 呼び出しのトレースを記録 ドキュメント
LangChain (JS/TS) LangChain JavaScript/TypeScript 呼び出しのトレースを記録 ドキュメント
LangGraph LangGraph 実行のトレースを記録 ドキュメント
Langflow Langflow ビジュアルAIビルダーのトレースを記録 ドキュメント
LiteLLM LiteLLM モデル呼び出しのトレースを記録 ドキュメント
LiveKit Agents LiveKit Agents AI エージェントフレームワーク呼び出しのトレースを記録 ドキュメント
Mastra Mastra AI ワークフローフレームワーク呼び出しのトレースを記録 ドキュメント
Microsoft Agent Framework (Python) Microsoft Agent Framework 呼び出しのトレースを記録 ドキュメント
Microsoft Agent Framework (.NET) Microsoft Agent Framework .NET 呼び出しのトレースを記録 ドキュメント
Mistral AI Mistral AI LLM 呼び出しのトレースを記録 ドキュメント
n8n n8n ワークフロー実行のトレースを記録 ドキュメント
LlamaIndex LlamaIndex LLM 呼び出しのトレースを記録 ドキュメント
Ollama Ollama LLM 呼び出しのトレースを記録 ドキュメント
OpenAI (Python) OpenAI LLM 呼び出しのトレースを記録 ドキュメント
OpenAI (JS/TS) OpenAI JavaScript/TypeScript 呼び出しのトレースを記録 ドキュメント
OpenAI Agents OpenAI Agents SDK 呼び出しのトレースを記録 ドキュメント
OpenClaw OpenClaw エージェント実行のトレースを記録 ドキュメント
Novita AI Novita AI LLM 呼び出しのトレースを記録 ドキュメント
OpenRouter OpenRouter LLM 呼び出しのトレースを記録 ドキュメント
OpenTelemetry OpenTelemetry 対応呼び出しのトレースを記録 ドキュメント
OpenWebUI OpenWebUI の会話のトレースを記録 ドキュメント
Pipecat Pipecat リアルタイム音声エージェント呼び出しのトレースを記録 ドキュメント
Predibase Predibase LLM 呼び出しのトレースを記録 ドキュメント
Pydantic AI PydanticAI エージェント呼び出しのトレースを記録 ドキュメント
Ragas Ragas 評価のトレースを記録 ドキュメント
Smolagents Smolagents エージェント呼び出しのトレースを記録 ドキュメント
Semantic Kernel Microsoft Semantic Kernel 呼び出しのトレースを記録 ドキュメント
Spring AI Spring AI フレームワーク呼び出しのトレースを記録 ドキュメント
Strands Agents Strands Agents 呼び出しのトレースを記録 ドキュメント
Together AI Together AI LLM 呼び出しのトレースを記録 ドキュメント
Vercel AI SDK Vercel AI SDK 呼び出しのトレースを記録 ドキュメント
VoltAgent VoltAgent エージェントフレームワーク呼び出しのトレースを記録 ドキュメント
watsonx IBM watsonx LLM 呼び出しのトレースを記録 ドキュメント
xAI Grok xAI Grok LLM 呼び出しのトレースを記録 ドキュメント

Tip

リストにないフレームワークを使用している場合は、Issueを開くかPRを提出してください。

フレームワークを使用しない場合は、track デコレータを使ってトレースを記録できます(詳細):

import opik

opik.configure(use_local=True) # ローカル実行

@opik.track
def my_llm_function(user_question: str) -> str:
    # あなたのLLMコードをここに記述
    return "こんにちは"

Tip

trackデコレータは統合と併用でき、ネストされた関数呼び出しのトラッキングにも対応します。

🧑‍⚖️ LLMをジャッジとして

Python Opik SDKにはLLM-as-a-judge用メトリクスが多数含まれており、LLMアプリの評価に役立ちます。詳細は メトリクスドキュメント をご覧ください。

使用例:

from opik.evaluation.metrics import Hallucination

metric = Hallucination()
score = metric.score(
    input="フランスの首都は何ですか?",
    output="パリ",
    context=["フランスはヨーロッパの国です。"]
)
print(score)

Opikには事前定義のヒューリスティックメトリクスも多数含まれており、独自メトリクスの作成も可能です。詳細は同じく メトリクスドキュメント をご覧ください。

🔍 アプリケーションの評価

開発中の評価には データセット実験 を活用できます。Opikダッシュボードは実験のチャートを強化し、大規模トレースの扱いを改善します。CI/CDへの組み込みには PyTest統合 をご利用ください。

GitHubでスターを

Opikがお役に立ちましたら、ぜひスターをお願いします!コミュニティの拡大と製品改善の励みになります。

Star History Chart

🤝 貢献

Opikへの貢献方法は多数あります:

詳細は 貢献ガイドライン をご覧ください。