Наблюдение, оценка и оптимизация ИИ с открытым исходным кодом
Opik помогает вам создавать, тестировать и оптимизировать приложения генеративного искусственного интеллекта, которые будут работать лучше, от прототипа до производства. От чат-ботов RAG до помощников по написанию кода и сложных агентских систем — Opik обеспечивает комплексное отслеживание, оценку, а также автоматические подсказки и оптимизацию инструментов, чтобы исключить догадки при разработке ИИ.
Opik (созданный Comet) — это платформа с открытым исходным кодом, предназначенная для оптимизации всего жизненного цикла приложений LLM. Это дает разработчикам возможность оценивать, тестировать, отслеживать и оптимизировать свои модели и агентные системы. Ключевые предложения включают в себя:
Комплексное наблюдение: глубокое отслеживание звонков LLM, регистрация разговоров и активности агентов.
Расширенная оценка: надежная оперативная оценка, LLM в качестве судьи и управление экспериментом.
Готовность к производству: масштабируемые панели мониторинга и онлайн-правила оценки для производства.
Оптимизатор агента Opik: специальный SDK и набор оптимизаторов для улучшения подсказок и агентов.
Opik Guardrails: функции, которые помогут вам реализовать безопасные и ответственные методы работы с искусственным интеллектом.
Ключевые возможности включают в себя:
Разработка и отслеживание:
Отслеживайте все вызовы и трассировки LLM с подробным контекстом во время разработки и производства (Quickstart).
Обширная интеграция сторонних разработчиков для удобства наблюдения: плавная интеграция с постоянно растущим списком платформ, встроенная поддержка многих крупнейших и самых популярных из них (включая недавние дополнения, такие как Google ADK, Autogen и Flowise AI). (Интеграции)
Аннотируйте трассировки и интервалы с помощью оценок обратной связи с помощью Python SDK или UI.
Вариант 2: Самостоятельное размещение Opik для полного контроля
Разверните Opik в своей среде. Выбирайте между Docker для локальных настроек или Kubernetes для масштабируемости.
Самостоятельный хостинг с Docker Compose (для локальной разработки и тестирования)
Это самый простой способ запустить локальный экземпляр Opik. Обратите внимание на новый скрипт установки ./opik.sh:
В среде Linux или Mac:
# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git
# Navigate to the repositorycd opik
# Start the Opik platform
./opik.sh
В среде Windows:
# Clone the Opik repositorygitclonehttps://github.com/comet-ml/opik.git# Navigate to the repositorycd opik# Start the Opik platformpowershell-ExecutionPolicyByPass-c".\\opik.ps1"
Профили услуг для разработки
Скрипты установки Opik теперь поддерживают профили сервисов для разных сценариев разработки:
# Start full Opik suite (default behavior)
./opik.sh
# Start only infrastructure services (databases, caches etc.)
./opik.sh --infra
# Start infrastructure + backend services
./opik.sh --backend
# Enable guardrails with any profile
./opik.sh --guardrails # Guardrails with full Opik suite
./opik.sh --backend --guardrails # Guardrails with infrastructure + backend
Используйте параметры --help или --info для устранения проблем. Dockerfiles теперь обеспечивает запуск контейнеров от имени пользователя без полномочий root для повышения безопасности. Когда все будет готово, вы можете посетить localhost:5173 в своем браузере! Подробные инструкции см. в Руководстве по локальному развертыванию.
Самостоятельный хостинг с Kubernetes и Helm (для масштабируемых развертываний)
Для производственных или крупномасштабных локальных развертываний Opik можно установить в кластере Kubernetes с помощью нашей диаграммы Helm. Нажмите на значок, чтобы просмотреть полное Руководство по установке Kubernetes с помощью Helm.
Important
Изменения в версии 1.7.0: проверьте журнал изменений на наличие важных обновлений и критических изменений.
💻 Клиентский SDK Opik
Opik предоставляет набор клиентских библиотек и REST API для взаимодействия с сервером Opik. Сюда входят SDK для Python, TypeScript и Ruby (через OpenTelemetry), обеспечивающие плавную интеграцию в ваши рабочие процессы. Подробные ссылки на API и SDK см. в Справочной документации по клиенту Opik.
Python SDK: быстрое начало работы
Чтобы начать работу с Python SDK:
Установите пакет:
# install using pip
pip install opik
# or install with uv
uv pip install opik
Настройте SDK Python, выполнив команду opik configure, которая запросит у вас адрес сервера Opik (для автономных экземпляров) или ключ API и рабочую область (для Comet.com):
opik configure
Tip
Вы также можете вызвать opik.configure(use_local=True) из своего кода Python, чтобы настроить SDK для запуска на локальной локальной установке, или предоставить ключ API и сведения о рабочей области непосредственно для Comet.com. Дополнительные параметры конфигурации см. в документации Python SDK.
Теперь вы готовы начать регистрацию трассировок с помощью Python SDK.
📝 Регистрация трассировок с помощью интеграций
Самый простой способ регистрировать трассировки — использовать одну из наших прямых интеграций. Opik поддерживает широкий спектр платформ, включая недавние дополнения, такие как Google ADK, Autogen, AG2 и Flowise AI:
Интеграция
Описание
Документация
АДК
Журнал трассировки для пакета разработки агента Google (ADK)
Если используемая вами платформа не указана выше, смело откройте вопрос или отправьте запрос на интеграцию.
Если вы не используете ни одну из вышеперечисленных платформ, вы также можете использовать декоратор функции track для регистрации трассировок:
importopikopik.configure(use_local=True)# Run locally@opik.trackdefmy_llm_function(user_question:str)->str:# Your LLM code herereturn"Hello"
Tip
Декоратор треков можно использовать в сочетании с любой из наших интеграций, а также для отслеживания вызовов вложенных функций.
🧑⚖️ LLM как метрика судьи
Python Opik SDK включает в себя ряд показателей LLM в качестве оценочных показателей, которые помогут вам оценить ваше приложение LLM. Подробную информацию об этом можно найти в документации по метрикам.
Чтобы использовать их, просто импортируйте соответствующую метрику и используйте функцию «score»:
fromopik.evaluation.metricsimportHallucinationmetric=Hallucination()score=metric.score(input="What is the capital of France?",output="Paris",context=["France is a country in Europe."])print(score)
Opik также включает в себя ряд готовых эвристических показателей, а также возможность создавать свои собственные. Подробную информацию об этом можно найти в документации по метрикам.
🔍 Оценка ваших заявок на получение степени LLM
Opik позволяет вам оценить ваше приложение LLM во время разработки через Datasets и Эксперименты. Панель мониторинга Opik предлагает расширенные диаграммы для экспериментов и улучшенную обработку больших кривых. Вы также можете запускать оценки в рамках своего конвейера CI/CD, используя нашу интеграцию PyTest.
⭐ Отметьте нас на GitHub
Если вы найдете Opik полезным, поставьте нам звезду! Ваша поддержка помогает нам расширять наше сообщество и продолжать совершенствовать продукт.
wehub-resource-sync
5a558eb09e
