comet-ml--opik/readme_HI.md

नोट: यह फ़ाइल मशीन द्वारा अनुवादित की गई है। अनुवाद में सुधार के लिए आपका स्वागत है!

English | 简体中文 | 日本語 | Português (Brasil) | 한국어
Español | Français | Deutsch | Русский | العربية | हिन्दी | Türkçe

ओपिक

ओपन-सोर्स एआई अवलोकन, मूल्यांकन और अनुकूलन

ओपिक आपको जेनरेटिव एआई एप्लिकेशन बनाने, परीक्षण करने और अनुकूलित करने में मदद करता है जो प्रोटोटाइप से उत्पादन तक बेहतर ढंग से चलता है। आरएजी चैटबॉट्स से लेकर कोड असिस्टेंट से लेकर जटिल एजेंटिक सिस्टम तक, ओपिक एआई विकास से अनुमान लगाने के लिए व्यापक ट्रेसिंग, मूल्यांकन और स्वचालित प्रॉम्प्ट और टूल अनुकूलन प्रदान करता है।

वेबसाइट • स्लैक कम्युनिटी • ट्विटर • Changelog • दस्तावेज़ीकरण

🚀 Opik क्या है? • 🛠️ Opik सर्वर इंस्टालेशन • 💻 Opik क्लाइंट SDK • 📝 लॉगिंग ट्रेस
🧑‍⚖️ जज के रूप में LLM • 🔍 आपके आवेदन का मूल्यांकन • ⭐ स्टार अस • 🤝 योगदान

🚀ओपिक क्या है?

ओपिक (Comet द्वारा निर्मित) एक ओपन-सोर्स प्लेटफ़ॉर्म है जिसे एलएलएम अनुप्रयोगों के संपूर्ण जीवनचक्र को सुव्यवस्थित करने के लिए डिज़ाइन किया गया है। यह डेवलपर्स को अपने मॉडल और एजेंटिक सिस्टम का मूल्यांकन, परीक्षण, निगरानी और अनुकूलन करने का अधिकार देता है। प्रमुख पेशकशों में शामिल हैं:

• व्यापक अवलोकन: एलएलएम कॉल, वार्तालाप लॉगिंग और एजेंट गतिविधि का गहन पता लगाना।
• उन्नत मूल्यांकन: मजबूत त्वरित मूल्यांकन, एलएलएम-ए-जज, और प्रयोग प्रबंधन।
• उत्पादन के लिए तैयार: उत्पादन के लिए स्केलेबल निगरानी डैशबोर्ड और ऑनलाइन मूल्यांकन नियम।
• ओपिक एजेंट ऑप्टिमाइज़र: संकेतों और एजेंटों को बढ़ाने के लिए समर्पित एसडीके और ऑप्टिमाइज़र का सेट।
• ओपिक रेलिंग: सुरक्षित और जिम्मेदार एआई प्रथाओं को लागू करने में आपकी मदद करने वाली सुविधाएँ।

प्रमुख क्षमताओं में शामिल हैं:

• विकास एवं अनुरेखण:

• विकास और उत्पादन के दौरान विस्तृत संदर्भ के साथ सभी एलएलएम कॉल और ट्रेस को ट्रैक करें (क्विकस्टार्ट)।

• आसान अवलोकन के लिए व्यापक तृतीय-पक्ष एकीकरण: फ्रेमवर्क की बढ़ती सूची के साथ निर्बाध रूप से एकीकृत, कई सबसे बड़े और सबसे लोकप्रिय लोगों को मूल रूप से समर्थन (Google ADK, ऑटोजेन, और फ्लोवाइज एआई जैसे हालिया परिवर्धन सहित)। (एकीकरण)

• पायथन के माध्यम से फीडबैक स्कोर के साथ निशान और विस्तार को एनोटेट करें SDK या यूआई।

• प्रॉम्प्ट प्लेग्राउंड में संकेतों और मॉडलों के साथ प्रयोग करें।

• मूल्यांकन एवं परीक्षण:

• डेटासेट के साथ अपने एलएलएम एप्लिकेशन मूल्यांकन को स्वचालित करें और प्रयोग।

• मतिभ्रम का पता लगाने जैसे जटिल कार्यों के लिए शक्तिशाली एलएलएम-ए-जज मेट्रिक्स का लाभ उठाएं। संयम, और RAG मूल्यांकन (उत्तर प्रासंगिकता, संदर्भ परिशुद्धता)।

• हमारे PyTest एकीकरण के साथ अपने CI/CD पाइपलाइन में मूल्यांकन को एकीकृत करें।

• उत्पादन निगरानी एवं अनुकूलन:

• उत्पादन निशानों की उच्च मात्रा लॉग करें: ओपिक को स्केल (40M+ निशान/दिन) के लिए डिज़ाइन किया गया है।

• ओपिक डैशबोर्ड में समय के साथ फीडबैक स्कोर, ट्रेस काउंट और टोकन उपयोग की निगरानी करें।

• उत्पादन समस्याओं की पहचान करने के लिए एलएलएम-ए-जज मेट्रिक्स के साथ ऑनलाइन मूल्यांकन नियम का उपयोग करें।

• उत्पादन में अपने एलएलएम अनुप्रयोगों को लगातार बेहतर बनाने और सुरक्षित करने के लिए ओपिक एजेंट ऑप्टिमाइज़र और ओपिक रेलिंग का लाभ उठाएं।

Tip

यदि आप उन सुविधाओं की तलाश कर रहे हैं जो ओपिक के पास आज नहीं हैं, तो कृपया एक नया सुविधा अनुरोध करें 🚀

🛠️ ओपिक सर्वर इंस्टालेशन

अपने ओपिक सर्वर को मिनटों में चालू करें। वह विकल्प चुनें जो आपकी आवश्यकताओं के लिए सबसे उपयुक्त हो:

विकल्प 1: Comet.com क्लाउड (सबसे आसान और अनुशंसित)

बिना किसी सेटअप के तुरंत ओपिक तक पहुंचें। त्वरित शुरुआत और परेशानी मुक्त रखरखाव के लिए आदर्श।

👉 अपना निःशुल्क धूमकेतु खाता बनाएं

विकल्प 2: पूर्ण नियंत्रण के लिए सेल्फ-होस्ट ओपिक

ओपिक को अपने परिवेश में तैनात करें। स्थानीय सेटअप के लिए डॉकर या स्केलेबिलिटी के लिए कुबेरनेट्स में से चुनें।

डॉकर कंपोज़ के साथ स्व-होस्टिंग (स्थानीय विकास और परीक्षण के लिए)

स्थानीय ओपिक इंस्टेंस को चलाने का यह सबसे सरल तरीका है। नई ./opik.sh इंस्टॉलेशन स्क्रिप्ट पर ध्यान दें:

Linux या Mac वातावरण पर:

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the repository
cd opik

# Start the Opik platform
./opik.sh

विंडोज़ परिवेश पर:

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the repository
cd opik

# Start the Opik platform
powershell -ExecutionPolicy ByPass -c ".\\opik.ps1"

विकास के लिए सेवा प्रोफ़ाइल

ओपिक इंस्टॉलेशन स्क्रिप्ट अब विभिन्न विकास परिदृश्यों के लिए सेवा प्रोफाइल का समर्थन करती है:

# Start full Opik suite (default behavior)
./opik.sh

# Start only infrastructure services (databases, caches etc.)
./opik.sh --infra

# Start infrastructure + backend services
./opik.sh --backend

# Enable guardrails with any profile
./opik.sh --guardrails # Guardrails with full Opik suite
./opik.sh --backend --guardrails # Guardrails with infrastructure + backend

समस्याओं के निवारण के लिए --help या --info विकल्पों का उपयोग करें। Dockerfiles अब बेहतर सुरक्षा के लिए कंटेनरों को गैर-रूट उपयोगकर्ताओं के रूप में चलाना सुनिश्चित करती है। एक बार सब ठीक हो जाए और चलने लगे, तो अब आप अपने ब्राउज़र पर localhost:5173 पर जा सकते हैं! विस्तृत निर्देशों के लिए, स्थानीय परिनियोजन मार्गदर्शिका देखें।

कुबेरनेट्स और हेल्म के साथ स्व-होस्टिंग (स्केलेबल तैनाती के लिए)

उत्पादन या बड़े पैमाने पर स्व-होस्ट की गई तैनाती के लिए, ओपिक को हमारे हेल्म चार्ट का उपयोग करके कुबेरनेट्स क्लस्टर पर स्थापित किया जा सकता है। संपूर्ण हेल्म का उपयोग करके कुबेरनेट्स इंस्टालेशन गाइड के लिए बैज पर क्लिक करें।

Important

संस्करण 1.7.0 परिवर्तन: कृपया महत्वपूर्ण अपडेट और महत्वपूर्ण परिवर्तनों के लिए चेंजलॉग देखें।

💻 ओपिक क्लाइंट एसडीके

Opik, Opik सर्वर के साथ इंटरैक्ट करने के लिए क्लाइंट लाइब्रेरीज़ का एक सूट और एक REST API प्रदान करता है। इसमें पायथन, टाइपस्क्रिप्ट और रूबी (ओपनटेलीमेट्री के माध्यम से) के लिए एसडीके शामिल हैं, जो आपके वर्कफ़्लो में निर्बाध एकीकरण की अनुमति देते हैं। विस्तृत एपीआई और एसडीके संदर्भों के लिए, ओपिक क्लाइंट रेफरेंस डॉक्यूमेंटेशन देखें।

पायथन एसडीके त्वरित प्रारंभ

पायथन एसडीके के साथ आरंभ करने के लिए:

पैकेज स्थापित करें:

# install using pip
pip install opik

# or install with uv
uv pip install opik

ओपिक कॉन्फिगर कमांड चलाकर पायथन एसडीके को कॉन्फ़िगर करें, जो आपको आपके ओपिक सर्वर पते (स्वयं-होस्ट किए गए उदाहरणों के लिए) या आपकी एपीआई कुंजी और कार्यक्षेत्र (Comet.com के लिए) के लिए संकेत देगा:

opik configure

Tip

आप एसडीके को स्थानीय स्व-होस्ट किए गए इंस्टॉलेशन पर चलाने के लिए कॉन्फ़िगर करने के लिए अपने पायथन कोड से opik.configure(use_local=True) पर भी कॉल कर सकते हैं, या Comet.com के लिए सीधे एपीआई कुंजी और कार्यक्षेत्र विवरण प्रदान कर सकते हैं। अधिक कॉन्फ़िगरेशन विकल्पों के लिए पायथन एसडीके दस्तावेज़ देखें।

अब आप पायथन एसडीके का उपयोग करके ट्रेस लॉगिंग शुरू करने के लिए तैयार हैं।

📝 एकीकरण के साथ लॉगिंग ट्रेस

निशानों को लॉग करने का सबसे आसान तरीका हमारे प्रत्यक्ष एकीकरणों में से किसी एक का उपयोग करना है। ओपिक फ्रेमवर्क की एक विस्तृत श्रृंखला का समर्थन करता है, जिसमें Google ADK, ऑटोजेन, AG2, और फ्लोवाइज AI जैसे हालिया परिवर्धन शामिल हैं:

एकीकरण	विवरण	दस्तावेज़ीकरण
एडीके	Google एजेंट डेवलपमेंट किट (ADK) के लिए लॉग ट्रेस	दस्तावेज़ीकरण
एजी2	AG2 LLM कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
AIsuite	ऐसुइट एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
अगनो	एग्नो एजेंट ऑर्केस्ट्रेशन फ्रेमवर्क कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
मानवशास्त्रीय	एंथ्रोपिक एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
ऑटोजेन	ऑटोजेन एजेंटिक वर्कफ़्लोज़ के लिए लॉग ट्रेस	दस्तावेज़ीकरण
आधारशिला	अमेज़ॅन बेडरॉक एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
BeeAI (पायथन)	बीएआई पायथन एजेंट फ्रेमवर्क कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
BeeAI (टाइपस्क्रिप्ट)	बीएआई टाइपस्क्रिप्ट एजेंट फ्रेमवर्क कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
बाइटप्लस	बाइटप्लस एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
क्लाउडफ्लेयर वर्कर्स एआई	क्लाउडफ्लेयर वर्कर्स एआई कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
सहभागी	कोहेयर एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
क्रूएआई	CrewAI कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
कर्सर	कर्सर वार्तालापों के लिए लॉग ट्रेस	दस्तावेज़ीकरण
डीपसीक	डीपसीक एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
दिफाई	Dify एजेंट रन के लिए लॉग ट्रेस	दस्तावेज़ीकरण
डीएसपीवाई	DSPy रन के लिए लॉग ट्रेस	दस्तावेज़ीकरण
आतिशबाजी एआई	फायरवर्क्स एआई एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
फ़्लोवाइज एआई	फ़्लोवाइज एआई विज़ुअल एलएलएम बिल्डर के लिए लॉग ट्रेस	दस्तावेज़ीकरण
मिथुन (पायथन)	Google जेमिनी एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
मिथुन (टाइपस्क्रिप्ट)	Google जेमिनी टाइपस्क्रिप्ट SDK कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
ग्रोक	ग्रोक एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
रेलिंग	रेलिंग एआई सत्यापन के लिए लॉग ट्रेस	दस्तावेज़ीकरण
हेस्टैक	हेस्टैक कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
हार्बर	हार्बर बेंचमार्क मूल्यांकन परीक्षणों के लिए लॉग निशान	दस्तावेज़ीकरण
प्रशिक्षक	प्रशिक्षक के साथ की गई एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
लैंगचेन (पायथन)	लैंगचेन एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
लैंगचेन (जेएस/टीएस)	लैंगचेन जावास्क्रिप्ट/टाइपस्क्रिप्ट कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
लैंगग्राफ	लैंगग्राफ निष्पादन के लिए लॉग ट्रेस	दस्तावेज़ीकरण
लैंगफ्लो	लैंगफ़्लो विज़ुअल एआई बिल्डर के लिए लॉग ट्रेस	दस्तावेज़ीकरण
लाइटएलएलएम	लाइटएलएलएम मॉडल कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
लाइवकिट एजेंट	लाइवकिट एजेंट्स एआई एजेंट फ्रेमवर्क कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
लामाइंडेक्स	LlamaIndex LLM कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
मस्तरा	मास्ट्रा एआई वर्कफ़्लो फ्रेमवर्क कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
माइक्रोसॉफ्ट एजेंट फ्रेमवर्क (पायथन)	माइक्रोसॉफ्ट एजेंट फ्रेमवर्क कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
माइक्रोसॉफ्ट एजेंट फ्रेमवर्क (.NET)	Microsoft एजेंट फ़्रेमवर्क .NET कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
मिस्ट्रल एआई	मिस्ट्रल एआई एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
n8n	n8n वर्कफ़्लो निष्पादन के लिए लॉग ट्रेस	दस्तावेज़ीकरण
नोविता एआई	नोविता एआई एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
ओलामा	ओलामा एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
ओपनएआई (पायथन)	OpenAI LLM कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
ओपनएआई (जेएस/टीएस)	OpenAI जावास्क्रिप्ट/टाइपस्क्रिप्ट कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
ओपनएआई एजेंट	OpenAI एजेंट SDK कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
OpenClaw	OpenClaw एजेंट रन के लिए लॉग ट्रेस	दस्तावेज़ीकरण
ओपनराउटर	ओपनराउटर एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
ओपनटेलीमेट्री	ओपनटेलीमेट्री समर्थित कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
ओपनवेबयूआई	OpenWebUI वार्तालापों के लिए लॉग ट्रेस	दस्तावेज़ीकरण
पाइपकैट	पिपेकैट रीयल-टाइम वॉयस एजेंट कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
प्रीडिबेस	प्रीडिबेस एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
पाइडेंटिक एआई	PydanticAI एजेंट कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
राग	रागों के मूल्यांकन के लिए लॉग निशान	दस्तावेज़ीकरण
सिमेंटिक कर्नेल	माइक्रोसॉफ्ट सिमेंटिक कर्नेल कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
स्मोलएजेंट्स	स्मोलएजेंट एजेंटों के लिए लॉग ट्रेस	दस्तावेज़ीकरण
स्प्रिंग एआई	स्प्रिंग एआई फ्रेमवर्क कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
स्ट्रैंड्स एजेंट	स्ट्रैंड्स एजेंटों की कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
एक साथ एआई	टुगेदर एआई एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
वर्सेल एआई एसडीके	वर्सेल एआई एसडीके कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
वोल्टएजेंट	VoltAgent एजेंट फ्रेमवर्क कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
वॉटसनएक्स	आईबीएम वाटसनएक्स एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण
xAI ग्रोक	xAI ग्रोक एलएलएम कॉल के लिए लॉग ट्रेस	दस्तावेज़ीकरण

Tip

यदि आप जिस ढांचे का उपयोग कर रहे हैं वह ऊपर सूचीबद्ध नहीं है, तो बेझिझक एक मुद्दा खोलें या एकीकरण के साथ एक पीआर सबमिट करें।

यदि आप उपरोक्त किसी भी फ्रेमवर्क का उपयोग नहीं कर रहे हैं, तो आप 'ट्रैक' फ़ंक्शन डेकोरेटर का उपयोग लॉग ट्रेस पर भी कर सकते हैं:

import opik

opik.configure(use_local=True) # Run locally

@opik.track
def my_llm_function(user_question: str) -> str:
    # Your LLM code here

    return "Hello"

Tip

ट्रैक डेकोरेटर का उपयोग हमारे किसी भी एकीकरण के साथ किया जा सकता है और इसका उपयोग नेस्टेड फ़ंक्शन कॉल को ट्रैक करने के लिए भी किया जा सकता है।

🧑‍⚖️ जज मेट्रिक्स के रूप में एलएलएम

पायथन ओपिक एसडीके में आपके एलएलएम एप्लिकेशन का मूल्यांकन करने में मदद करने के लिए जज मेट्रिक्स के रूप में कई एलएलएम शामिल हैं। इसके बारे में मेट्रिक्स दस्तावेज़ में और जानें।

उनका उपयोग करने के लिए, बस प्रासंगिक मीट्रिक आयात करें और `स्कोर' फ़ंक्शन का उपयोग करें:

from opik.evaluation.metrics import Hallucination

metric = Hallucination()
score = metric.score(
    input="What is the capital of France?",
    output="Paris",
    context=["France is a country in Europe."]
)
print(score)

ओपिक में कई पूर्व-निर्मित अनुमानी मेट्रिक्स के साथ-साथ अपना स्वयं का निर्माण करने की क्षमता भी शामिल है। मेट्रिक्स दस्तावेज़ीकरण में इसके बारे में और जानें।

🔍 आपके एलएलएम अनुप्रयोगों का मूल्यांकन

ओपिक आपको डेटासेट के माध्यम से विकास के दौरान अपने एलएलएम एप्लिकेशन का मूल्यांकन करने की अनुमति देता है। प्रयोग। ओपिक डैशबोर्ड प्रयोगों और बड़े निशानों के बेहतर प्रबंधन के लिए उन्नत चार्ट प्रदान करता है। आप हमारे PyTest एकीकरण का उपयोग करके अपने CI/CD पाइपलाइन के हिस्से के रूप में भी मूल्यांकन चला सकते हैं।

⭐ हमें GitHub पर स्टार करें

यदि आपको ओपिक उपयोगी लगता है, तो कृपया हमें एक स्टार देने पर विचार करें! आपका समर्थन हमें अपने समुदाय को बढ़ाने और उत्पाद में सुधार जारी रखने में मदद करता है।

🤝 योगदान दे रहे हैं

ओपिक में योगदान करने के कई तरीके हैं:

• बग रिपोर्ट और सुविधा अनुरोध सबमिट करें
• दस्तावेज़ की समीक्षा करें और इसे सुधारने के लिए पुल अनुरोध सबमिट करें
• ओपिक के बारे में बोलना या लिखना और हमें बताना
• अपना समर्थन दिखाने के लिए लोकप्रिय सुविधा अनुरोध को अपवोट करना

ओपिक में योगदान करने के तरीके के बारे में अधिक जानने के लिए, कृपया हमारे योगदान दिशानिर्देश देखें।