1.5 KiB
1.5 KiB
Groq
OpenHands utilise LiteLLM pour faire des appels aux modèles de chat sur Groq. Vous pouvez trouver leur documentation sur l'utilisation de Groq comme fournisseur ici.
Configuration
Lorsque vous exécutez OpenHands, vous devrez définir les éléments suivants dans l'interface utilisateur d'OpenHands via les paramètres :
LLM ProvideràGroqLLM Modelau modèle que vous utiliserez. Visitez ici pour voir la liste des modèles hébergés par Groq. Si le modèle n'est pas dans la liste, activez lesAdvanced Optionset entrez-le dansCustom Model(par exemple, groq/<model-name> commegroq/llama3-70b-8192).API keyà votre clé API Groq. Pour trouver ou créer votre clé API Groq, voir ici.
Utilisation de Groq comme point de terminaison compatible OpenAI
Le point de terminaison Groq pour la complétion de chat est principalement compatible OpenAI. Par conséquent, vous pouvez accéder aux modèles Groq comme vous le feriez pour n'importe quel point de terminaison compatible OpenAI. Vous pouvez définir les éléments suivants dans l'interface utilisateur d'OpenHands via les paramètres :
- Activer les
Advanced Options Custom Modelau préfixeopenai/+ le modèle que vous utiliserez (par exemple,openai/llama3-70b-8192)Base URLàhttps://api.groq.com/openai/v1API Keyà votre clé API Groq