LLM Gateway

LLM Gateway se place entre une application et des éditeurs de grands modèles de langage tels qu'OpenAI, Anthropic et Google. Les développeurs conservent leur code existant basé sur le SDK OpenAI, changent l'URL de base, et peuvent alors appeler plus de 250 modèles de plus de 40 éditeurs avec une seule clé, en changeant de modèle sans modifier le code. Le service gère le basculement automatique, le cache, les plafonds de dépenses et les clés à portée limitée, et ajoute des garde-fous contre le prompt injection et les fuites de données personnelles. Des dashboards ventilent les requêtes, les tokens, les erreurs, la latence et le coût par projet, par modèle et par éditeur, et les offres entreprise ajoutent des journaux d'audit et des contrôles de conservation des données. Les équipes peuvent utiliser le cloud hébergé, apporter leurs propres clés d'éditeurs, ou auto-héberger toute la stack avec Docker.