On this page
Qu'est-ce que l'EU Inference Router ?
Le Router est une passerelle d'inférence partagée, compatible OpenAI. Vous pointez votre client existant vers une seule base URL et le Router envoie chaque requête à un modèle ouvert qui tourne sur des GPU européens. Vous ne changez que la base URL et la clé API ; votre code reste identique.
Comme le Router parle à la fois l'API OpenAI et l'API Anthropic, il fonctionne directement avec les SDK et les outils que votre équipe utilise déjà. Pas de réécriture, pas de verrouillage fournisseur.
Comment ça fonctionne ?
Une requête arrive au Router, est authentifiée avec votre clé API puis transmise à un modèle déjà chaud. Les réponses reviennent en streaming, exactement comme chez OpenAI. Les modèles populaires sont maintenus chauds grâce à un warm pool, de sorte qu'une première requête n'attend pas un démarrage à froid.
Chaque requête enregistre l'usage, la latence et le coût dans votre journal d'activité, pour que vous voyiez exactement ce qui se passe.
Pourquoi passer par le Router ?
- Drop-in compatible OpenAI et Anthropic : seule la base URL change
- Des modèles ouverts sur des GPU européens que vous maîtrisez
- Vos prompts et vos données ne quittent jamais l'UE
- Paiement à l'usage par token, sur un seul solde de crédit prépayé
- Visibilité par requête sur l'usage, la latence et le coût
Router ou instance dédiée ?
Le Router est la voie la plus rapide vers la production : capacité partagée, paiement par token et rien à gérer. Quand vous voulez de l'isolation ou des performances prévisibles, vous ajoutez à côté une instance GPU dédiée. Les deux fonctionnent avec la même base URL et le même solde de crédit.
| Router partagé | Instance dédiée | |
|---|---|---|
| Facturation | Par token | Par heure |
| Temps de démarrage | Immédiat, les modèles populaires sont chauds | Quelques minutes au déploiement |
| Isolation | Capacité partagée | Un GPU qui n'est qu'à vous |
| Modèles | Catalogue sélectionné | Tout modèle ouvert ou votre propre ID HuggingFace |
| Gestion | Aucune | Démarrer, arrêter et dimensionner vous-même |
| Idéal pour | Démarrer et trafic variable | Charge stable ou exigences de conformité strictes |
Pour commencer
Créez une clé API, renseignez la base URL dans votre client existant et choisissez un modèle dans la Model Garden. Le streaming fonctionne comme vous l'attendez :
from openai import OpenAI
client = OpenAI(
base_url="https://hostyourai.com/api/v1",
api_key="hyai-...",
)
resp = client.chat.completions.create(
model="llama-3.3-70b",
messages=[{"role": "user", "content": "Bonjour"}],
stream=True,
)
for chunk in resp:
print(chunk.choices[0].delta.content or "", end="")Besoin du pas à pas complet ? Suivez le guide Migrer votre client OpenAI vers l'EU Router.
Questions sur l'EU Router
Est-ce vraiment un drop-in avec mon code OpenAI ?
Oui. Vous ne changez que la base URL et la clé API. Le format des requêtes et des réponses, le streaming et les paramètres se comportent comme chez OpenAI. Le SDK Anthropic fonctionne aussi, via l'API compatible Anthropic.
Quels modèles puis-je appeler ?
Des modèles ouverts comme Llama, Qwen, Mistral, DeepSeek et Gemma. La liste à jour avec les tarifs par million de tokens se trouve dans le catalogue des modèles.
Dois-je attendre un démarrage à froid ?
Les modèles populaires sont maintenus chauds grâce à un warm pool. Si un modèle n'est pas chaud, vous voyez son état de préchauffage en direct dans la Model Garden.
Combien ça coûte ?
Paiement à l'usage par token depuis un solde de crédit prépayé, sans abonnement ni minimum. Les tarifs par classe sont sur la page des tarifs.
Où tournent mes données ?
Sur des GPU situés dans des datacenters européens. Vos prompts et vos sorties ne quittent jamais l'UE, un accord de traitement des données (DPA) est disponible et il n'y a aucun entraînement sur vos données.
Suis-je enfermé chez HostYourAI ?
Non. Comme l'API est compatible OpenAI, vous changez la base URL et vous êtes parti. Aucun verrouillage fournisseur.