Migrer OpenAI vers le Router UE

Pourquoi migrer vers le Router UE

Le Router UE est une passerelle d'inférence compatible OpenAI et Anthropic qui exécute des modèles ouverts sur des GPU européens. Vos prompts et réponses ne quittent jamais l'UE, aucun fournisseur cloud américain n'intervient dans la chaîne, et vous payez au token à partir d'un seul solde de crédit prépayé. L'API étant compatible en remplacement direct, rien ne change dans le code de votre application hormis l'URL de base et la clé API.

Ce dont vous avez besoin

• Un compte HostYourAI avec un peu de crédit
• Une clé API au format hyai-..., créée sous Router dans votre tableau de bord
• Votre SDK OpenAI ou Anthropic actuel, aucune nouvelle bibliothèque à installer

Étape 1 : créer une clé API

Dans votre tableau de bord, allez dans Router et créez une nouvelle clé. Copiez immédiatement la clé hyai- ; vous ne la voyez qu'une seule fois. Cette clé remplace votre clé OpenAI.

Étape 2 : pointer votre client vers le Router

Définissez l'URL de base sur https://hostyourai.com/api/v1 et utilisez votre clé HostYourAI. En Python avec le SDK OpenAI, le reste de votre code reste inchangé :

from openai import OpenAI

client = OpenAI(
    base_url="https://hostyourai.com/api/v1",
    api_key="hyai-...",   # your HostYourAI key
)

resp = client.chat.completions.create(
    model="llama-3.3-70b",
    messages=[{"role": "user", "content": "Summarise this contract."}],
)
print(resp.choices[0].message.content)

En Node.js avec le même SDK :

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://hostyourai.com/api/v1",
  apiKey: process.env.HOSTYOURAI_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "llama-3.3-70b",
  messages: [{ role: "user", content: "Summarise this contract." }],
});
console.log(resp.choices[0].message.content);

Ou directement avec curl pour un test rapide :

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{"model":"llama-3.3-70b","messages":[{"role":"user","content":"Hello"}]}'

Étape 3 : choisir un modèle ouvert

Là où vous utiliseriez gpt-4o chez OpenAI, choisissez ici un modèle ouvert du Model Garden, par exemple une variante de Llama, Qwen, Mistral ou DeepSeek. Utilisez le slug du modèle exactement tel qu'il apparaît dans le Model Garden comme valeur de model. Le streaming fonctionne à l'identique : définissez stream=True et vous recevez des server-sent events.

Vous utilisez le SDK Anthropic ?

Cela fonctionne aussi. Le Router expose une couche de compatibilité /v1/messages. Définissez l'URL de base sur https://hostyourai.com et transmettez votre clé hyai- dans x-api-key :

from anthropic import Anthropic

client = Anthropic(
    base_url="https://hostyourai.com",
    api_key="hyai-...",
)

msg = client.messages.create(
    model="llama-3.3-70b",
    max_tokens=512,
    messages=[{"role": "user", "content": "Hello"}],
)
print(msg.content[0].text)

Étape 4 : vérifier et passer en production

Testez votre première requête dans le Playground ou depuis votre code, et suivez l'usage, les tokens et la latence par requête dans votre journal d'activité. Deux points de vigilance lors de la migration : les noms de modèles diffèrent (utilisez des slugs de modèles ouverts, pas gpt-*), et vous payez au token plutôt que via un abonnement OpenAI.

Besoin de performances prévisibles ?

Le Router partagé est idéal pour commencer. Si vous souhaitez de l'isolation ou une capacité garantie, faites passer un modèle sur une instance dédiée, sur votre propre GPU dans l'UE. Votre code reste identique, seuls le slug du modèle ou le point de terminaison changent.

Référence : ce qui change exactement

Ce tableau met les paramètres côte à côte. Pour plus de contexte sur la passerelle elle-même, consultez la page EU Inference Router.

Dépannage

J'obtiens une erreur 401 Unauthorized

Vérifiez que votre clé commence par hyai- et qu'elle a été copiée en entier. Une clé OpenAI (sk-...) ne fonctionne pas sur le Router. Créez une nouvelle clé sous Router si nécessaire.

Mes requêtes renvoient une erreur 404 ou n'arrivent jamais

Presque toujours, l'URL de base est incorrecte. Elle doit être exactement https://hostyourai.com/api/v1. Assurez-vous que votre SDK n'ajoute pas de lui-même un second /v1 à l'URL.

Le modèle répond lentement ou semble indisponible

Tous les modèles ne sont pas chauds en permanence. Le Model Garden indique pour chaque modèle s'il est chaud ou encore en cours de préchauffage. Choisissez un modèle chaud ou patientez un instant ; ensuite, les réponses sont rapides comme d'habitude.

Le streaming se comporte différemment avec le SDK Anthropic

La couche /v1/messages utilise un streaming mis en mémoire tampon et ne prend en charge que le texte. Si vous avez besoin d'un streaming token par token, utilisez la route OpenAI sur /api/v1/chat/completions.

Questions sur ce guide

Dois-je réécrire le code de mon application ?

Non. Vous ne changez que l'URL de base et la clé API. Tout le reste, y compris le streaming et la structure des messages, reste identique.

Quels modèles puis-je utiliser après la migration ?

Des modèles ouverts tels que Llama, Qwen, Mistral, DeepSeek et Gemma. Le catalogue actuel avec son statut en direct se trouve dans le Model Garden.

Combien coûte l'utilisation du Router ?

Vous payez au token, à l'usage, à partir d'un seul solde de crédit prépayé, sans abonnement. Consultez la page des tarifs.

Mes données restent-elles en Europe ?

Oui. Les modèles s'exécutent sur des GPU situés dans des datacenters européens et vos prompts et réponses ne quittent jamais l'UE.

Puis-je passer plus tard sur mon propre matériel ?

Oui. Pour l'isolation ou une capacité garantie, faites passer un modèle sur une instance GPU dédiée. Votre clé et votre URL de base continuent de fonctionner.