On this page
¿Qué es el EU Inference Router?
El Router es una pasarela de inferencia compartida y compatible con OpenAI. Usted apunta su cliente actual a una única URL base y el Router envía cada petición a un modelo abierto que se ejecuta en GPUs europeas. Solo cambia la URL base y la clave de API; su código sigue igual.
Como el Router habla tanto la API de OpenAI como la de Anthropic, funciona directamente con los SDK y las herramientas que su equipo ya utiliza. Sin reescrituras y sin dependencia de un proveedor.
¿Cómo funciona?
Una petición llega al Router, se autentica con su clave de API y se reenvía a un modelo que ya está activo. Las respuestas se transmiten en streaming igual que en OpenAI. Los modelos más populares se mantienen activos mediante un pool de modelos activos, de modo que la primera petición no espera a un arranque en frío.
Cada petición registra el uso, la latencia y el coste en su registro de actividad, de modo que usted ve exactamente qué ocurre.
¿Por qué enrutar a través del Router?
- Drop-in compatible con OpenAI y Anthropic: solo cambia la URL base
- Modelos abiertos en GPUs europeas que usted controla
- Sus prompts y sus datos no salen nunca de la UE
- Pago por uso por token con un único saldo de crédito prepago
- Visibilidad por petición del uso, la latencia y el coste
¿Router o instancia dedicada?
El Router es el camino más rápido a producción: capacidad compartida, pago por token y nada que gestionar. Cuando necesite aislamiento o un rendimiento predecible, añada una instancia GPU dedicada junto al Router. Ambos funcionan con la misma URL base y el mismo saldo de crédito.
| Router compartido | Instancia dedicada | |
|---|---|---|
| Facturación | Por token | Por hora |
| Tiempo de arranque | Inmediato, los modelos populares están activos | Unos minutos al desplegar |
| Aislamiento | Capacidad compartida | Una GPU solo para usted |
| Modelos | Catálogo seleccionado | Cualquier modelo abierto o su propio ID de HuggingFace |
| Gestión | Ninguna | Usted inicia, detiene y escala |
| Ideal para | Empezar y tráfico variable | Carga constante o requisitos estrictos de cumplimiento normativo |
Cómo empezar
Cree una clave de API, configure la URL base en su cliente actual y elija un modelo en el Model Garden. El streaming funciona como usted espera:
from openai import OpenAI
client = OpenAI(
base_url="https://hostyourai.com/api/v1",
api_key="hyai-...",
)
resp = client.chat.completions.create(
model="llama-3.3-70b",
messages=[{"role": "user", "content": "Hola"}],
stream=True,
)
for chunk in resp:
print(chunk.choices[0].delta.content or "", end="")¿Necesita la guía completa paso a paso? Siga la guía Migre su cliente de OpenAI al EU Router.
Preguntas sobre el EU Router
¿Es realmente drop-in con mi código de OpenAI?
Sí. Solo cambia la URL base y la clave de API. El formato de petición y respuesta, el streaming y los parámetros se comportan como en OpenAI. El SDK de Anthropic también funciona, a través de la API compatible con Anthropic.
¿Qué modelos puedo llamar?
Modelos abiertos como Llama, Qwen, Mistral, DeepSeek y Gemma. La lista actualizada con los precios por millón de tokens está en el catálogo de modelos.
¿Tendré que esperar por un arranque en frío?
Los modelos populares se mantienen activos mediante un pool de modelos activos. Si un modelo no está activo, verá su estado de calentamiento en directo en el Model Garden.
¿Cuánto cuesta?
Pago por uso por token desde un único saldo de crédito prepago, sin suscripción y sin mínimo. Las tarifas por clase están en la página de precios.
¿Dónde se ejecutan mis datos?
En GPUs ubicadas en centros de datos europeos. Sus prompts y sus resultados no salen nunca de la UE, hay disponible un acuerdo de encargo del tratamiento (DPA) y no se entrena con sus datos.
¿Quedo atado a HostYourAI?
No. Como la API es compatible con OpenAI, usted cambia la URL base y se va. Sin dependencia de proveedor.