Alojamiento de inferencia LLM
Inferencia LLM optimizada para aplicaciones en producción.
EU Inference Router
‹ Insight 1 of 28 ›Servir un modelo de lenguaje a usuarios reales es un trabajo muy distinto a ejecutarlo en un portátil. La inferencia en producción implica solicitudes concurrentes, tokens en streaming, capacidad predecible y una visión clara de lo que ha costado cada solicitud. HostYourAI ejecuta modelos abiertos como Llama, Qwen, Mistral y DeepSeek con vLLM en GPU europeas, expuestos mediante una API compatible con OpenAI, de modo que el código de su aplicación apenas cambia.
El lugar donde se realiza esa inferencia importa. Cada prompt que envían sus usuarios son datos, y a menudo datos personales. Mantener la inferencia en centros de datos europeos, respaldada por un acuerdo de encargo del tratamiento (DPA) y una lista pública de subencargados, convierte un quebradero de cabeza de cumplimiento normativo en una casilla que realmente puede marcar.
Por qué inferencia LLM en la UE
Los prompts son datos personales
Tickets de soporte, notas médicas, cláusulas contractuales: todo lo que escriben sus usuarios acaba en un prompt. Conforme al RGPD, usted es responsable de dónde se procesa ese texto. Una inferencia que nunca sale de varias regiones europeas mantiene corto su mapa de flujos de datos y hace que su DPA tenga sentido. HostYourAI no entrena con datos de clientes, y el tráfico se cifra con TLS en tránsito y AES-256 en reposo.
La latencia se gana cerca de sus usuarios
Los viajes de ida y vuelta a otro continente añaden retraso a cada token de una respuesta en streaming. En las interfaces de chat, donde la velocidad percibida es el tiempo hasta el primer token, servir desde GPU europeas a usuarios europeos simplemente se siente más rápido. Los modelos populares del Router compartido se mantienen calientes mediante un warm pool, de modo que las solicitudes no esperan a que se cargue un modelo en frío.
Control de costes sin dependencia de proveedor
Las facturas de inferencia son notoriamente opacas. HostYourAI utiliza un único saldo de crédito prepagado, que se recarga con iDEAL, tarjeta o SEPA, y cada solicitud se mide para que pueda ver el consumo por clave. Como la API es compatible con OpenAI, entrar o salir se reduce a cambiar la URL base, no a reescribir nada. Encontrará los detalles en la página de precios.
from openai import OpenAI client = OpenAI( base_url="https://hostyourai.com/api/v1", api_key="hyai-...") client.chat.completions.create( model="llama-3.3-70b", messages=[{"role":"user","content":"Hallo!"}])
Qué hace que la inferencia esté lista para producción
Tres cosas separan una demo de un servicio. Primero, el streaming: la API admite server-sent events en /v1/chat/completions, de modo que los tokens llegan a su interfaz a medida que se generan. Segundo, la capacidad: el EU Inference Router compartido agrupa la demanda en una flota caliente, mientras que las instancias GPU dedicadas le dan un servidor vLLM propio, con una clave de API cifrada y un mínimo de VRAM que impide desplegar un modelo en una GPU demasiado pequeña. Tercero, la observabilidad: registros de uso por solicitud y un SLA de disponibilidad del 99,9 %, para que sepa tanto lo que ha ocurrido como lo que puede esperar.
| Requisito de producción | Cómo se cumple |
|---|---|
| Streaming de tokens | SSE en /v1/chat/completions, compatible con OpenAI |
| Primer token rápido | El warm pool mantiene cargados los modelos populares del Router |
| Capacidad garantizada | Instancias vLLM dedicadas facturadas por hora |
| Visibilidad del uso | Medición por solicitud desde un único saldo de crédito |
| Disponibilidad | SLA de disponibilidad del 99,9 % |
| Hardware bien dimensionado | Mínimo de VRAM aplicado en el despliegue |
Cómo empezar
Cree una clave de API, elija un modelo en el catálogo de modelos y apunte su cliente OpenAI actual a la nueva URL base. Este ejemplo en JavaScript recibe en streaming una respuesta de Llama 3.3 70B:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://hostyourai.com/api/v1",
apiKey: "hyai-...",
});
const stream = await client.chat.completions.create({
model: "llama-3.3-70b",
messages: [{ role: "user", content: "Resume este ticket para el equipo de soporte." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}Preguntas sobre la inferencia LLM
¿Qué modelos puedo ejecutar?
El catálogo incluye más de 100 modelos abiertos, entre ellos Llama, Qwen, Mistral, DeepSeek y Gemma. El Model Garden muestra el estado de cada uno: caliente, calentándose, servible o bajo solicitud.
¿Tengo que cambiar el código de mi aplicación?
Normalmente solo la URL base y la clave de API. La API es compatible con OpenAI, y también existe una capa compatible con Anthropic en /v1/messages para el código escrito con ese SDK. Consulte la guía para migrar su cliente OpenAI al EU Router.
¿Router compartido o instancia dedicada?
El Router factura por token y encaja con cargas de trabajo variables. Una instancia dedicada se factura por hora, le ofrece capacidad aislada y se reduce cuando no se usa. Ambos se nutren del mismo saldo de crédito prepagado.
¿Cuánto tarda un modelo en frío?
Los modelos populares del Router se mantienen calientes, así que no hay tiempo de carga. Los modelos menos habituales pueden aparecer como calentándose en el Model Garden mientras vLLM carga los pesos.
¿Se admite el streaming?
Sí, /v1/chat/completions admite streaming SSE exactamente igual que la API de OpenAI. Establezca stream en true y consuma los fragmentos.
¿Adónde van mis datos?
La inferencia se ejecuta en centros de datos europeos repartidos en varias regiones europeas. HostYourAI proporciona un DPA, publica su lista de subencargados y nunca entrena con datos de clientes.
Todo lo que necesita para la IA
Del alojamiento de modelos a una API de cara al cliente, está pensado para desarrolladores y empresas que quieren que su IA funcione en una infraestructura que realmente controlan, dentro de la UE.
Sus datos y sus modelos permanecen en GPU europeas. Diseñado para cumplir el RGPD.
Llama, Qwen, DeepSeek, Mistral, FLUX y muchos más. Elija uno y estará listo en minutos, sin DevOps por su parte.
Apunte su cliente actual al Router y conserve sus herramientas. Sin reescribir nada, sin dependencia.
De cero a un endpoint listo en minutos
Sin infraestructura que gestionar. Elija un modelo, obtenga una URL compatible con OpenAI y lance.
Elija un modelo
Elija en el Model Garden o pegue cualquier ID de HuggingFace. Defina la VRAM y elija una GPU europea.
Obtenga su endpoint
Desplegamos vLLM, ejecutamos las comprobaciones de disponibilidad y le entregamos una URL lista, compatible con OpenAI y Anthropic, además de una clave de API.
Enrute y lance
Apunte su cliente al Router. Enruta automáticamente a una instancia arrancada, deja las GPU en reposo cuando nadie está conectado y registra cada solicitud.
Funciona con las herramientas que ya utiliza
El Router habla las API de OpenAI y Anthropic, así que se integra directamente en los clientes y SDK que su equipo ya usa. Solo tiene que cambiar la URL base.
Pruebe HostYourAI gratis
Creado para equipos que no pueden enviar sus datos fuera
Si una nube estadounidense no es una opción, HostYourAI le ofrece la misma experiencia de desarrollo en infraestructura europea.
Datos de ciudadanos que legalmente deben permanecer en la UE, con plena capacidad de auditoría.
Equipos de finanzas, sanidad y legal sujetos al RGPD, DORA y la AI Act.
Lance funciones de IA en las que sus clientes confíen, sin un subencargado estadounidense.
Ofrezca IA privada a sus clientes en una infraestructura que pueda respaldar.
Frequently asked questions
Can I run this in the EU?
Yes. HostYourAI runs open models on GPUs in European datacenters via vLLM. Your prompts and outputs never leave the EU and there is no US cloud provider in the chain.
Is it GDPR-compliant?
Yes. All processing happens inside the EU, a Data Processing Agreement (DPA) is available and the subprocessor list is public. Open weights also mean no training on your data.
Is the API OpenAI-compatible?
Yes. Point your existing OpenAI or Anthropic client at our Router (https://hostyourai.com/api/v1), change only the base URL and API key. No rewrite, no lock-in.
What does it cost?
Pay-as-you-go on one prepaid credit balance: the shared router per token or a dedicated GPU per hour. Free to start, no minimum, no fixed monthly fee.
Works with 390+ open models
Text and image models on dedicated EU GPUs. Every model tested on our own hardware.
Related pages
Explore more about EU-hosted AI on HostYourAI.
Plataforma para agentes de IA con uso de herramientas y function calling. Cree agentes autónomos sobre infraestructura europea.
Read more →Ajuste fino de LLM para su caso de uso concreto. LoRA, QLoRA y ajuste fino completo en GPU dedicadas, con sus datos siempre en la UE.
Read more →Aloje chatbots de IA en infraestructura europea. Atención al cliente, asistentes internos y más, con cumplimiento del RGPD.
Read more →Un único endpoint compatible con OpenAI y Anthropic que enruta sus peticiones a modelos abiertos en GPUs europeas. Drop-in, alojado en la UE, sin dependencia.
Read more →Chatee con instancias dedicadas y modelos del Router en el Playground. Pruebe prompts, compare modelos y consulte después el uso y la latencia por petición.
Read more →Explore un catálogo seleccionado de modelos abiertos de chat, imagen y embeddings, con su estado activo/UE en directo. Despliegue con un clic en GPUs europeas.
Read more →Aloje. Enrute. Lance.
No se necesita tarjeta de crédito. Pague por uso y cancele cuando quiera.
Empiece hoy a alojar gratis