Inferencia LLM de alto rendimiento con vLLM en centros de datos europeos.
Pida a dos equipos que sirvan el mismo modelo abierto en la misma GPU y puede obtener un throughput muy distinto. La diferencia suele estar en el motor de servicio. HostYourAI ejecuta todos los modelos, compartidos o dedicados, en vLLM: el motor de código abierto que se ha convertido en el estándar de facto para la inferencia de LLM en producción.
Obtiene la eficiencia de vLLM sin tener que operarlo usted mismo, sobre GPU en centros de datos europeos y detrás de un endpoint compatible con OpenAI. Los prompts permanecen dentro de la UE, hay un DPA disponible y nada de lo que envíe se usa jamás para entrenar.
Cuantas más solicitudes pueda atender una sola GPU ubicada en la UE, menos presión hay para desviar tráfico a la nube que resulte más barata esa semana. Un motor eficiente sobre hardware europeo mantiene todo el recorrido, red, GPU y registros, bajo una jurisdicción favorable al RGPD.
vLLM envía los tokens por SSE, y el streaming hace visible la distancia: cada fragmento cruza la red. Atender a usuarios europeos desde varias regiones europeas mantiene corto ese recorrido.
Actualizaciones de versión, compatibilidad con CUDA, ajuste de memoria, sondas de salud: autoalojar vLLM significa encargarse de todo ello. Aquí ese trabajo lo hacemos nosotros, con un SLA de disponibilidad del 99,9 %, y si prefiere entender primero la vía de gestión propia, lea Despliegue su propio LLM con vLLM.
from openai import OpenAI client = OpenAI( base_url="https://hostyourai.com/api/v1", api_key="hyai-...") client.chat.completions.create( model="llama-3.3-70b", messages=[{"role":"user","content":"Hallo!"}])
La ficha técnica de una GPU dice muy poco sobre los tokens por segundo con tráfico real. Dos mecanismos de vLLM hacen el trabajo pesado. El batching continuo significa que el motor no espera a que termine un lote para admitir nuevas solicitudes; en cuanto se completa una secuencia, entra la siguiente, de modo que la GPU rara vez queda inactiva entre solicitudes. PagedAttention gestiona la caché de atención como un sistema operativo gestiona la memoria, en páginas pequeñas en lugar de un único bloque contiguo, lo que reduce notablemente la VRAM desperdiciada y permite alojar más secuencias concurrentes en la misma tarjeta. Aquí no hay multiplicadores de velocidad inventados; el efecto práctico es simplemente un mejor aprovechamiento por hora de GPU, ya sea que pague por token en el EU Inference Router o por hora en instancias GPU dedicadas. Los modelos populares se mantienen activos gracias al pool de modelos activos del Router, y cada instancia dedicada ejecuta vLLM detrás de su propia clave de API cifrada.
| Término de vLLM | Qué significa para usted |
|---|---|
| Batching continuo | Las nuevas solicitudes se incorporan sobre la marcha, menos tiempo de GPU inactiva |
| PagedAttention | Menos VRAM desperdiciada, más usuarios concurrentes por GPU |
| Streaming SSE | Los tokens aparecen a medida que se generan, el chat responde con agilidad |
| Servidor compatible con OpenAI | Su SDK y sus herramientas actuales funcionan sin cambios |
| Pool de modelos activos | Los modelos populares del Router responden sin arranque en frío |
| Clave de API por instancia | Su endpoint dedicado está cifrado y es solo suyo |
Elija un modelo del catálogo de modelos y llámelo con el SDK estándar de OpenAI. El streaming funciona de serie.
from openai import OpenAI
client = OpenAI(
base_url="https://hostyourai.com/api/v1",
api_key="hyai-...",
)
stream = client.chat.completions.create(
model="gemma-3-12b",
messages=[{"role": "user", "content": "Explica PagedAttention en un párrafo."}],
stream=True,
)
for chunk in stream:
print(chunk.choices[0].delta.content or "", end="")No. En el Router compartido está totalmente gestionado, y las instancias dedicadas arrancan con vLLM configurado para el modelo elegido, incluida una comprobación del mínimo de VRAM para que la GPU nunca sea demasiado pequeña.
Sí, /v1/chat/completions con streaming SSE, y además hay una capa de compatibilidad estilo Anthropic en /v1/messages con autenticación x-api-key, para uso solo de texto y con streaming en búfer.
Cargar los pesos del modelo en una GPU lleva tiempo. Los modelos populares del Router se mantienen activos en un pool, y el catálogo muestra el estado de cada modelo: activo, en calentamiento, servible o bajo petición.
Sí, en una instancia dedicada. vLLM carga variantes de pesos abiertos, así que un ajuste fino de Llama, Qwen o Mistral se sirve igual que el modelo base.
Cada instancia tiene su propia clave de API cifrada, el tráfico va por TLS y los datos en reposo se cifran con AES-256. Además, las instancias entran en reposo cuando no se usan.
Pago por uso desde un único saldo de crédito prepagado: por token en el Router, por hora para la capacidad dedicada. Los detalles están en la página de precios.
Del alojamiento de modelos a una API de cara al cliente, está pensado para desarrolladores y empresas que quieren que su IA funcione en una infraestructura que realmente controlan, dentro de la UE.
Sus datos y sus modelos permanecen en GPU europeas. Diseñado para cumplir el RGPD.
Llama, Qwen, DeepSeek, Mistral, FLUX y muchos más. Elija uno y estará listo en minutos, sin DevOps por su parte.
Apunte su cliente actual al Router y conserve sus herramientas. Sin reescribir nada, sin dependencia.
Sin infraestructura que gestionar. Elija un modelo, obtenga una URL compatible con OpenAI y lance.
Elija en el Model Garden o pegue cualquier ID de HuggingFace. Defina la VRAM y elija una GPU europea.
Desplegamos vLLM, ejecutamos las comprobaciones de disponibilidad y le entregamos una URL lista, compatible con OpenAI y Anthropic, además de una clave de API.
Apunte su cliente al Router. Enruta automáticamente a una instancia arrancada, deja las GPU en reposo cuando nadie está conectado y registra cada solicitud.
Si una nube estadounidense no es una opción, HostYourAI le ofrece la misma experiencia de desarrollo en infraestructura europea.
Datos de ciudadanos que legalmente deben permanecer en la UE, con plena capacidad de auditoría.
Equipos de finanzas, sanidad y legal sujetos al RGPD, DORA y la AI Act.
Lance funciones de IA en las que sus clientes confíen, sin un subencargado estadounidense.
Ofrezca IA privada a sus clientes en una infraestructura que pueda respaldar.
HostYourAI mantiene sus modelos, prompts y datos en GPU europeas. Está pensado para equipos que se preocupan por el cumplimiento normativo, la fiabilidad y un control real.
GPUs and data residency inside Europe. Your prompts never leave the EU.
Run open-weight models with no black boxes or hidden telemetry.
GPUs idle when nobody is online, so you only pay for what you run.
Your infra, your keys, your models. Leave whenever you want.
Yes. HostYourAI runs open models on GPUs in European datacenters via vLLM. Your prompts and outputs never leave the EU and there is no US cloud provider in the chain.
Yes. All processing happens inside the EU, a Data Processing Agreement (DPA) is available and the subprocessor list is public. Open weights also mean no training on your data.
Yes. Point your existing OpenAI or Anthropic client at our Router (https://hostyourai.com/api/v1), change only the base URL and API key. No rewrite, no lock-in.
Pay-as-you-go on one prepaid credit balance: the shared router per token or a dedicated GPU per hour. Free to start, no minimum, no fixed monthly fee.
Text and image models on dedicated EU GPUs. Every model tested on our own hardware.
Explore more about EU-hosted AI on HostYourAI.
Plataforma de LLM autoalojada con infraestructura gestionada. El control del autoalojamiento sin su complejidad operativa.
Read more →Aloje Qwen Coder 32B en NVIDIA A100 40GB dedicada en centros de datos europeos. Conforme al RGPD, desde €2.50/hora, API compatible con OpenAI.
Read more →Una alternativa a ChatGPT que funciona con modelos abiertos y GPUs europeas. API compatible con OpenAI, acorde con el RGPD y sin que sus datos salgan de la UE.
Read more →Aloje Qwen 2.5 72B en NVIDIA A100 80GB dedicada en centros de datos europeos. Conforme al RGPD, desde €4.00/hora, API compatible con OpenAI.
Read more →Aloje DeepSeek R1 en centros de datos europeos. Capacidades avanzadas de razonamiento, conforme al RGPD e instancias GPU dedicadas.
Read more →Aloje Phi 3.5 MoE en NVIDIA A100 40GB dedicada en centros de datos europeos. Conforme al RGPD, desde €2.50/hora, API compatible con OpenAI.
Read more →No se necesita tarjeta de crédito. Pague por uso y cancele cuando quiera.
Empiece hoy a alojar gratis