Desplegar un LLM de código abierto
Despliegue cualquier LLM de código abierto sin conocimientos de DevOps.
EU Inference Router
‹ Insight 1 of 28 ›La distancia entre "Llama tiene muy buena pinta" y "Llama responde a nuestras llamadas de API" suele cubrirse con DevOps: compra de GPUs, pilas de controladores, frameworks de servicio, gestión de claves. HostYourAI reduce esa distancia a unos pocos clics. Elija uno de más de 100 modelos abiertos o pegue un ID de HuggingFace, despliegue con vLLM preconfigurado y un mínimo de VRAM garantizado, y verifique el resultado en el Playground antes de escribir una sola línea de integración.
Desplegar en infraestructura europea importa aquí porque los modelos abiertos suelen elegirse por el control, y el control sobre dónde se realiza la inferencia es justo lo que un endpoint alojado en EE. UU. le quita en silencio.
Por qué desplegar LLM de código abierto en la UE
Los pesos abiertos merecen una jurisdicción abierta
Los equipos eligen modelos abiertos para escapar de las dependencias de caja negra. Servirlos desde centros de datos europeos con un proveedor europeo completa el cuadro: pesos transparentes, subencargados transparentes mediante una lista pública y un tratamiento que nunca sale de la UE.
Listo para el RGPD por defecto
Un modelo abierto desplegado en GPUs de la UE, cubierto por un DPA, cifrado con AES-256 en reposo y TLS en tránsito y nunca entrenado con sus datos, no requiere análisis de transferencias. El trabajo de cumplimiento se reduce a describir su propia aplicación.
Costes acordes con la forma en que experimenta
El trabajo con modelos abiertos es iterativo: prueba un modelo de 8B, luego uno de 70B y después un ajuste propio. Los créditos prepago con instancias por hora que entran en reposo mantienen asequible la experimentación, y la página de precios explica el modelo de pago por uso.
from openai import OpenAI client = OpenAI( base_url="https://hostyourai.com/api/v1", api_key="hyai-...") client.chat.completions.create( model="llama-3.3-70b", messages=[{"role":"user","content":"Hallo!"}])
Qué ocurre por debajo durante un despliegue
Cuando pulsa desplegar, la plataforma resuelve primero su modelo, ya sea una entrada seleccionada de el catálogo de modelos o un ID de HuggingFace sin procesar, y estima la VRAM que necesita. Esa estimación se convierte en un mínimo estricto: no se puede seleccionar una GPU por debajo de él, lo que evita el fallo más común del autoalojamiento, un error de memoria a mitad de la carga del modelo. A continuación se aprovisiona una GPU en una región europea, se descargan los pesos del modelo y vLLM arranca con valores por defecto sensatos y una clave de API cifrada generada para la instancia. La instancia avisa cuando el motor está realmente listo para servir, no solo arrancado, y su endpoint compatible con OpenAI entra en funcionamiento. Desde ahí, el Playground le ofrece una forma sin código de confirmar que el modelo se comporta bien antes de integrarlo.
| Familia de modelos abiertos | Conocida por |
|---|---|
| Llama | Asistentes generales potentes, enorme ecosistema y muchos ajustes |
| Qwen | Solidez multilingüe y modelos pequeños capaces |
| Mistral | Modelos europeos eficientes con gran calidad por parámetro |
| DeepSeek | Modelos orientados al razonamiento en tamaños agresivos |
| Gemma | Modelos compactos y bien documentados que funcionan en GPUs modestas |
Cómo empezar
Siga Despliegue su propio LLM con vLLM para el tutorial completo, o vaya directamente del catálogo al código. Una vez activo el endpoint:
from openai import OpenAI
client = OpenAI(
base_url="https://hostyourai.com/api/v1",
api_key="hyai-your-key",
)
resp = client.chat.completions.create(
model="gemma-3-12b",
messages=[{"role": "user", "content": "¿Qué familia de LLM abiertos elegirías para un bot de atención al cliente en neerlandés, y por qué?"}],
)
print(resp.choices[0].message.content)Si prefiere no ejecutar todavía su propia GPU, los mismos modelos están disponibles por token a través de el EU Inference Router.
Preguntas sobre el despliegue de LLM de código abierto
¿Tengo que configurar vLLM yo mismo?
No. vLLM viene preconfigurado para el modelo que despliega. Usted elige el modelo; los parámetros de servicio, la gestión de claves y las comprobaciones de disponibilidad se hacen por usted.
¿Puedo desplegar cualquier modelo de HuggingFace?
Cualquier modelo abierto que vLLM pueda servir, sí: pegue el ID de HuggingFace en el momento del despliegue. El mínimo de VRAM le indica de inmediato si la GPU elegida es demasiado pequeña.
¿Cómo sé que el despliegue funciona realmente?
Abra el Playground y chatee con el modelo en el navegador. Usa el mismo endpoint que usará su código, así que una conversación que funciona en el Playground significa una API que funciona.
¿Qué API expone el modelo desplegado?
Un endpoint /v1/chat/completions compatible con OpenAI con streaming SSE, además de una capa de compatibilidad /v1/messages con Anthropic, de modo que el código de SDK existente solo necesita una nueva URL base y una nueva clave.
¿Las licencias son problema suyo o mío?
Las licencias de los modelos (Apache 2.0, licencia de Llama, etc.) se aplican a su caso de uso, así que compruébelas modelo por modelo. El catálogo muestra el estado y la familia de cada modelo para facilitarlo.
Todo lo que necesita para la IA
Del alojamiento de modelos a una API de cara al cliente, está pensado para desarrolladores y empresas que quieren que su IA funcione en una infraestructura que realmente controlan, dentro de la UE.
Sus datos y sus modelos permanecen en GPU europeas. Diseñado para cumplir el RGPD.
Llama, Qwen, DeepSeek, Mistral, FLUX y muchos más. Elija uno y estará listo en minutos, sin DevOps por su parte.
Apunte su cliente actual al Router y conserve sus herramientas. Sin reescribir nada, sin dependencia.
De cero a un endpoint listo en minutos
Sin infraestructura que gestionar. Elija un modelo, obtenga una URL compatible con OpenAI y lance.
Elija un modelo
Elija en el Model Garden o pegue cualquier ID de HuggingFace. Defina la VRAM y elija una GPU europea.
Obtenga su endpoint
Desplegamos vLLM, ejecutamos las comprobaciones de disponibilidad y le entregamos una URL lista, compatible con OpenAI y Anthropic, además de una clave de API.
Enrute y lance
Apunte su cliente al Router. Enruta automáticamente a una instancia arrancada, deja las GPU en reposo cuando nadie está conectado y registra cada solicitud.
Funciona con las herramientas que ya utiliza
El Router habla las API de OpenAI y Anthropic, así que se integra directamente en los clientes y SDK que su equipo ya usa. Solo tiene que cambiar la URL base.
Pruebe HostYourAI gratis
Creado para equipos que no pueden enviar sus datos fuera
Si una nube estadounidense no es una opción, HostYourAI le ofrece la misma experiencia de desarrollo en infraestructura europea.
Datos de ciudadanos que legalmente deben permanecer en la UE, con plena capacidad de auditoría.
Equipos de finanzas, sanidad y legal sujetos al RGPD, DORA y la AI Act.
Lance funciones de IA en las que sus clientes confíen, sin un subencargado estadounidense.
Ofrezca IA privada a sus clientes en una infraestructura que pueda respaldar.
Frequently asked questions
Can I run this in the EU?
Yes. HostYourAI runs open models on GPUs in European datacenters via vLLM. Your prompts and outputs never leave the EU and there is no US cloud provider in the chain.
Is it GDPR-compliant?
Yes. All processing happens inside the EU, a Data Processing Agreement (DPA) is available and the subprocessor list is public. Open weights also mean no training on your data.
Is the API OpenAI-compatible?
Yes. Point your existing OpenAI or Anthropic client at our Router (https://hostyourai.com/api/v1), change only the base URL and API key. No rewrite, no lock-in.
What does it cost?
Pay-as-you-go on one prepaid credit balance: the shared router per token or a dedicated GPU per hour. Free to start, no minimum, no fixed monthly fee.
Works with 390+ open models
Text and image models on dedicated EU GPUs. Every model tested on our own hardware.
Related pages
Explore more about EU-hosted AI on HostYourAI.
Nube GPU europea con NVIDIA A100 y H100. Conforme al RGPD, sin CLOUD Act y con precios transparentes. La nube GPU para empresas europeas.
Read more →API de IA europea compatible con OpenAI. Migración sencilla, centros de datos en la UE, conforme al RGPD y facturación por minuto.
Read more →¿Busca una alternativa a Azure OpenAI que funcione en la UE? API drop-in compatible con OpenAI con modelos abiertos, GPUs europeas y sin nube de EE. UU. en la cadena.
Read more →Alquile servidores GPU en Europa. NVIDIA A100 y H100, facturación por minuto y sin compromiso a largo plazo. Ideal para cargas de trabajo de IA.
Read more →Alojamiento vLLM en Europa para el máximo rendimiento de inferencia. PagedAttention, batching continuo y optimización del throughput.
Read more →Aloje Mistral Small 22B en NVIDIA A100 40GB dedicada en centros de datos europeos. Conforme al RGPD, desde €2.50/hora, API compatible con OpenAI.
Read more →Aloje. Enrute. Lance.
No se necesita tarjeta de crédito. Pague por uso y cancele cuando quiera.
Empiece hoy a alojar gratis