vLLM
6 artículos en los últimos 30 días.
-
AWS Lambda ya ejecuta inferencia en GPU con 48 invocaciones concurrentes que comparten un modelo por GPU
Lambda Managed Instances puede ejecutar funciones en GPU de la serie G de EC2, con hasta 48 invocaciones concurrentes que comparten un modelo por GPU. Ofrece imágenes base de vLLM y SGLang y tiempos de espera asíncronos de 90 minutos, facturados al precio de la instancia más un 9,75 %.
-
180B parámetros, 32GB de RAM: llevando al límite la inferencia MoE con Transformers
El autor compara cómo llama.cpp, vLLM y Transformers ubican y mueven los expertos MoE cuando un modelo no cabe en memoria. Transmitir los expertos desde el SSD mediante Strata se queda a menos de un 6 % de la velocidad de generación de tokens de Strata.
-
Rumble-2-Flash: un modelo de voz abierto de 0.5B para más de 40 idiomas
Rumble-2-Flash es un modelo de reconocimiento de voz de 0.5B parámetros con licencia Apache 2.0, que cubre más de 40 idiomas y es compatible de forma nativa con Transformers y vLLM. Se destiló a partir de un modelo más grande mediante on-policy distillation.
-
Celebrando a los ganadores y nominados de los premios PyTorch Foundation Contributor 2026
La PyTorch Foundation nombró 15 ganadores en nueve categorías, frente a 11 en 2025, y añadió tres categorías nuevas: Knowledge Enhancer, Bug Buster y Catalyst.
-
Rápido por defecto: heurísticas en tiempo de compilación para kernels de Helion
Helion ahora elige las configuraciones de kernels en tiempo de compilación a partir de la IR y el flujo de datos, sin autotuning. Frente a FLA Triton escrito a mano logra 1.18x, y frente a los operadores CUDA de vLLM en H100, 1.27x.