SGLang
4 artículos en los últimos 30 días.
-
AWS Lambda ya ejecuta inferencia en GPU con 48 invocaciones concurrentes que comparten un modelo por GPU
Lambda Managed Instances puede ejecutar funciones en GPU de la serie G de EC2, con hasta 48 invocaciones concurrentes que comparten un modelo por GPU. Ofrece imágenes base de vLLM y SGLang y tiempos de espera asíncronos de 90 minutos, facturados al precio de la instancia más un 9,75 %.
-
El manifiesto No AI Slop
llama.cpp y ggml alcanzaron la versión 1.0 y eliminaron 35 funciones obsoletas, y SGLang también anunció su versión 1.0. El manifiesto No AI Slop de AIE CODE llegó a la portada de Hacker News.
-
Integrar SGLang en Spyre en menos de una semana con IA
Un equipo de dos personas creó con agentes de programación de IA un plugin de SGLang de unas 1,500 líneas para el acelerador Spyre de IBM. SGLang alcanzó unas 3.6 veces el rendimiento de la implementación de referencia en PyTorch e igualó a vLLM en los modelos probados.
-
Optimizar Muse Spark Open en TPU v7 con SGLang-TorchTPU
Muse Spark Open de Meta, con 816 000 millones de parámetros, se ejecuta en un único host con cuatro chips TPU v7 usando un megakernel para las 62 capas. Con baja concurrencia reduce a la mitad el tiempo por token de salida.