Morning Fold
es

SGLang

  1. Nube

    AWS Lambda ya ejecuta inferencia en GPU con 48 invocaciones concurrentes que comparten un modelo por GPU

    Lambda Managed Instances puede ejecutar funciones en GPU de la serie G de EC2, con hasta 48 invocaciones concurrentes que comparten un modelo por GPU. Ofrece imágenes base de vLLM y SGLang y tiempos de espera asíncronos de 90 minutos, facturados al precio de la instancia más un 9,75 %.

  2. Herramientas de IA para programar

    El manifiesto No AI Slop

    llama.cpp y ggml alcanzaron la versión 1.0 y eliminaron 35 funciones obsoletas, y SGLang también anunció su versión 1.0. El manifiesto No AI Slop de AIE CODE llegó a la portada de Hacker News.

  3. IA y LLM

    Integrar SGLang en Spyre en menos de una semana con IA

    Un equipo de dos personas creó con agentes de programación de IA un plugin de SGLang de unas 1,500 líneas para el acelerador Spyre de IBM. SGLang alcanzó unas 3.6 veces el rendimiento de la implementación de referencia en PyTorch e igualó a vLLM en los modelos probados.

  4. IA y LLM

    Optimizar Muse Spark Open en TPU v7 con SGLang-TorchTPU

    Muse Spark Open de Meta, con 816 000 millones de parámetros, se ejecuta en un único host con cuatro chips TPU v7 usando un megakernel para las 62 capas. Con baja concurrencia reduce a la mitad el tiempo por token de salida.

Añade Morning Fold a tu pantalla de inicio

  1. Toca el botón Compartir <svg viewBox="0 0 24 24" aria-hidden="true"><path d="M12 15V4M7.5 8.5 12 4l4.5 4.5M5 13v5.5A1.5 1.5 0 0 0 6.5 20h11a1.5 1.5 0 0 0 1.5-1.5V13"/></svg> en la parte inferior de Safari.
  2. Desplázate hacia abajo y toca Añadir a pantalla de inicio.
  3. Toca Añadir. Morning Fold se abrirá desde su icono a pantalla completa.

Crea una cuenta gratis

Morning Fold es gratis. ¿Ya tienes cuenta? Iniciar sesión