Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · neuracryption.com
Comprimir cualquier LLM 3x con un clic, casi sin pérdida y con menos de 50 MB de RAM
Neuracryption presenta SPECTRA, un sistema de cuantización a 4 bits sin calibración que promete reducir unas tres veces el tamaño de cualquier modelo de lenguaje para que quepa en GPU de consumo. En Hacker News, buena parte de los comentarios duda de la seriedad del proyecto.
Foto: vía neuracryption.com
1 medio · MadridPublicada 10 nov, 15:25· Ya no está en portadaEscrita por IA · cómo funciona
El texto parte del «muro de memoria». Una GPU de portátil como la RTX 3050 Ti Mobile ofrece 29,8 TFLOPS en FP16, pero solo 192 GB/s de ancho de banda y 4 GB de VRAM. Leer un modelo de 7.000 millones de parámetros en FP16 (14 GB) lleva unos 73 ms por token, lo que limita la generación a menos de 14 tokens por segundo. Si hay que descargar capas a la RAM por PCIe Gen3 x4, la velocidad cae a 0,28 tokens por segundo.
Según los autores, los métodos de cuantización posteriores al entrenamiento, como GPTQ, AWQ o SmoothQuant, tienen tres problemas: fragilidad ante cambios de dominio (por ejemplo, transcripciones de voz, JSON, terminología médica u otros idiomas), mucha latencia de preprocesado por los cálculos de segundo orden y problemas con arquitecturas no transformer como Mamba-2. SPECTRA propone una arquitectura independiente del modelo, sin calibración, con microescalado por grupos de 32 y kernels Triton.
La tabla de componentes incluye un compresor con rejilla uniforme asimétrica de 4 bits, un preescáner del AST que extrae las escalas de LayerNorm/RMSNorm en menos de 50 ms, aislamiento de valores atípicos (hasta el 3 %), kernels fusionados W4A16 para GEMV y GEMM, un embedding fusionado, un sistema de carga de capas con doble búfer, una caché KV de 4 bits (8.192 tokens en 4 GB) y un formato binario propio, TRDC, con mapeo de memoria.
En el apartado de teoría de la información, el texto sostiene que la compresión sin pérdida de pesos en FP16 no puede pasar de 1,19x (1,52x en BF16) por la entropía de la mantisa. Por eso, para llegar a razones de 2,80x a 3,31x hay que recurrir a la teoría de tasa-distorsión, es decir, aceptar una pérdida acotada de funcionalidad.
«Compress any LLM 3x in one click,near-lossless,in under 50 MB RAM» · puesto 13 · 28 puntos · enviado por anushka_gandhi
Lo que dicen los comentarios
La conversación gira sobre todo en torno a la credibilidad. Varios usuarios ven señales de contenido generado con IA en la web (degradado en el titular, tarjetas, scroll raro en móvil) y lo toman como motivo para desconfiar. Se critica que se haya elegido DeepSeek-R1-Distill-1.5B, un modelo ya antiguo, para las pruebas, algo que otro comentarista asocia a investigaciones hechas con modelos de baja calidad. Alguien cita una respuesta de un chatbot que admite no haber implementado compresión alguna. La autora responde que la web la hizo con Gemini, que probó también LFM3-1.7B y que afirma que sirve para modelos de billones de parámetros. Hay además una broma sobre el Sloot Digital Coding System.
Reconozco una interfaz de IA generativa cuando la veo y esta tiene todas las señales de alarma. Me duele decirlo, pero creo que eso compromete la legitimidad del proyecto.
Por desgracia, eso solo puede ser asunción de que no hay un humano al control. Una interfaz vistosa, desarrollada, un readme ya no son indicios de que debas creer en un proyecto.
¿Qué sentido tiene usar un modelo ya antiguo como DeepSeek-R1-Distill-1.5B, basado en otro antiguo como Qwen2.5-Math-1.5B, cuando existe uno moderno mucho mejor como LFM3-1.7B?
Es una señal conocida de usar modelos (malos) para hacer «investigación». Siempre usan qwen2.5 y R1 porque los modelos los sugieren mucho. Eso y un «paper» en Zenodo delatan trabajos mal escritos.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.