Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · unsloth.ai
Cuantizaciones de Unsloth para Qwen3.8-27B: actualización Dynamic v3.1
Unsloth ha publicado nuevos GGUF de Qwen3.8-27B con su algoritmo Dynamic V3.1, que según la empresa mejora un 5-10 % la precisión a igual tamaño en benchmarks de código y agentes. El modelo, de 27.000 millones de parámetros, puede ejecutarse en equipos con unos 17 GB de RAM o VRAM.
1 medio · MadridPublicada 14 nov, 03:10Actualizada 14 nov, 16:20· Ya no está en portadaEscrita por IA · cómo funciona
Qwen3.8-27B es un modelo denso de 27B parámetros con visión, razonamiento y ventana de contexto de 256K tokens (ampliable a 1M con YaRN). Unsloth lo ofrece en GGUF, NVFP4 y a través de Unsloth Desktop, y sus cuantizaciones añaden soporte del rol de desarrollador para herramientas agénticas como Codex y un mejor análisis de objetos anidados en las llamadas a herramientas.
La actualización del 11 de noviembre aplica el algoritmo Dynamic V3.1 (en versión preliminar) a la mayoría de las cuantizaciones de entre 2 y 6 bits. Las de 3 bits (UD3) no se actualizan, porque Unsloth comprobó que rinden igual que las nuevas. Los benchmarks incluyen Terminal Bench 2.1, DeepSWE v1.1, LiveCodeBench v6, GPQA Diamond, MMLU-Pro y AIME25, con 256K de contexto en los agénticos y 128K en el resto. Según Unsloth, el KLD baja en la mayoría de cuantizaciones y dominios.
El documento dedica una sección a discutir los resultados de GSQ-RCO, de ISTA, que situaban las cuantizaciones UD3 por detrás. Unsloth sostiene que ese estudio parece haber usado un presupuesto de contexto de unos 96K y una sola ejecución en AIME25, mientras que ella hizo 14, con una recuperación media de precisión del 93-96 % y no del 100 %. También señala que la decodificación greedy no es determinista en GPUs y que no representa el uso real. Sobre Exllama-v3, explica que hubo que excluir de los gráficos la capa de embeddings, que ese formato mantiene en BF16.
La guía recomienda para el modo de razonamiento temperature 1.0, top_p 0.95 y top_k 20, y para el modo sin razonamiento temperature 0.7, top_p 0.80 y presence_penalty 1.5. El esfuerzo de razonamiento (xhigh por defecto, medium, low o none) se cambia con --chat-template-kwargs. Las cuantizaciones de 4 bits funcionan con 16-19 GB de VRAM, como una RTX 5080, una 4090 o un Mac con 24 GB, y usar MTP exige 1-2 GB adicionales.
«Unsloth Qwen3.8-27B Quantizations – Dynamic v3.1 Update» · puesto 25 · 226 puntos · enviado por Retro_Dev
Lo que dicen los comentarios
Daniel Han, de Unsloth, responde en el hilo y cuenta que también han actualizado a UD3.1 los GGUF de DeepSeek-V4.1-Flash y Qwen3.8-Flash-Next. Los comentarios giran en torno a hardware modesto: quien tiene GPUs débiles celebra las mejoras y alguien describe cómo ejecutó el modelo solo con CPU para analizar textos durante la noche. Se menciona ByteShape como alternativa para equipos de 24 GB o menos, con usuarios que dicen que les dio más velocidad con 16 GB de VRAM. Otro lector pregunta si ejecutar en local compensa frente a la API con la electricidad cara. Varios piden dónde comparar cuantizaciones locales, y un usuario aporta su propio benchmark, donde la nueva Q2_K_XL rinde parecido pero gasta menos tokens. Sobre la verbosidad de Qwen3.8, Han explica que la cuantización ingenua tiende a alargar el razonamiento y que sus cuantizaciones limitan ese exceso.
En mi benchmark casero, la Qwen3.8-27B-UD-Q2_K_XL de V3 y la de V3.1 tienen una capacidad parecida; la nueva es algo peor en depuración, pero con ventaja global, y gasta bastantes menos tokens: 46,5k frente a 61,7k por tarea.
Hice que Qwen 3.8 27B analizara mis textos solo con CPU en llamacpp. Iba lentísimo, con unos 10 minutos antes de generar nada para un archivo de 6000 palabras, pero se lanza antes de dormir y hay resultado al día siguiente.
Para objetivos de 24 GB o menos, ByteShape es en mi opinión el ganador. Su versión más grande ahorra espacio suficiente para meter el kernel dflash2 sin recortar contexto, con una puntuación casi idéntica a la Q4_K_M de Unsloth 3.0.
En Qwen3.8-Flash-Next recortamos el razonamiento hasta un 50 %. Cuantizar de forma ingenua hacía los modelos más verbosos, porque se «corregían» al razonar. Ahora las cuantizaciones de menos bits gastan solo un 5 % más de tokens que BF16, frente al 50 % de otras.
Con la electricidad a unos 25 céntimos de dólar por kWh, creo que ejecutar Qwen cuesta más por token que usar 6.1-luna. Aparte de la privacidad, que a mí no me importa, no veo justificación para el local. ¿Es solo eso lo que lo justifica?
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.