Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Hardware · doug.sh
Cómo encajar cuatro BAR redimensionables de 32 GB tras un switch PCIe en Linux
Doug Calobrisi cuenta cómo hizo que cuatro Radeon AI PRO R9700 y dos RTX 3090, conectadas a través de un switch Broadcom PEX88096, tuvieran cada una su BAR de 32 GB. Sin ello, ROCm no activa la comunicación directa entre GPU. La solución es un módulo del kernel que redimensiona los BAR y reescanea el bus.
Foto: vía doug.sh
1 medio · MadridPublicada 12 nov, 17:25· Ya no está en portadaEscrita por IA · cómo funciona
El montaje usa un switch Broadcom PEX88096 en el único slot x16 de la placa, con cuatro R9700 y dos RTX 3090 detrás. El switch da ocho lanes a cada tarjeta y permite que copien datos entre ellas sin pasar por la CPU. ROCm llama a eso peer-to-peer (P2P) y solo lo activa si los 32 GB de cada tarjeta están mapeados, lo que en Linux exige un Resizable BAR de 32 GB por tarjeta. Un BAR (base address register) mapea un rango del espacio de direcciones de la CPU sobre la memoria de un dispositivo. Con seis tarjetas, la BIOS se detenía en el POST, porque cada BAR de 32 GB ocupa 64 GB de su espacio de direcciones, y la placa no tiene ajuste de Resizable BAR por tarjeta.
El plan fue dejar que Linux hiciera la asignación: fijar el tamaño de BAR de cada R9700 en 32 GB, quitar el puerto raíz del que cuelga el switch y reescanear. Pero en Linux 7.0 la función pbus_size_mem() calcula la ventana del puente como la suma simple del tamaño de sus hijos. Cada R9700 tiene una ventana de 32 GB más 2 MB (por el BAR del doorbell) con alineación de 32 GB, así que la suma no deja el hueco de casi 32 GB entre un doorbell y el inicio de la tarjeta siguiente. El kernel dio al switch unos 128,6 GB cuando hacían falta 224 GB, y solo dos R9700 recibieron su BAR, con el error «can't assign; no space».
Es una regresión conocida, reportada en linux-pci en septiembre. Ilpo Järvinen, que mantiene este código, tiene un arreglo en una serie de 14 parches (v5 a 6 de noviembre, aún sin integrar); el autor lo probó, envió un Tested-by y con él las cuatro R9700 obtienen sus 32 GB. Aun así, esta placa necesita algo que fije los tamaños y reescanee antes de que carguen los drivers, porque el redimensionado de amdgpu al cargar no puede ampliar una ventana en la que ya hay otras tarjetas.
Por eso escribió un módulo fuera del árbol, gpu-rebar-layout, que se ejecuta desde el initramfs. Fija el tamaño del BAR de cada tarjeta, quita el puerto raíz y reescanea; entre el escaneo y la asignación sube la alineación de los BAR menores al del mayor de su segmento, de modo que cada ventana de R9700 mide exactamente 64 GB y cada una de 3090, 512 MB. Tras reiniciar, amdgpu reportó BAR=32768M. Con pci=disable_acs_redir= en los puertos del switch, el P2P entre R9700 fue de 14,0 GB/s por pareja y 54,7 GB/s con las cuatro copiando en anillo. El autor avisa de que el módulo depende de internals del kernel que pueden cambiar, y de que no se debe quitar ni reescanear una GPU con driver cargado: bloqueó su máquina. Añade que el módulo lo escribió con ayuda de Claude.
«Fitting Four 32 GB Resizable Bars Behind a PCIe Switch on Linux» · puesto 27 · 62 puntos · enviado por dougcalobrisi
Lo que dicen los comentarios
La conversación es corta. Un comentario subraya que, con IA, el cuello de botella llega hasta la asignación de direcciones de memoria, que impide al hardware dar lo que puede. El autor explica que quería P2P entre cuatro R9700 para servir modelos con paralelismo tensorial y que, sin P2P, el prefill iba a la mitad de velocidad. Otro lector señaló que el acrónimo BAR aparecía decenas de veces sin definirse, y el autor lo corrigió en el artículo.
Es mi post. Necesitaba P2P entre cuatro R9700 para servir con paralelismo tensorial, lo que exige un BAR de 32 GB por tarjeta. Con P2P desactivado, el prefill iba a aproximadamente la mitad de velocidad.
Con seis GPU capaces, con mucha VRAM y suficiente ancho de banda PCIe, descubres que la asignación de direcciones de memoria impide al hardware hacer lo que es físicamente capaz de hacer.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.