La distro no hace mucha diferencia, lo que importa es el entorno gráfico que escojas. Tu mejor opción es descargar una distro como Arch Linux que no traiga software de más, y escoger un entorno gráfico ligero, como Xfce, LXDE, etc. Hay otros que son aún más ligeros como bspwm o herbstluftwm, pero son engorrosos de configurar.