Oui, j'ai passé un peu de temps sur la config du 2.6.24.x ; au final j'arrive à un noyau hyper-allégé, spécifique pour mon usage / matos, avec les fonctionnalités essentielles compilées en dur et celles additionnelles compilées en modules.
 
Pour accélérer encore les choses, j'ai blacklisté au niveau de udev quelques modules dont je me sers que occasionnellement (firewire, usb, son) et qui seraient sinon automatiquement chargés à chaque boot ; je précise que mon pc est un ultra-portable utilisé essentiellement pour travailler avec (le multimédia est un aspect secondaire ici).
 
Enfin, au niveau de la méthode de gestion des services au démarrage, je n'utilise pas upstart ; j'ai tout simplement le strict minimum de service lancés lors du boot (acpid, cpufreq -support compilé en dur et le réseau). Après, avec le temps -et sans doute déjà d'ici la sortie de Lenny- les choses s'amélioreront encore au niveau du temps de boot avec des mécanismes comme initscript-ng / insserv.

C'est probablement le truc le mieux documenté du monde la compile du noyau.
Doit y avoir 200 000 docs valables sur le net
 
Après ça empêche pas de faire des bêtises, mais c'est un peu inévitable quand on débute.
 
Sinon je fais comme THRAK, j'installe tout petit à petit.
A la fin il suffit de faire une "image" de la liste de package installé pour pouvoir repropduire la config autant qu'on veut.