Plusieurs choses à faire (ou vérifier) :
1. BIOS : booter sur le bon HDD, celui qui contient grub, même si tu vas ensuite chercher un autre HDD pour le /
2. Le noyau que tu démarres doit avoir les modules pour l'usb. Sous Arch, c'est un HOOK à rajouter dans le mkinitcpio.conf.  
HOOKS="...... usb ....."
Régénérer l'initrd (qui doit se trouver sur le /boot trouvé par Grub au démarrage... copie le si nécessaire)
3. configuration de Grub : ne t'embêtes pas, utilises les UUID ! (éventuellement les LABEL). La commande blkid devrait t'aider pour les trouver. Avec les UUID, grub retrouve ses petits sans soucis, quel que soit l'ordre de détection des HDD par le BIOS.
 
J'ai configuré une clé système pour mon fils, et ça marche partout !