Reprise du message précédent :

Je parle pas en USB mais bien en connexion direct SATA ou SAS

La description de ce que tu veux faire m’intéresse  
 
Peux tu donner des détails sur le matos au delà de la cm et du proco ? Notamment le boîtier, je penche sur les solutions de rack, c’est pratique d’avoir un système plat  
Tu vas utiliser quoi comme schéma pour les disques, back up pur ? Ou tu vas utiliser les capacités de unraid et avoir un disque de parité ?  
J’hésite sur ça perso, l’avantage d’unraid étant que même si y’a un problème, tu perds pas tout  
 
Zfs, j’en lis du bien mais y’a quand même beaucoup de retour de gens en galère sur Reddit  
Le plus safe semble xfs de ce que je lis partout

Rien à voir, xfs c'est juste un système de fichiers comme ext4, ntfs ou fat32 par exemple.

Mes points en vrac :

• ZFS est plutôt rigide à l’ajout de disque dans un vdev.  L’extension de ce dernier possible mais faut aimer le risque. Une alternative serait d’ajouter un second vdev au pool. Pour moi, avantage à Unraid sur ce point la (une alternative gratuite est mergefs + snapraid  
• ZFS est forcément recommandé de fonctionner avec la mémoire ECC. Pas une obligation cependant. Donc à voir si ça peut influencer ta config  
• ZFS apporte par contre les snapshots, correction d’erreur, le thin provisioning, send/recieve
• Proxmox est un SE spécialement orienté virtualisation. Gratuit de surcroît.
• Unraid est quand même orienté plus grand public ou beaucoup de technos sont accessibles en deux clics de souris, comme Synology  
• Il y a des topic unique pour OMV, ZFS et Unraid dans la section Linux de ce forum

Perso le stockage sur Unraid j'en suis revenu et j'ai fini par racheter un Synology. Trop de perte de perf du au fait que ce n'est pas un raid. Et je suis pas passé sur du ZFS parce que bon, j'ai pas envie que ça devienne une corvée, et le ZFS clairement c'est une purge.
D'un autre côté, un synology, ça coute le prix d'un PC, et ça dure 10 ans, et c'est plug and play
Par contre Unraid pour la virtualisation et Docker c'est le top.
Du coup pour moi ça a été:
- Stockage sur Syno
- VM + docker sur un PC avec Unraid.

Tu avais tenté de mettre du cache pour ta grappe sous Unraid ?

En quoi zfs est une corvée ou purge ?
 
Perso je n’y ai pas touché depuis des années que c’est en place, sauf pour des remplacements de disques morts.
 
Le pool zfs est même passé de freenas à Truenas puis proxmox sans problème.

Assez d’accord, ZFS n’est pas une purge du tout. C’est facile et très fiable.  
Le seul truc chiant c’est en effet la partie agrandissement.  
Mais pour le reste franchement, c’est le meilleur FS pour un RAID.

 
Oui effectivement j'avais pas compris.
Je n'ai pas trouvé l'option par contre (je ne peux ajouter un disque que depuis un pool visiblement).

 
Pour agrandir, si tu as pensé avant, tu peux faire un 2x de ton vdev et ajouter au pool existant, c'est faisable.
 
J'espère que le RAID distribué va bientôt être disponible sous TrueNAS d'ailleurs ce sera encore plus 'propre' pour agrandir le disque.
 

 
Oui oui, mais dans le cas d'un serveur Plex avec des fichiers UHD, le cache Unraid ne sert à rien, sauf pour les fichiers du serveur Plex a proprement parlé

Sur Unraid en lecture normalement il n'y a aucun problème de vitesse.
Ce n'est qu'à l'écriture sans cache après les 4 premier go

 
Je t'assure que si, quand tu as 5/6 personnes qui mattent des films et que ça saccade, puis quand tu passer sur un Syno et que ces mêmes 5/6 personnes te disent "wahou je sais pas ce que t'as fais à Plex, mais ç amarche 10 fois mieux qu'avant"

J'ai pas 5 a 6 personne sur mon plex donc je ne peux comparer, mais deux j'ai pas eu trop de souci.
 
Après un vrai raid, tu n'est pas limité par la vitesse de lecture d'un seul disque c'est sur. Mais tu en as aussi N qui tourne tout le temps.
 
Chacun a son usage et son besoin c'est sur

 
Pour le boitier j'ai chez moi déja un tt core v21 je peut avoir aussi un fractal 804  
J'ai acheté celui la trouvé sur amazon sur une autre  nom mais c'est le méme(en fonction de la place pour les hdd je vais voir)
https://www.tecware.co/fusion
 
Sinon en autre solution un chassis de server dl380 ou ml ou autre que tu aménage (d'occasion bien sur)
 
le boitier innovision 8 baies trés intéressant que j'ai découvert sur ce post, les unas
 
 
Pour expliquer la suite je donne un peu le matériel mise à jour
hardware:
-2ssd 1to pour le cache +un autre pour le sytéme seul ou un m2
-4dd disque de 20 TO hc560
-carte asrock h510m matx ou carte msi minitix z490i unify qui traine+10500T+alim sff
-mémoire ecc ou normale j'ai de la normale à voir si je peut récupérer le reste
-carte hba 9400-8i +les cables sas vers sata
-un des boitiers décrit plus haut
 
pour le software
deux solutions:
-proxmox +omv6 avec disque en direct(https://pve.proxmox.com/wiki/Pci_passthrough) sur hba it qui permet d'avoir des choix sur les container lxc par exemple
 
-omv6 avec noyau kernel proxmox +zfs + plugin kvm (choix de c3p0, je penses ) qui semble remplir pas mal de case sans avoir à passer par proxmox en plus un plugin kvm avec fonctionnalité lxc est en développement
 
 
J'ai donc retiré unraid du choix , snapraid est dispo sur omv aussi
 
Sinon , le zfs semble mieux en particulier pour le contrôle de parité comparait a un raid 5 qui vérifie mème l'espace vide d'aprés ce que j'ai lu corrigez moi si je me  trompe
carte hba reçu
 OEM 9400-8i
 
petite gallery
 
https://imgur.com/a/iypFh0k
 
mise à jour carte hba
driver pour windows
 
https://docs.broadcom.com/docs/ItSa [...] 22_P25.zip
 
l'installer via le gestionnaire de périphérique choisir son pilote
 
si il le reconnait pas votre carte est en ir mode il faut donc celui la
 
https://docs.broadcom.com/docs/WIND [...] 0-WHQL.zip
 
le premier a fonctionné pour moi carte la carte est en sas_sata it
 
 
https://docs.broadcom.com/doc/pub-005851 pour comprendre ce que l'on peut faire avec ses cartes
 
lien vers deux logiciel megaraid d'abord
https://docs.broadcom.com/docs/17.0 [...] indows.zip
 
et lsi-storage-authority-software faire "enregistrer la cible du lien sous" pour éviter la demande de login
 
https://support.lenovo.com/fr/fr/do [...] or-windows
 
Sinon pour la méthode manuel avec storcli64
 
récupérer le fichier dos
https://docs.broadcom.com/docs/STORCLI_SAS3.5_P25.zip
 
méthode manuel
 il existe une méthode aussi en bootant sur un clé usb si vous ne faite pas cela sur windows(demander en mp je donnerai les infos)
 
méthode sous windows10 64bits
 
sauvegarde:

j'ai opté pour l'utilisation de lsa
l'installation la connection se fait avec votre identifaiant du pc et mot de passe du pc c'est en serveur local
https://support.lenovo.com/fr/fr/so [...] on-windows
 
il suffit après de faire update firmware =>sélectionner firmware parcourir pour allez chercher le fichier pareil avec le bios et le restesi l'on souhaite upgrade ce que j'ai fait  
 
d'abord firmware de 21à 24 après le reste..
https://imgur.com/a/Yy4FIzZ

effectivement le scrub zfs ne vérifie que l'espace occupé par des fichiers et pas l'espace libre
a la création, pas besoin d'attendre comme par par rapport à mdadm-raid5, c'est immédiat (no initial resync)
 

scan en cours de 2.91TB occupé sur les  (3+1)*4TB au total

super ton retour
 
j'ai déjà les deux hc560, quasi plein... ntfs et dans ma tour windows... ça va être sport quand faudra tout basculer dans un nas diy

Ton CPU ne supporte pas de la ECC : https://www.intel.ca/content/www/ca [...] tions.html

j'avais pas vu mais sur omv c'est moins pénalisant que sur unraid de mémoire
sinon je ferai le nécessaire pour migrer vers d'autre cm+proco

Hello qu'est-ce vous conseilleriez comme système pour faire un NAS et monter des VM avec un USB passthrough pour utiliser des périphériques autres que de stockage ? Ou monter du docker directement ? Merci !

Docker supporte aussi le USB passthrough, tout dépend des périphériques en question, leurs utilisations et si il existe déjà une image.

Merci
En l'occurrence ce sera pour utiliser un module Zigbee sur Home Assistant, soit je passe par l'image Docker, soit je monte une VM, soit j'installe directement le système.
Mais j'aimerais sur cette même machine faire du NAS, ça ferait une seule machine allumée pour tout

j'utilise proxmox pour ça
* 1 VM pour Home Assistant avec la clé zigbee
* 1 container lxc pour la partie NAS
* 1 container LXC qui héberge docker qui fait tourner une dizaine de containers

Ah oui intéressant, et pour la partie NAS tu as un attachement direct des disques sur ta VM NAS ?

Intéressant surtout la partie container lxc pour le nas du coup tu ai parti sur quelle systéme de nas?  
 
Je suis intéressé aussi par les raisons de ce choix(environnement , coix en fonction de ton hardware etc) et le retour d'expérience systéme stable , backup restauration
 
A ce propos j'avais lu qu'un modo(celui qui a fait le plugin du kernel proxmox pour openmediavault) travaillait sur un script pour implanter le lxc

Perso, pareil je suis sur Proxmox avec une VM NAS avec OMV et disques en passthrough et une autre VM basé sur une debian pour tous mes containers docker.

Perso je fais tout ça directement sous Unraid

Tu fais NAS et Docker sous Unraid ?
 
Intéressant la partie Proxmox pour gérer les VM merci du coup tu peux accéder à ta VM NAS par la VM Docker uniquement par le réseau ? Il y a un réseau interne entre les VM ?

Bien sûr même les VM

Je vais regarder ça merci

 
J'ai des partage réseau NFS et SMB (pour mes PC en windows) sur la VM NAS et ma VM Docker passe par le réseau classique de mon routeur, j'ai pas fait de réseau interne entre les VM.

Et niveau backup sur Proxmox ou Unraid vous faites comment ?

Pour les backup des VM, backup depuis proxmox sur un partage NFS. J'ai également un proxmox backup server dans une VM sur mon PC windows 11 en plus.
Sinon j'ai un port USB passthrough qui me sert à backup les données des disque du NAS que je veux pas perdre sur un disque dur externe.

 
J'ai juste installé samba et un serveur nfs dans le conteneur, et je lui fais voir le volume ZFS dédié à la partie NAS.
 
Je n'ai pas besoin de plus, je n'ai pas beaucoup d'utilisateurs et j'utilise les ACLs manuellement
 

 
J'ai eu pendant longtemps FreeNAS puis TrueNAS mais l'absence de docker me gênait un peu et son hyperviseur n'est pas au niveau de KVM. J'ai testé TrueNAS Scale mais le fait d'être forcé d'utiliser leur K3S ne m'a pas convaincu
 
Voulant séparer un peu tout mon bazar, je me suis dis que j'allais tester Proxmox vu qu'il gère nativement LXC et KVM. Pour Docker, j'ai commencé par l'installer directement sur le host Proxmox pour me faciliter la vie, mais ça allait à l'encontre de la séparation que je voulais et ce n'est pas recommandé du tout. J'aurais pu le mettre dans une VM, mais ca me paraissait bien lourd pour ça même si c'est la methode plus ou moins officielle pour Docker sous Proxmox
 
J'ai lu qu'on pouvait aussi le faire tourner dans un container LXC, j'ai testé et pour l'instant ca me convient. C'est un peu pénible pour les volumes ZFS mais rien de compliquer. Je les crée sur le host Proxmox et les montes dans le LXC, ca me permet de garder le contrôle dessus, de faire des snapshots, etc
 
Niveau backup, à part mon instance Nextcloud qui tourne dans un container LXC (plus facile à debugger en cas de problème que l'image Docker ), je ne sauvegarde pas grand chose. Pour lui j'ai un script qui arrête le conteneur LXC, fait un snap ZFS et relance le conteneur. Ensuite j'utilise Restic pour backuper le snapshot sur le nas d'un ami. il faudrait que je rajoute une sauvegarde Restic locale aussi
 
Je peux généraliser facilement ce script à d'autres instances LXC ou même Docker (via l'api de portainer) si mes besoins évoluent
 
Portainer/Watchtower mettent à jours les images Docker automatiquement et je suis prévenu par Telegram
 
Depuis que je suis passé à ce setup, il tourne sans problème au point que je l'oublie.
 
A part Proxmox, le reste est simple donc facilement gérable, en tout cas pour moi (20 ans d'Unix aident aussi sûrement)

Ca me fait penser que je devrais sauvegarder mon docker Gitea car il contient pas mal de chose pour tout reconstruire si nécessaire

Merci pour ton retour, très intéressant. Effectivement le côté Unix doit bien aider. Pour ma part je suis de l'autre côté de la frontière, rangez vos fouets
 
Actuellement je tourne sur un Windows 2019 + Hyper-V, niveau stockage c'est du HDD classique + SnapRAID dont j'aime bien le principe (d'avoir une parité mais de conserver la possibilité de pouvoir accéder à un disque en particulier + de pouvoir voir les changements au niveau des fichiers, le désavantage étant de devoir exécuter les sync manuellement ou planifiée).
 
J'ai aussi Stablebit Scanner qui permet de scanner entièrement le disque au moins une fois par mois pour voir si tout est lisible, je ne sais pas s'il existe un équivalent sous Linux, si quelqu'un a l'info je suis preneur.
 
Et enfin j'ai des VM Hyper-V dont une sur laquelle est installée Docker et tous les services que j'utilise (Jellyfin, Nextcloud, Vaultwarden, etc...)
 
Le point noir d'Hyper-V c'est l'impossibilité de faire de l'USB passthrough sur les périphériques autre que le stockage, c'est la raison pour laquelle j'aimerais en profiter pour revoir le système et passer à quelque chose de peut-être mieux.
 
Niveau backup j'ai un système archaïque sur lequel il faut que je me penche depuis mais j'ai un système en local et un système distant, les 2 sur une connexion fibre optique.
 
OMV me semble pas mal, sinon tout simplement une distri Debian ou Ubuntu et un déploiement manuel de ce dont j'ai besoin (SnapRAID si je le conserve, KVM pour les VM dont Docker, etc...).
 
ZFS s'il faut de la RAM ECC je n'ai pas envie de changer de matos pour ça, actuellement j'ai une H370M-ITX + i5 8500T + 32Go DDR4 + 5 HDD.
 
Je suis preneur de tout avis merci

Merci à the_fireball pour sa réponse trés instructive, les container lxc sont intéressant pour docker, sinon je penses partir sur open media vault (qui a un plugin pour snapraid de mémoire)pour la partie nas , le fait de pouvoir rattacher un raid zfs sur un container est intéressante je vais regardé aussi de ce coté la
 
Je compté mettre les disques  en passthrought  pour faire la gestion via omv pour la gestion zfs +cache a voir donc...
 
 
je compte faire host proxmox
container lxc pour besoin docker
Pour nextcloud effectivement plus facile à gérer sur une vm
vm pour omv avec zfs soit gérer par proxmox soit par omv a voir
 
Pour ceux qui se pose la question sur les container lxc  j'ai pu lire que c'est moins énergivore en ressource que de faire cela sur omv ou unraid par exemple, on a aussi une question de sécurisationtu plante ton nas tu plante ses vm , docker etc.
Le fait de séparer sur proxmox permet de séparer (proxmox reste le maillon faible) mais c'est aussi plus simple a restaurer.
 
 
cela reste un  point de vue personnel bien sur  

Bonne année 2023 à toutes et à tous :-)
 
Réflexion et test toujours en cours
 
Proxmox est le meilleur pour gérer les VM, LXC, docker, etc..
Truenas est le meilleur pour gérer les disques, paramétrage ZFS et dataset en mode graphique, et partage de fichier (NFS, Samba)
J'ai installé Proxmox (en bare-metal) et Truenas dans une machine virtuelle avec un disque de data mode block (ZFS ZVOL)
 

Débit transfert de fichier de Proxmox + samba dans une LXC sur réseau local 2.5Gbps
 

Débit transfert de fichier de TrueNas (avec un  disque ZFS ZVOL géré par Proxmox) sur réseau local 2.5Gbps
 
Donc, il n'y a pas photo
Un compromis acceptable serait de gérer les disques dans Truenas en mode Passthrough pour conserver le débit avec une carte type LSI HBA (IT Mode)
 
Dans ce cas cas Proxmox sera pénalisé pour les accès au pool ZFS car il devra utiliser NFS ou CIFS pour y avoir accès
mais ce n'est sans doute pas très grave car il peut avoir ses propres disques NVME ou SSD en ZFS mirror pour les VM/LXC/Docker
 
Carte HBA en attente depuis ALI.. donc suite au prochain épisode

Depuis proxmox tu ne peux pas monter un volume via iscsi ?

Merci pour le partage de tes tests.

Actuellement j'utilise OMV car mon NAS est une récup de mon premier Intel nuc.. Il ressemble à rien mais c'est un setup temporaire.

Auparavant j'avais un hpgen8 (il patiente au grenier), avec proxmox et un LXC pour samba. Je me demande si ça vaut vraiment le coup de revenir sur ce genre de setup (plutôt que juste Truenas ou OMV), donc tes tests m'intéressent.

Je suis en train de voir pour construire un premier petit NAS avec du matos de récup.
Sûrement sous Truenas (Core ? Scale ? le débat est encore en cours), ça m'a l'air intéressant comme OS.
J'ai récupéré
- une CM Asrock C70M1 avec processeur Dual core intégré et
- 8 Go de RAM DDR3.
- une alim 500W.

Je vais mettre le tout dans un Fractal Node 804.
J'ai déjà 3 DD 4 To avec des données, 2 sont "actifs", le 3e sert pour la sauvegarde d'une partie de mes données, donc j'ai racheté un 4e 4 To, et je vais ainsi pouvoir créer mon pool avec 3 DD, copier toutes mes données et rajouter le 4e disque.

Mon but n'est pas d'avoir une machine de guerre, c'est vraiment de pouvoir partager mes documents entre tous les ordis de la maison "plus simplement", avec un petit côté sécurisation des données que je complèterais, je motive de la famille à me suivre pour avoir de la sauvegarde hors site .

Si besoin, je rajouterais de la RAM ou changerai carrément CM/CPU/RAM. Je pense que de tout façon, à un moment ça arrivera pour m'amuser un peu plus avec toutes les possibilités offertes.

Ma grosse interrogation repose sur l'ajout du SSD= pour garder mes 4 ports SATA à dispo, j'ai acheté et compte ajouter une carte PCIe pour ajouter un "petit" SSD pour l'OS, j'espère juste que la CM détectera le SSD dès le boot, il semblerait que certains ont un problème de cette nature.
Et je dupliquerai ce SSD sur une clé USB.
Si ça marche pas, j'utiliserai 2 clés USB pour l'OS en dupliqué ("pas top" askip mais "pas mal de gens" ont l'air de le faire d'après Youtube donc bon...) et si possible le SSD en cache.

 
Chez moi ca fonctionne sur une ASRock J5040
ca dépend uniquement du BIOS