Reprise du message précédent :
Pas mal du tout le montage des disques, même si je préfère du rack pour pouvoir changer les disques à chaud

Pas mal, j'envisage, encore d'upgrader le mien, mais pour le moment ca reste de l'hypothétique.
 
Pour la CM je vise ça http://www.asrockrack.com/general/ [...] =C2750D4I# avec 16Go de ram ECC tout ça accompagné de FreeBSD et ZFS  
 
Reste plus qu'a financer le projet !
 

Online avait un projet de serveur basé sur cette carte mère, pas mal sur la photo: https://twitter.com/online_fr/status/471332429098000384
En fait c'est l'Asrock Rack : http://www.anandtech.com/show/7970 [...] management

Je sais, c'est ce qui m'a motivé dans mes choix

justement, si par mégarde tu supprimes un truc sur ton nas, si hubic synchronises tout en temps réel, ca supprimera aussi les fichiers sur hubic non?
 
a moins que tu n'aies une option dans hubic qui dise " répercutes toutes les modifications locale vers le cloud SAUF les suppressions "...
 
 
j'connais pas hubic, mais le principe de la synchro, c'est de répercuter en live les modifs faites d'un coté...
du coup, ca n'evite pas les risques de suppression, puisqu'une mauvaise manip à un endroit se répercutera très vite de l'autre coté

 
Ce fut une bonne reflexion. Un element de decision fut le prix, les elastiques sont peu chers Le bruit etait un point WAF tres important. Je me suis basé sur l'historique de mon NAS. Je touche du bois, mais je n'ai jamais eu à changer de disque. Ca me prendre un peu plus de temps si l'occasion se presente.

 
Nous sommes d'accord. Ma synchro Hubic est la sauvegarde de la derniere chance. Pour la recuperation accidentelle, j'ai les snapshots. J'ai aussi 2 petits boitiers Netgear avec 2To. Je prevois d'en reserver un pour un synchro avec le serveur. L'autre pour stocker les snasphots.
Par contre, dans ma facon de gerer mon NAS je considere les snapshots comme cette protection anti betise. Si je dois recuperer le contenu chez Hubic, c'est que j'ai perdu ma grappe integralement et que mon netgear est mort. Du coup, je me focaliserai pas sur les quelques fichiers supprimés par megardes.
 
Hubic ne permet pas de conserver les suppressions. Par contre, il ne synchronise qu'une fois par jour. Apres je peux aller plus loin et exporter les snasphots pour qu'ils soient synchronisés sur hubic.

sous linux tu n'as pas comme sous windows les "version précédentes" ?
http://windows.microsoft.com/fr-be [...] =windows-7

C'est exactement ce que je suis en train de mettre en place. Je ferai des retours prochainement

Je vous fais part de quelques deboires que j'ai pu avoir ces derniers jours.  
 
Le plus etonnants est la commande rsync. Avant mon changement, je l'utilisais pour synchroniser mon NAS de sauvegarde avec le serveur. Pas de soucis, la commande etant basique, efficace, et stable.
En la migrant sous Open Indiana, ce fut catastrophiques. Les IO importants, le debit atroce, et celà rendait le serveur peu reactif. J'ai fouillé partout. Pas moyen d'ameliorer ca.  
Au final, j'avais un debit ne depassant pas les 450Ko/s en local sur du gigabit( iperf me donne du 900Mb), et un temps de traitement interminable entre 2 fichiers. Bref, 8 heures pour tout juste 700Mo.
 
Pour voir si ce n'etait pas un problème lié à esxi et mon archi, j'ai testé la commande avec une VM sous FreeBSD 9.2. J'ai donc fait un montage NFS des noeuds à synchroniser et lancer la commande. Là, je retrouve une situation normale, cad 16Mo/s. Le mieux que le backup puisse faire (D-link 320). Du coup, j'ai monté une VM dedié aux backups.
 
 
L'autre souci que je rencontre est sur de la perte de paquets reseau d'OI, et des temps de reponses à ping aleatoires. Là je n'ai pas encore su l'expliquer. C'est aleatoire, ne dure pas tres longtemps. Le point incomprehensible est que le ping sur les autres VM marche niquel. Donc, la même interface physique et seul OI est touché, même lorsqu'il n'est pas chargé.  
 
J'effectue aussi mon backup "cloud" chez hubic. Pour les interessés, il faut lire le contrat. Il est stipulé tres clairement que pour des raisons de qualité de service, la BP est bridée à 1.5Mo/s. Difficile de lier qualité et bridage. Dans les faits c'est pire car les stats sur 24 heures montrent que le moyenne se trouve à 1.2Mo/s en upload. Ma fibre me permet un debit de 6Mo/s.
Bref, hubic est un choix interessant. Mais il faudra s'armer de patience le jour où il faudra tout recuperer.

NFS = transferts synchrones, avec ZFS ça pique niveau perf.
2 possibilités:  
- passer en asynchrone côté ZFS (risque sur les coupures de courant)
- ajouter un ZIL

Il s'agit de lecture, donc pas de soucis de synchronisation. Le problème n'est pas NFS, mais rsync dans OI
 

• rsync directement depuis IO est tres lent, 450Ko/s, bcp d'IO
• rsync depuis une VM BDS connecté à OI via NFS fonctionne normalement.

Sinon, nouvelle configuration NAS:
- AsRock C2750D4I avec 2 petits 40mm Noctua qui traînaient
- 16Go DDR3 ECC (reste 2 slots, donc je peux encore doubler)
- 4x4To + 4x2To les 2 en 1 pool de 2 Raid-Z1 (c'est pas optimal, mais j'allais pas faire du Raid1+0... )
- Boitier UNAS NSC-800
 
OS:
Freenas 9.2.1.5
 
Pour le moment, le monitoring ne me sature pas franchement les core, mais j'ai de la réserve pour faire du transcoding iPad.

Des photos du montage?

T'as utilisé quel RAM ? et pourquoi pas directement freebsd ?  
 
A dire vrai, j'envisage cette CM, pour serveur web de stream (limité à la famille et pourquoi pas de la HD) et j'ai peur d'être limité par le CPU, tu l'utilise pour quoi toi ?

 
- Crucial 8 Go DDR3 1600 MHz ECC CL11
- Parce que j'ai pas envie de trop mettre les mains dans le camboui, donc l'interface NAS intégrée a qd même qq avantages.
 
Pour le streaming pur, c'est largement suffisant. Pour le transcoding via Plex, je ne sais pas trop. J'avais lu qq retours comme quoi ça le faisait pas mal.
 
Après, aucun souci de reboot, par contre l'IPMI peut être un peu capricieux.

Ce sont des serveurs de compet vos machines J'ai opté pour une approche plus modeste: un Cubietruck (sorte de carte ARM type Raspberry Pi en légèrement plus véloce). Niveau config c'est un ARM dual core avec 2 Go de RAM et une carte SD de 16 Go pour accueillir Lubuntu en version shell.
 
C'est plus limité au niveau harware mais ça présente des avantages. C'est bon marché, ça ne consomme presque rien (il est alimenté par un seul USB), on peut toucher à tout avec un linux embarqué et c'est du fanless (et puis ça a un petit charme atypique, c'est une belle machine ).
 
J'y ai branché une clé USB 64Go et un SSD 60 Go qui trainaient dans mes tiroirs, c'est une bonne solution pour ceux comme moi qui aimeraient bidouiller sur un serveur sans sortir la machine de guerre il est capable de faire SFTP, serveur Web, client torrent, serveur VPN pour une utilisation perso. Equipé d'un client no-ip c'est bien sympa
 
Voilà, j'espère ne pas passer pour un troll à coté des configs que j'ai vu plus haut

Vu comme ça c'est surtout pas un NAS...

un seul port SATA, c'est assez peu pour monter un bon NAS...
 
par contre comme machine de bidouillage, pourquoi pas.

Première alerte ZFS en 5 ans. Un des HDD est en défaut depuis de matin. Pas de souci, j'ai un disque bien rangé dans son emballage pour le remplacement.
 
Moment magique, le nouveau disque est encore plus mort que celui en defaut. Bref, je suis bon pour commander de nouveaux disques
 
Faut que ca tombe juste apres le changement de machine.

Tu viens de me faire me rappeler que j'ai pas reprogrammé d'autoscrub sur le mien...

D'ailleurs, si vous avez des scripts qui trainent je suis preneur

Et hop, première alerte ZFS, il y a un truc pas clair du tout qui se passe avec mon pool, car j'ai des erreurs sur tous les disques...    
 

Ah si, c'est parfaitement clair, le ventilateur du rack ne tourne pas, les disques sont tous à 50°C (le scrub n'ayant rien arrangé...)

T'as de la RAM ECC ? Car c'est typiquement le genre de soucis que tu peux avoir avec un souci de RAM.
 
50° c'est pas top, mais ils sont en pleins scrubs, donc ça se comprend, et c'est pas dramatique pour des HDD, même si à éviter. Je pense pas que ce soit la cause.

Oui c'est de la RAM ECC
Le truc assez bizarre c'est qu'après avoir fixé le ventilo (et donc rebooté), j'avais beaucoup moins d'erreur (quelques dizaines, contre quelques milliers un peu après avoir posté le screenshot). Et les 6 fichiers que zfs me disait corrompus ne le sont pas du tout (c'était des jpg qui s'ouvrent encore nickel, et la probabilité que les 6 corruptions tombent en dehors des pixels est bien faible..)
J'ai relancé un nouveau scrub pour voir

Peut-être un problème de surchauffe du controlleur SAS ?  
Le microscopique radiateur est brulant pendant un scrub, même si c'est de loin pas la première fois
Ou sinon, peut être que les mecs de FreeNAS ont raison sur le risque de le faire tourner en VM, et que ça viens de là

Mettre un nas sur une VM c'est quand même rajouter une couche logiciel supplémentaire inutile sur quelque chose qu'on essaie de rendre le plus fiable possible
 
C'est un peu la définition de chercher des emmerdes.

 
T'as un contrôleur en paththrough ?
C'est pas un contrôleur RAID au moins ?

 
Ça se discute, d'un côté la virtualisation c'est une techno quand même assez éprouvée, d'un autre côté c'est sûr que ça rajoute de la complexité et du risque d'erreur humaine  
Et si tu y regardes de plus près les warnings sur FreeNAS c'est surtout pour se prémunir des gens qui font ça avec le mauvais hardware sans faire attention...
 

 
Yep, un LSI 2308 flashé en HBA, en passthrough VFIO sur KVM
 
 
Bon le troisième scrub est passé sans problème, RAS pour le moment.
Je ne vais pas me plaindre, mais ça aurait été cool de pouvoir reproduire le problème pour en isoler la cause et être serein  

 
Oui chez Freenas, c'est de la prévention pour les gens qui font n'importe quoi. J'ai tourné plusieurs années avec du ZFS en VM ESXi sans aucun souci (lié à ESXi du moins ) C'est limite bien plus pratique quand tu dois régler des problèmes liés à ZFS car tu peux facilement importer le volume sur un autre OS en passant le contrôleur à une autre VM.
 
Sinon, content que ce soit tombé en marche, mais toujours rageant d'avoir l'impression qu'il y a un souci latent non identifié  

C'est un server@home ça go ici : http://forum.hardware.fr/forum2.ph [...] w=0&nojs=0
 
XaT

 
Le problème est revenu, j'ai de nouveau des erreurs de checksum  
J'ai peut être une idée pour la source du problème : l'overcommit de mémoire
 

 
Voila la tête de la consommation mémoire sur mon host :
 

 
Il y a 15Go sur 16 alloués aux VMs, et j'imagine que c'est trop en prenant en compte la consommation du host. Du coup une partie de la RAM allouée à FreeNAS se retrouverait en swap, où elle serait donc à la merci de la corruption. C'est étrange car je n'ai pas de soucis par ailleurs avec mon SSD dont le reste est en btrfs, mais toujours est-il que la partition de swap n'est pas checksummée donc il y a un trou dans la chaine d'intégrité
 
Je continue à investiguer...

ESXi ? T'utilises l'allocation statique de mémoire en réservant toute la mémoire allouée à une VM ?

Non, Qemu-KVM

 
 
En même temps on peux comprendre l'erreur, ce Topic parle de "NAS" d'un point de vue assez large ...

 
 
Petit retour au bout de 6 mois. Le serveur est juste rock stable (up sans discontinuité depuis la dernière MAJ 9.2). Il gère parfaitement l'environnement hétérogène dans lequel il est intégré (8 postes Mac, Windows, Unix). Les vitesses sont monstrueuses (RaidZ2 de 6 HD WD red 4To) et saturent la connexion Ethernet gigabits.
 
En plus de cela il y a un serveur Plex qui tourne dessus et balance sans sourcilier 3-4 flux HD transcodés... (j'ai pas les device pour essayer plus ...)
 
Les taches Rsync sur SSH vers les serveurs distants s’exécutent parfaitement bien et les remontées sur tous les événements (envoi par mail...) est juste top.
 
Il fait le job quoi. Bref, un sans faute pour Freenas.  
 
 

Propre, on peut faire du LACP avec Freenas ?

Pour ceux qu'on une C2750D4I avec freebsd, vous avez une copie de votre make.conf ?

 
 
Of course http://doc.freenas.org/index.php/Link_Aggregations
 

Oui pas de soucis on peut comprendre l'erreur, je n'étais pas agressif, j'indiquais juste le bon topic pour ses questions
D'ailleurs n'hésitez pas à rejoindre le topic server@home si vous voulez faire plus qu'un NAS !
 
XaT