Créer et gérer des volumes logiques contenant des systèmes de fichiers ou des espaces d’échange à partir de la ligne de commandes. Gestionnaire de volumes logiques LVMConcepts et composants du gestionnaire de volumes logiques, implémentation du stockage LVM et affichage des informations sur les composants LVM. Ordre : Création de partition LVM Création de PV (pour chaque partition) Création de VG (Englobant 1 ou plusieurs PV) Création de LV (Faisant partie d’un VG) Formatage du LV dans un systè
[ CATEGORIE ] : Stockage
Créer et gérer des périphériques de stockage, des partitions, des systèmes de fichiers et des espaces d’échange à partir de la ligne de commande. Systèmes de fichiersAccéder au contenu des systèmes de fichiers en ajoutant et en supprimant des systèmes de fichiers à la hiérarchie des systèmes de fichiers. Détails sur les partitions : # lsblk -fp Information sur les partitions : # lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS[...]sdb 8:16 0 5G 0 disk Partitionner, for
LVM gère automatiquement l’extension des volumes logiques pour utiliser efficacement l’espace disponible, mais cela peut conduire à une distribution sur plusieurs disques ou partitions et peut sembler désorganisé si on vérifie avec lsblk. Mais il est cependant possible de forcer manuellement la disposition des LV pour garder un certain contrôle et une “harmonie visuelle” sur la répartition (la maniaquerie…). Répartition des LVIl est assez courant d’observer dans les environnements LVM ce type d
L’objectif ici est de mettre en place une architecture basée sur LVM (Logical Volume Manager) correspondant au schéma ci-dessous. il s’agit d’un exemple fictif (mais possible) permettant de recouvrir plusieurs cas de figure. DescriptionHard Drives Les disques durs physiques : /dev/sda /dev/sdb /dev/sdc /dev/sdd /dev/sde Les disques sont partionnés. Partitions Les partitions de chaque disque physique : Le disque /dev/sda est partitionné en /dev/sda, /dev/sda, /dev/sda Le disque /dev/sdb est p
La commande partprobe informe le noyau des changements sur les partitions des disques et udevadm settle attend que udev termine de traiter les événements matériels. Les lancer toutes les deux en cas de doute permet de s’assurer que tous les changements ont bien été pris en compte correctement. Ordre recommandé : partprobe : pour notifier le noyau - Utilisé après la création ou la modification des partitions pour informer le noyau des nouvelles partitions udevadm settle : pour s’assurer que udev
You can use ssacli (smart storage administrator command line interface) tool to manage any of supported HP Smart Array Controllers to fully manage your storage (controllers, physical disks, logical drives, etc.). The ssacli command replaces older hpssacli but shares the same syntax. Launch the HPE CLI .Go into the HPE CLI on your storage: $ sudo ssacli // HPE Proliant$ sudo hpssacli // HPE Smart Storage Administrator Or you can directly call them by
Network File System (NFS) est un protocole Internet standard et prend en charge les autorisations Linux natives et les attributs de système de fichiers. Les serveurs NFS exportent les répertoires et les clients NFS montent les répertoires exportés sur un point de montage local existant. Les clients NFS peuvent monter les répertoires exportés de plusieurs façons : Manuellement en utilisant la commande mount De façon persistante au démarrage en configurant des entrées dans le fichier /etc/fstab
La création de volumes logiques se fait en plusieurs étapes. Ci-dessous un flux de travail de base pour utiliser LVM sous Linux. Création d’un stockage LVMPréparation des disquesCréez une nouvelle partition LVM avec fdisk : # fdisk /dev/vde Créez une nouvelle partition LVM : n : créer une nouvelle partition type de partition : par défaut primaire, appuyez sur Enter numéro de partition : par défaut le prochain disponible, appuyez sur Enter premier secteur : appuyez sur Enter pour utiliser la va
LVM (Logical Volume Manager) permet de gérer l’espace de stockage de manière plus dynamique et flexible en utilisant les concepts de Physical Volumes, Volume Groups et Logical Volumes. Avantage de LVML’avantages avec LVM est de : redimensionner des volumes sans arrêter les applications ni démonter les systèmes de fichiers de déplacer des données entre des disques d’ajouter facilement de nouveaux disques au pool de stockage Disque physiques - Partitions - PV - VG - LVPéripheriques PhysiquesLes
Le swap (espace d’échange) est une zone de stockage sur le disque dur utilisée par le système pour étendre la capacité de la mémoire vive (RAM). Lorsque la RAM atteint sa limite, le swap permet de déplacer temporairement des données moins utilisées vers le disque dur, libérant ainsi de l’espace en RAM pour les données actuellement nécessaires. Capacité recommandée RAM Swap Swap si hibernation ⩽ 2Go 2 x la RAM 3 x la RAM 2 Go - 8 Go = à la RAM 2 x la RAM 8 Go - 64 Go ⩾ 4 Go 1,5 x la RAM
Exemple de gestion du stockage. Montage et démontage de systèmes de fichiersLa commande lsblk donne les disques existants, ici sdb, sdc et sdd viennent d’être ajoutés et ne sont pas partitionnés : [root@SERVER01 ~]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTSsda 8:0 0 50G 0 disk├─sda1 8:1 0 600M 0 part /boot/efi├─sda2 8:2 0 1G 0 part /boot└─sda3 8:3 0 48.4G 0 part ├─rhel-root 253:0 0 44.5G 0 lvm / └─rhel-swap 253:1
Les commandes mount et unmount permettent monter et démonter un système de fichiers manuellement en utilisant soit le nom du périphérique dans /dev ou avec son UUID. Lister les périphériques disponiblesLa commande lsblk permet de lister les périphériques disponibles : # lsblk La commande lsblk avec les options -f et -p permet de lister les périphériques disponibles et d’afficher leurs UUID : # lsblk -fp Sortie de la commande : NAME FSTYPE FSVER LABEL UUID FSAVAIL FSUSE
Pour créer un système de fichier on utilise la commande mkfs. Créer un système de fichiersAfficher le types de système de fichiers : # lsblk# file /dev/sdX Monter un système de fichier : # mkfs.ext4 /dev/sdX1# mkfs.fat -F32 /dev/sdX1# mkfs.ntfs /dev/sdX1# mkfs.xfs /dev/sdX1# mkfs.btrfs /dev/sdX1 Afficher les types de système de fichiersPeut se faire avec lsblk -o NAME, FSTYPE et blkid : # lsblk -o NAME,FSTYPENAME FSTYPEsda├─sda1 vfat├─sda2 xfs└─sda3 LVM2_member ├
Pour patitionner un volume, on peut utiliser parted ou fdisk. À moins d’être expert·e parted il vaut mieux utiliser fdisk car les modifications restent en RAM avant la modification finale, alors que pour parted tout se valide au fur et à mesure et peut être compliqué en cas d’erreur. Partitionner un volumeOn veut partitionner un volume vdb. Affichage des informations sur les volumesListing des volumes disponibles : # lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTSvda 252:0 0 10G 0 disk
Ordre pour créer un nouveau volume sur un système : 0 - Plugger son disque1 - Créer une partition2 - Créer un système de fichiers3 - Monter la partition OrdrePlugger un disqueAfficher les informations des volumes : # lsblk # lsblk -fp # lsblk -fs Créer une partitionAfficher les informations des volumes : # lsblk # lsblk -fp # lsblk -fs Partitionner un volume, lire les instructions de l’aide # fdisk /dev/sdX Appliquer la modificationPour s’assurer que le noyau et udev ont bien pris e
Vérifier la santé des disques, les commandes diffères en fontion d’un SSD et d’un NVME Disque Sata SSDLancer la commande badblock : # badblocks -vs /dev/sdX Si aucun block n’est deffecteux : Pass completed, 0 bad blocks found. (0/0/0 errors) Disque NVMEDans un raid avec pour nom de volume /dev/sdX et plusieurs disques n°Y.À savoir que smartctl compte à partir de zéro. Donc un disque sur le slot 4 du serveur, correspondra à un Y=3. Lancer la commande smartctl : # smartctl -t short -d <disque
Les disques SMART (Self-Monitoring, Analysis and Reporting Technology) disposent d’un système d’auto-surveillance. SMART permet de faire un diagnostic selon plusieurs indicateurs de fiabilité dans le but d’anticiper les erreurs. Smartmontools (SMART Monitoring Tools) est un ensemble de programmes utilitaires (smartctl et smartd) permettant de contrôler et de surveiller le stockage à l’aide du système de SMART qui est intégré à la plupart des disques (SATA, NVMe, SCSI, …) Fonctionnement de SMARTA
Dans le stockage virtuel il existe 2 sortes de provisionnement : le thick provisioning (thick = épais) et thin provisioning (thin = mince) ou provisionnement dynamique. Le thick provisioning est un type d’allocation consistant à pré-allouer la quantité totale définie sur le stockage physique. Dans ce cas la création d’un disque virtuel de 100 Go consomme en réalité 100 Go d’espace disque physique même si aucune donnée n’a encore été écrite et cet espace déjà alloué n’est pas disponible pour aut
Créer et Restaurer Snapshot dans Qumulo Créer des snapshotsPolicyDans votre interface web Qumulo, il faut créer une policy pour générer des snapshots : Menu > Cluster > Policy Pour lister les policies : # qq snapshot_list_policies Pour supprimer une policy : # qq snapshot_delete_policy -i <ID> ListingVous verrez au fur et à mesure vos snapshot dans : Menu > Cluster > Saved Snapshots Où il sera également possible de les supprimer. Pour lister les snapshots : # qq snapshot_
Excerpt from the manual of smartctl : smartctl is a command that control and Monitor Utility for SMART Disks : smartctl controls the Self-Monitoring, Analysis and Reporting Technology (SMART) system built into most ATA/SATA and SCSI/SAS hard drives and solid-state drives. The purpose of SMART is to monitor the reliability of the hard drive and predict drive failures, and to carry out different types of drive self-tests. When you use smartctl command, you can see a high rate of Elements in gro
The UID indicator (blue light button on the right below the power on/off button) is to help you to physically identify a server in your server room (in a rack or in your datacenter). You can turn the UID indicator On or Off as follows by click on the iLO circle icon. You will see the button turning blue, indicate on the server that the UID light is on. Documentationhttps://www.arubanetworks.com/techdocs/AFC/610/Content/afc61olh/hpe-ilo-act.htmhttps://community.hpe.com/t5/proliant-servers-ml-dl
Differences between Data scrubbing & Data cleansing Scrubbing - LavageData scrubbingData scrubbing is an error correction technique that uses a background task to periodically inspect main memory or storage for errors, then corrects detected errors using redundant data in the form of different checksums or copies of data.Data scrubbing reduces the likelihood that single correctable errors will accumulate, leading to reduced risks of uncorrectable errors. Lavage des donnéesLe Lavage des donné
autofs is a program for automatically mounting directories on an as-needed basis. Auto-mounts are mounted only as they are accessed, and are unmounted after a period of inactivity. Because of this, automounting NFS/Samba shares conserves bandwidth and offers better overall performance compared to static mounts via fstab. To avoid confusion, the following terminologies will be used: automount: the program used to configure a mount point for autofs. When autofs is started, an automount daemon is
L’utilisation de /etc/fstab peut affecter les performances d’un système lorsqu’il doit maintenir de nombreux points de montage. L’alternative à /etc/fstab est automount (basé noyau). Automounter se compose de : un module noyau : implémente un système de fichiers un daemon de l’espace utilisateur : effectue toutes les autres fonctions automountAutoFS contrôle les opérations des daemons automount. Les daemons automount montent automatiquement des systèmes de fichiers quand ils sont employés et
SSO pour Single Sign-on est un service d’authentification de session et d’utilisateur permettant à un utilisateur d’utiliser un ensemble d’informations d’identification (nom et mot de passe) pour accéder à plusieurs applications. SSO peut être utilisé pour atténuer la gestion de divers noms d’utilisateur et mots de passe. Avantages et inconvénients du SSOAvantages SSOPermet aux utilisateurs de gérer moins de mots de passe et de noms d’utilisateur pour chaque application. Simplifie le processus
[….EN COURS…..] Ceph est un stockage distribué orienté ojbect mais supporte également le stockage de fichiers et par blocs. L’architecture de Ceph tient compte du SPOF : le traitement des donnés est distribué et en cas de panne sur un noeud specifique il est capable de s’auto-réparer. https://ssup2.github.io/images/theory_analysis/Ceph/Ceph_Architecture.PNG Type de stockageCeph possède 3 types de stockage : stockage d’objets stockage de blocs stockage de fichiers Stockage d’objetsLorsque Ceph
Red Hat Ceph Storage est une plateforme de stockage logiciel permettant de provisionner en stockage des centaines de conteneurs et de machines virtuelles et de créer des plateformes cloud. Ceph signifie céphalopode 🐙 🦑 Ceph DaemonsLes clusters Red Hat Ceph Storage se composent de : Ceph Monitor Ceph Manager Ceph OSD Ceph MDS Ceph Object Gateway Ceph MonitorChaque nœud Ceph Monitor exécute le daemon ceph-mon qui conserve une copie de la map de stockage du cluster. Cette map décrit la topologi
Red Hat Ceph Storage est une plateforme de stockage logiciel permettant de provisionner en stockage des centaines de conteneurs et de machines virtuelles et de créer des plateformes cloud. Ceph signifie céphalopode 🐙 🦑 CephConcepts : reliable (fiable, résilient) : pas de SPOF, zéro downtime scalable (évolutif) : extensible facilement Auto-reparant : il gère les pannes de disque Cas d’usages : Vitualisation (KVM, Proxmox, OpenStack, Kubernetes, …) Grands volumes de donnés Donnée “froides” (a
L’acronyme RAID signifie Redundant Array of Independent Disks (regroupement redondant de disques indépendants). Pour mémo, les différents type de RAID simples et combinés. Les RAIDLes RAID de base : Les RAID combinés : Documentationhttps://fr.wikipedia.org/wiki/RAID_(informatique)
Si vous rencontrez un problème de RAID sur un serveur, l’état du RAID logiciel peut être lu via le fichier /proc/mdstat. DiagnosticDans le cas d’un RAID 1 (mirroir) logiciel avec 2 disques sda et sdb. RAIDSur le serveur qui rencontre le problème, lancer la commande suivante, un RAID correctement monté devrait indiquer : # cat /proc/mdstatPersonalities : [raid1]read_ahead 1024 sectorsmd0 : active raid1 sda1[1] sdb1[0]102208 blocks [2/2] [UU]md1 : active raid1 sda2[1] sdb2[0]119684160 blocks [2/2]
Pour monter un volume, on utilise la commande mount qui modifie le fichier /etc/fstab, ce fichier s’applique à chaque redemarrage de la machine. Si elle ne peut être éteinte, il faut forcer sa relecture pour que les changements puissent y être appliqués. Monter un volumeVolume localSimplement avec la commande mount ou en modifiant le fichier /etc/fstab pour le rendre permanent : # mount -t nfs /dev/sdd1 /mnt/mon/volume Sur du NetApp : # mount -t nfs aggregat25:/vol/volume /mnt/mon/volume Démont
Différences entre un agregat, un volume, un FlexVol, un qtree et un LUN sous NetApp. Le schéma ci-dessous donne un aperçu général : AggregateDéfinitionAggregate : ensemble de disques physiques, généralement montés en RAID. Un aggregate est un ensemble de disques (ou partitions) organisés en un ou plusieurs RAID. Il s’agit de l’unité de stockage la plus élémentaire au sein d’ONTAP et il est nécessaire pour permettre l’approvisionnement d’espace pour les hôtes connectés. Commandes de basePour la