Dans la console de Veritas Netbackup, dans le menu à gauche, aller dans “Backup, Archive, and Restore”, la fenêtre sur la droite comporte 3 onglets : Backup Files : il s’agit de l’arboressence sur le serveur de backup Restore Files : tout ce qui concerne les backups effectués Task Progress : les tâches de restauration en cours Restauration de fichiersNetAppSi vous disposez d’un NetApp, vous devrier normalement pouvoir restaurer des fichiers dans les .snapshot s’ils sont assez récents. Veritas

La commande ls liste les informations sur les fichiers/dossiers Utilisation : ls [OPTION]... [FICHIER]... Afichage étenduAffiche le chemin complet : # ls -ld $PWD/* Affiche l’auteur de chaque fichier # ls -l --author Affiche le numéro d’index de chaque fichier (l’inode) # ls -li Affiche la taille d’allocation de chaque fichier en bloc # ls -ls Affiche uniquement les UID et GID pour les groupes et propriétaires # ls -ln

Fichiers principaux de SGE Fichiers de logsLes fichiers de logs sous SGE se trouvent : $SGE_ROOT/default/spool/qmaster/messages$SGE_ROOT/default/spool/qmaster/schedd/messages$SGE_ROOT/default/spool/<node>/messages Exemple : /opt/sge/default/spool/qmaster/messages Les panicLogs se trouvent dans : /var/spool/var/tmp/spool Les sorties standards STDOUT/STDERR des jobs utilisateurs sont une bonne ressource pour debug Documentationhttps://linux.die.net/man/8/sge_execdhttps://bioteam.net/wp-c

Fichiers principaux de SLURM Fichiers de configuration Configuration Files Définition acct_gather.conf Slurm configuration file for the acct_gather plugins burst_buffer.conf Slurm burst buffer configuration cgroup.conf Slurm configuration file for the cgroup support ext_sensors.conf Slurm configuration file for the external sensor support gres.conf Slurm configuration file for generic resource management helpers.conf Slurm configuration f

SGE est l’ordonnanceur de taches qui permet aux utilisateurs de soumettre leurs jobs. Chaque noeud de calcul execute un daemon sgeexecd pour dialoguer avec le daemon qmaster. Ce dernier permet de tout orchestrer. Daemons SGE Daemons and Other Définition sgeexecd Sur les noeuds qmaster Sur le master Documentationhttps://pmcs2i.ec-lyon.fr/documentation/run/commands.htmlhttps://hpc.llnl.gov/banks-jobs/running-jobs/slurm-commandshttps://slurm.schedmd.com/man_index.html

SLURM (Simple Linux Utility for Resource Management) est un planificateur de tâches gratuit et open source pour les noyaux de type Linux et Unix, utilisé par de nombreux superordinateurs et grappes d’ordinateurs dans le monde. Daemons SLURM Daemons and Other Définition slurmctld Contrôleur central (généralement un par cluster) - Sauvegarde facultative avec failover automatique - Surveille l’état et les ressources - Gère les queues et les jobs - Contrôleur central (génér

SLURM semble down ? Voici un récapitulatif des vérifications préliminaires. VérificationsSlurm répondExécutez scontrol ping pour vérifier que le serveur maître est joignable : # scontrol pingSlurmctld(primary) at <ServerName> is UP Si la commande indique qu’il répond, il peut s’agir d’un problème de mise en réseau ou de configuration spécifique à un utilisateur ou à un nœud du cluster. Slurm ne répond pasExécutez scontrol ping pour vérifier que le serveur maître est joignable : # scontrol

L’interface utilisateur de ligne de commande de Sun Grid Engine consiste en un jeu de programmes (commandes) auxiliaires qui vous permet de gérer des files d’attente, de soumettre et de supprimer des travaux, de vérifier l’état d’un travail et d’interrompre ou d’activer des files d’attente et des travaux. Le système Sun Grid Engine se sert du jeu de programmes auxilliaires suivant : Commandes Commande Définition qacct extrait des informations de comptabilité arbitraire du fichier journ

SLURM (Simple Linux Utility for Resource Management) est un planificateur de tâches gratuit et open source pour les noyaux de type Linux et Unix, utilisé par de nombreux superordinateurs et grappes d’ordinateurs dans le monde. Commandes de baseFile d’attente = queue = partition dans SLURM Commande Définition sinfo interrogation des files d’attente sbatch soumission d’un job dans une file d’attente (appelées partitions dans SLURM) salloc réservation de ressources en intera

Problème rencontrés avec des noeuds sous gestions SLURM. Etats possibles des noeuds2022/10/01/SLURM-Status-des-noeuds/ Commandes de baseVérifier l’état des noeudsAffiche uniquement la raison des noeuds en down, drained and draining : # sinfo -R Pour des informations plus détaillées (non troquées) : # sinfo -Nel Affiche le détail d’un noeud en particulier : # scontrol show nodes=<mynode> Equivalent à (sans le “s” à node) : # scontrol show node <mynode> Affiche tous les noeuds en

Dans un premier temps : s’assurer que les noeuds en questions sont bien gérés par SGE Etats des queuesStatuts d’erreur possibleSous SGE, les statuts possibles pour une queue sont : a : alarm c : configuration ambiguous d : disable o : ? (operator) s : Suspending u : unreachable A : Alarm - Quand le noeud est full ou a utilisé toutes ses ressources AU : Alarm - Unreachable AS : Alarm - Suspended - Si le noeud a atteint ses limites, SGE lui interdit de prendre un autre job et attent

La commande wc (World Count) accepte un ou plusieurs noms de fichiers mais peut aussi lire la sortie de la console. Sans options, la commande WC imprimera quatre colonnes : nombre de lignes nombre de mots nombre d’octets nom du fichier (si recherche dans fichier) UtilisationsExtrait du manuelL’aide console : -l, –lines Imprimez (que) le nombre de lignes-w, –words Imprimez (que) le nombre de mots-m, –chars Imprimez (que) le nombre de caractères-c, –bytes Imprimez (que) le nombre d’octets-L, –Ma

Pour ajouter/changer un groupe à un utilisateur on utilise usermod - mais - il faut faire attention aux options sinon tous les anciens groupes de l’utilisateur seront supprimés. UtilisationExtrait du manuelExtrait du manuel : -d, --home HOME_DIR new home directory for the user account-e, --expiredate EXPIRE_DATE set account expiration date to EXPIRE_DATE-f, --inactive INACTIVE set password inactive after expiration to INACTIVE-g, --gid GROUP force use GROUP as new

Pour changer des droits en fonction d’un répertoire ou d’un fichier en parcourant une arboressence : UtilisationManuelDéfinition dans les manuels : xargs — build and execute command lines from standard input exec — execute commands and open, close, or copy file descriptors Find et execLa commande find couplée à exec : # find <path> -type d -exec chmod 755 {} \;# find <path> -type f -exec chmod 644 {} \; Son équivalent avec les droits rxw : # find <path>

Le caractère * permet de selectionner tous les fichiers dans un répertoire mais un message d’erreur peut apparaitre : ls: cannot access *: No such file or directory. La plupart du temps cette erreur, malgré la connexion en root, peut être dûe au fait que le volume sur lequel on accèdent soit partagé, ou sous couvert de NetApp par exemple. $ sudo ls /<path>/*ls: cannot access *: No such file or directory Autre exemple : $ grep "word" /<path>/*grep: *.*: No such file or direc

La commande chage (change age) permet de modifier les informations de validité d’un mot de passe d’un utilisateur : nombre de jours entre les changements de mot de passe et la date du dernier changement. Elle est également très pratique pour forcer un utilisateur à changer son mot de passe lorsqu’un mot de passe temporaire lui a été attribué lors d’un oubli. Commande chageL’aide (extrait) : -d, --lastday LAST_DAY Configurer le nombre du jour où le mot de passe a été changé la dernière foi

Les quotas sour SGE permettent d’appliquer des limites à plusieurs types de ressources en fonctions des consommateurs. Types de ressources et types de consommateursRessourcesLes ressources peuvent être des : slots (coeurs) arch (architectures) mem_total (mémoire) num_proc (nombre de processeur) swap_total (mémoire swap) built-in resources (ressources interne) custom-defined resource (ressources ajoutées, comme un compilateur de licence) ConsommateursLes consommateurs de ressources peuvent être

Certains users ont besoin de plus de ressources pour réaliser des calculs et il est possible de leur allouer personnellement plus de coeurs sous SGE. Lister les quotasCommandesPour lister tous les quotas définis, on utilise la commande qconf avec les options s, r, q, s, et l : # qconf -srqsl Pour voir tous les quotas détaillés : # qconf -srqs Pour voir un quotas en particulier il suffit de préciser son nom : # qconf -srqs [nom] ExemplesLister tous les quotas définis : # qconf -srqslmax_slots

Créer des utilisateurs SLURM. Lister l’ensemble des utilisateurs et comptes SLURMLes comptes SLURM se différentient des utilisateurs SLURM. UtilisateursSur votre cluster : # sacctmgr list user Exemple de sortie : User Def Acct Admin------ ----------- ---------dustin ST Nonejim ST Noneeleven ST NoneErica ST Nonedartagn+ DG Noneroot Administ+mike ST Nonewill ST Nonebilly ST

Pour monter un volume calculs sur le point de montage /home/calculs pour les différents nœuds SLURM concernés Sur NetApp GUIVérifier la version de NFSNetApp propose aussi NFS version 4, pour le vérifier, aller dans l’interface Web NetApp. Récupérer les @IPRécupérer les “IP_ADDRESS_NFS“ : Dans > Volumes > vol_calculs > Déplier la flèche > Récupérer les @IP NFS @IP_A:/vol/vol_calculs @IP_B:/vol/vol_calculs Sur le clusterInformations sur les noeudsRécupérer les infos sur les noeuds : #

Pour chercher les numéros de série des disques durs sur Netapp : # disk show -v# sysconfig -a# rdfile /etc/serialnum# system show -instance Documentationhttps://community.netapp.com/t5/ONTAP-Hardware/Serial-Number-command/m-p/14103https://docs.netapp.com/ocsc-42/index.jsp?topic=%2Fcom.netapp.doc.ocsc-isg%2FGUID-BE7E9ECD-0EED-4C16-8CDA-C767B1B80B5D.html

Pour chercher les numéros de série des disques durs : # smartctl -a # hwinfo -disk # hwinfo -wlan # hwinfo -monitor # hwinfo -partition # hwinfo -pci # hwinfo -scsi # demidecode # cat /proc/dma # lshw -short # lspci -t # lspci -v # lspci -vv # lspci -s

Voici un script à lancer dans votre console Netapp, il permet de vérifier un certain nombre de paramètres. Commandes utilesIl s’agit des commandes principales du script, vous pouvez directement tout copier et tout lancer d’un coup dans la console de votre NetApp : # --------------------------------------------------------------------------------------------# Meilleur affichage# --------------------------------------------------------------------------------------------set -rows 0# --------------

Voici un script qui permet de récupérer la liste de TOUS les groupes (primaire et secondaires) de chaque utilisateurs en parsant le fichier /etc/passwd et en utilisant la commande id. #!/bin/bashfor U in $(cut -d: -f1 /etc/passwd)do GROUPS=$(id -Gn $U);echo "$U : $GROUPS"done Le rendre exécutable puis lancer la commande $ . monscript.sh > monfichier.csv documentationRemerciements ddfdom Merci ddfdom !

Voici un script qui permet de récupérer la liste de tous les utilisateurs Linux en parsant le fichier /etc/passwd. #!/bin/bash# "/etc/passwd" data in format "LOGIN:UID:GID:DESCRIPTION".accounts=$(awk -F ':' '{print $1";"$3";"$4";"$5}' /etc/passwd | grep -v "^#" | sort)result=""while IFS= read -r account; dologin=$(echo "$account" | awk -F ';' '{print $1}')ui

Pour mettre à jour les signatures virales de F-Secure manuellement. Téléchargement et vérificationTéléchargementTéléchargement de la dernière version : https://download.f-secure.com/latest/fsdbupdate9.run.Téléchargement du md5 et du sha1 : https://download.f-secure.com/latest/fsdbupdate9.txt Si vous avec besoin d’utiliser scp (réseaux isolés): https://n0tes.fr/2017/02/03/Copie-securisee-scp/ Vérification des sources téléchargéesPour vérifier : # md5sum -c enpreinte.md5 < fsdbupdate9.run# sha2

ABRT pour Automatic Bug Reporting Tool, est un démon ainsi qu’un certain nombre de services système et d’utilitaires pour traiter, analyser et signaler les problèmes détectés. ERREUR : ‘abrt-cli status’ timed outVoir le statut : # systemctl status abrtd Voir les logs dans /var/log/messages # cat /var/log/messages | grep abrt Sortie : Jun 8 17:38:24 master abrtd: Lock file '.lock' is locked by process 9462 Kill le process. Relancer le service arbt. ListerPour avoir des informations

Par défaut les fichiers et répertoires de config se placent dans : /home/[...] La configuration de base se trouve dans le fichier /bin/idea.properties Et contient : [...]#---------------------------------------------------------------------# Uncomment if you want to customize a path to the settings directory.#---------------------------------------------------------------------# idea.config.path=${user.home}/.PyCharmCE/config#------------------------------------------------------------

Comment augmenter la capacité de stockage d’un volume sous NetApp. Vérification de l’occupation du volumeEn console, sur le serveur frontal d’accès au volume, avec la commande df : $ df -hP /home/Volume-Doctorants/Filesystem Size Used Avail Use% Mounted onaggregat1:/vol/vol_Volume-Doctorants 11T 11T 300G 98% /home/Volume-Doctorants NetappSur votre console Netapp, lancer les commandes suivantes : Lecture facilePour meilleur affichage : $ set -rows 0 Id

Résumé des paramètres essentiels dans le but d’améliorer le confort visuel dans votre terminal. Scripts BashPour une connexion en rootLes couleurs sont ici dans les tons de rouges.Dans votre fichier bash utilisé par root : # ================================================= ## Personalisations visuelles ## ================================================= ## Récupération des informations de la distributioninfos=$(lsb_release -d)version=$(cat /etc/debian_version)# Récupérat

Commande très triviale mais on oublie facilement comment la lancer… Les 3 façons d’éxécuter un .bashrcPour lancer un fichier bash dans un autre répertoire, ici c’est le fichier bash.bashrc :(Bien penser à mettre le point “.“) # . /etc/bash.bashrc Pour lancer un fichier bash dans le répertoire courant, ici c’esr le fichier .bashrc :(Bien penser à mettre le point “.“ et le tilde “~“) # . ~/.bashrc Il également possible d’utiliser la commande source, qui exécute des commandes (ici celles conte

Mise en place de la configuration réseau dans Pfsense PrérequisAvant de commencer il est necéssaire d’avoir : Un serveur dédiée avec ESXi d’installé 2 adresses IP (votre adresse publique du serveur + une IP failover avec son adresse MAC associée) → http://n0tes.fr/2022/04/07/ESXi-Reseaux-cloisonnes-pfSense/ 1 VM avec un OS pour utiliser un navigateur pour accéder au client web de Pfsense → http://n0tes.fr/2022/03/05/Snippet-ESXi-Emplacement-telechargement/ 1 VM avec Pfsense d’installé sur un W