Si vous voulez changer les droits et supprimer tous les dossiers du répertoire /John qui commencent par “test” et finissent par “.bdr” : # find /home/John/ -type d -name "test*.bdr" -exec sh -c 'chmod u+w {}/* ; rm -f {}/*' \; VérificationEn cas de doute, vous pouvez simplement lancer le début de la commande, find listera tous les fichiers qui seront modifiés et supprimés avec chmod et rm -f: # find /home/John/ -type d -name "test*.bdr" Décompo

Equivalences des commandes SLURM/SGE Commandes utilisateur Explications Commande Slurm Commande SGE Interactive login # srun --pty bash # qlogin # srun -p "part_name" --pty bash # sdev Job submission # sbatch [script file] # qsub [script file] Job deletion # scancel [job_ID] # qdel [job_ID] Job status all # squeue -all # qstat -f Job status # squeue [job_ID] # qstat -u \ * [-j job_ID] Job user status # squeue -u [user name] # qstat [-u user name] Job hold # sco

Cheat sheet des commandes NetApp les plus utiles. Certaines commandes sont très longues et pour plus de facilité : la version PDF ici Note : - En cours - certaines commandes ne sont pas encore bien organisées DocumentationDocumentation PDF ONTAP : ONTAP_9_Documentation.pdf https://arkit.co.in/netapp-cluster-mode-commands-cheat-sheet/https://library.netapp.com/ecmdocs/ECMP1155684/html/GUID-89A9ACCA-501C-42DB-949B-B57B9AFBBB98.htmlhttps://community.netapp.com/t5/ONTAP-Discussions/Data-ONTAP-Basic

Il existe quatre composants principaux dans Slurm : le compte Unix, les groupes Unix, les comptes Slurm et les associations Slurm. Sous UnixCompte/utilisateur UnixTout utilisateur doit avoir un compte unix pour s’authentifier à un cluster. Certaines informations sont également associées à ce compte comme le shell par défaut, le $HOME, etc. La commande getent passwd $USER permet d’en savoir plus le compte unix. Groupes UnixChaque compte/utilisateur Unix appartient à au moins un groupe, du même no

Il est possible de spécifier une QOS (Quality Of Service) pour chaque jobs soumis dans Slurm, la commande sacctmgr permet de les gérer. Gérer les QOSManipulation des QOSAjoutAjouter une nouvelle QOS : # sacctmgr add qos ParticuleCalc Ajouter une QOS avec directement des paramètres : # sacctmgr -i add qos high set priority=1000# sacctmgr -i add qos medium set priority=500# sacctmgr -i add qos low set priority=100 AffichageAfficher la QOS ParticuleCalc : # sacctmgr show ParticuleCalc Afficher

Il est possible de spécifier une QOS (Quality Of Service) pour chaque job soumis dans Slurm, la QOS affectera le job de 3 façons : Priorité Préemption Limites C’est la commande sacctmgr permet de gérer la QOS. Quality Of ServicePour changer et activer la QOS, il faut activer le plug-in Multifactor Job Priority en changeant l’option PriorityType à priority/multifactor dans slurm.conf Fichier slurm.conf : # Activate the Multifactor Job Priority Plugin with decay# PriorityType=priority/basicPrio

SGE est l’ordonnanceur de taches qui permet aux utilisateurs de soumettre leurs jobs. Chaque noeud de calcul execute un daemon sgeexecd pour dialoguer avec le daemon qmaster. Ce dernier permet de tout orchestrer. Listes des commandesSeul le role des commandes est decrit, les options de celles-ci etant consultables avec man. Commandes d’administration Commande Explication # qconf Commande de configuration en mode texte # qmon Gestion complete du cluster en mode graphique # qmod Gestion d

Un groupe de volumes identifie un ensemble de volumes résidant au même emplacement physique. L’emplacement peut être le robot dans lequel résident les volumes, le stockage autonome ou le stockage hors site si vous utilisez l’option NetBackup Vault. Lorsque vous ajoutez des médias à NetBackup, NetBackup affecte tous les volumes d’un robot au volume group de ce robot. Vous pouvez également affecter le média à un autre groupe. Les groupes de volumes sont pratiques pour suivre l’emplacement des volu

Un pool de volumes identifie un ensemble de volumes selon leur utilisation, ils protègent les volumes contre les accès non autorisés des utilisateurs, groupes ou applications. Lorsque des médias sont ajoutés, il est possible de les affecter à un pool ou en tant que volume standalone ( = sans affectation de pool). Liste des poolsPools par défautPar défaut, NetBackup crée les pools de volumes suivants : Pool Explication NetBackup Le pool par défaut dans lequel toutes les images de sauvegarde

Le catalogue contient les informations de configuration ainsi que des informations critiques sur les sauvegardes du client, il est donc très important de les protéger. Elles sont traitées séparément des autres sauvegardes pour assurer la récupération en cas de panne du serveur. Les informations de sauvegarde incluent les enregistrements des fichiers qui ont été sauvegardés et le support sur lequel les fichiers sont stockés. Les catalogues contiennent également des informations sur les supports e

Les medias (le support de sauvegarde, les bandes) contiennent les données sauvegardées, une fois plein il faut les supprimer de la bibliothèque des médias pour les conserver jusqu’à la fin de la période de rétention. Ejecter un média de la bibliothèqueEjecter un support est une opération en 2 étapes, d’abord il faut supprimer les supports dans Netbackup et ensuite les retirer physiquement du robot. Faire la liste des médias à supprimer Dans le logiciel, accédez aux TLD de la bibliothèque : Me

Principales commandes utilisées dans Veritas Net Backup Résumés des commandes Commande Emplacement Explication bpconfig /usr/openv/netbackup/bin/admincmd/ Configurer ou afficher la configuration globale bptestbpcd /usr/openv/netbackup/bin/admincmd/ Tester les connexions clients bpps /usr/openv/netbackup/bin/bpps Lister les processus bplist /usr/openv/netbackup/logs/bplist/ Afficher les fichiers qui ont été archivés bperror /usr/openv/netbackup/logs/admin Afficher les erreurs bpres

Voici les status des medias possibles sous Veritas NetBackup Résumé Status du media Explication Active Volume actuellement utilisé Frozen Volume gelé, non disponible pour les futures sauvegardes mais disponible pour les restaurations. N’expire jamais Suspended Volume suspendu, inutilisable pour les sauvegardes tant que les périodes de rétention n’ont pas expirées, reste disponible pour les restaurations Full Volume plein. Indisponible jusqu’à l’expiration de la période de rétention

Un shell sert basiquement à exécuter des commandes sans se soucier de savoir si elles sont dans un fichier ou tapées directement dans le terminal, cependant, quelles sont les différences entre un shell interactif/non-interactif et un shell de connexion ? Shell interactif : lorsque vous tapez une commande directement dans le terminal et attendez qu’elle s’exécute. Shell non-interactif : lorsque le shell lit les commandes d’un fichier. Shell de connexion : login + mot de passe, la commande log

La commande printenv peut être utilisée pour répertorier toutes les variables d’environnement sur le système, certaines de ces valeurs changent en fonction de l’utilisateur connecté. Pour afficher toutes les variables d’environnement : # printenv Exemple de sortie : SHELL=/bin/bashPWD=/rootLOGNAME=alineXDG_SESSION_TYPE=ttyMOTD_SHOWN=pamHOME=/rootLANG=fr_FR.UTF-8LS_COLORS=rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:mi=00:su=37;41:sg=30;43:ca=30;41:

Si vous avez perdu le fils entre les bandes présentes dans le robot et ce qu’indique le logiciel, il est possible de faire le point avec Netbackup pour refaire l’inventaire des médias. Mode graphiquePour accéder à l’inventaire des bandes :Media and Device Management > Media > Clic droit > Inventory Robot > Compare contentes with volume configuration > Start --------------------------------------------------------------------18 oct. 2022 16:14:58Robot: TLD(0) on MonServeurBackupOpe

Un script en bash pour surveiller vos noeuds sous SLURM, le script vérifie si les noeuds tombent en drain ou drng et les relance automatiquement, il récupère ensuite les logs d’erreurs de SLURM sur le noeud et les place dans LOG_EXPORT_REPOSITORY. Le script est à lancer avec la commande watch : # watch -n <IntervaleSecondes> <CheminScript> Ou dans un cron : # crontab –e*/5 * * * * /root/scripts/Watchnode_SLURM.sh >> /var/log/slurm/custom/nodes.log 2>> /var/log/slurm/cust

Dans grep il existe des options équivalentes aux opérateurs OR et NOT mais l’opérateur AND n’existe pas, cependant une alternative est possible. Fichier de testLe fichier suivant a été utilisé : # cat ponies.txt100 TwilightSparkle Organisation Unicorn 500€200 RainbowDash Sport Pegase 550€300 Fluttershy Veterinaire Pegase 700€400 PinkiePie Organisation Pouliche 950€500 Rarity Organisation Unicorn 600

Pour enlever le lock suite à plusieurs echecs de connexion à un compte (mauvais mdp) on utilise les commandes faillock, faillog ou pam_tally. Parfois faillock et faillog ne fonctionnent pas. Dans ce cas, utilisez pam_tally. Problèmes rencontrésSur certains sytèmes la commande faillock n’existe pas mais la commande faillog fait à peu près la même chose : faillock : outil d’affichage et de modification des fichiers d’enregistrement des échecs d’authentification faillog : affiche les enregistreme

Pour désactiver un compte, les mesures principales de sécurité permettant d’assurer une protection minimale sont : Lister les accès : serveurs et machines locales Réinitialisation du mot de passe du compte avec une valeur aléatoire Verrouillage du compte Retrait du compte de l’ensemble des groupes secondaires Créer un groupe spécial pour les comptes désactivés Pour un compte administrateur ou un utilisateur élevé : Vérifier les paramètres du fichier /etc/sudoers Retrait des %sudoers Retrai

SGE est capable de gérer les ACl en interne. Les ACL sont utilisées pour définir des projets auxquels des utilisateurs peuvent avoir accès (ou pas) pour exécuter des tâches. Il est possible de définir ces ACL en fonction des ressources du cluster Pricipe de baseCes ACL contiennent des noms d’utilisateur et de groupes UNIX et sont ajoutées aux listes access-allowed ou access-denied dans les files d’attente (queues) ou dans les environnement parallèle. Les utilisateurs appartenant aux ACL acces

La commande clubak permet de rassembler et d’afficher les résultats de clush et pdsh Documentationhttps://linux.die.net/man/1/clubak

La commande clush permet d’exécuter des commandes sur un cluster. Cette commande est interactive ou peut être utilisé dans un scripts shell. Les fonctionnalités diponibles de clush sont : Modes d’exécution parallèle des commandes pour les clusters : flat mode tree mode Affichage intelligent des résultats : collecte de sortie intégrée, tri par nœud, ensemble de nœuds ou groupes de nœuds Redirection d’entrée standard vers des nœuds distants Coppie de fichiers en parallèle Options rétrocompatibi

La commande nodeset permet de gérer les ensembles et les groupes de noeuds d’un cluster.

Créé à l’origine par l’équipe de développement système HPC Linux du CEA en France, ClusterShell est une bibliothèque de commandes qui permet d’administrer les principaux composants d’un centre de calcul : clusters de calcul, clusters de stockage et fermes de serveurs en fournissant principalement 3 outils d’administration qui, depuis le cluster principal, sont exécutés sur un ou plusieurs noeuds. Les 3 outils sont : nodeset: gérer les ensembles et les groupes de noeuds du cluster clush : exéc

La commande sinfo permets d’afficher des informations comme le statut des noeuds ou des partitions sous SLURM.Cette commande affiche à la fois l’état des noeuds et peut renseigner un complément d’information, le code d’état (*, +, %, etc.) Pour des informations plus détaillées (non troquées), il faut utiliser les options N (--Node), e (--exact) et l (--long), la commande est : # sinfo -Nel Flag d’états possibles des noeuds Flag Description * Le noeud ne répond pas actuellement et ne se ver

Ne pas confondre sigle et acronyme : Sigle : abréviation formée par une suite de lettres qui sont les initiales d’un groupe de mots Exemples : DSI, RSI. Acronyme : sigle qui se prononce comme un mot ordinaire Exemples : OTAN, OVNI. Et parmi les acronymes, il y a les acronymes récursifs : GNU, pour GNU is not Unix GNU(GNU(GNU(GNU(…)is not Unix)is not Unix)is not Unix)is not Unix DéfinitionFrançais Sigle/Acronyme Définition ATCRI A Titre de Compte Rendu Immédiat DAT Document d’Archit

Pour effectuer une rotation des bandes dans Veritas Netbackup il faut lancer l’utilitaire de Veritas via la console, généralement sur votre serveur de sauvegarde avec la commande suivante : # jnbSA & Vue d’ensembleDans la console d’administration NetBackup : Media and Device Management > Media Les médias à sortir du robot de sauvegarde sont ceux indiqués comme étant full et en TLD : Volume Pool = Mensuelle (par exemple) Robot Type = TLD (bande dans le robot) Media Status = Full Dat

La commande get_license_key de Veritas Netbackup lance le script suivant /usr/openv/netbackup/bin/admincmd/get_license_key. Informations sur la licenceSur votre serveur backup, entrer la commande suivante : # get_license_key Vous obtiendrez un menu interactif : License Key Utility-------------------A) Add a License KeyD) Delete a License KeyF) List Active License KeysL) List Registered License KeysH) Helpq) Quit License Key Utility Exemple avec F : […]License Key: <CléLicense>Date Add

Dans la console de Veritas Netbackup, dans le menu à gauche, aller dans “Backup, Archive, and Restore”, la fenêtre sur la droite comporte 3 onglets : Backup Files : il s’agit de l’arboressence sur le serveur de backup Restore Files : tout ce qui concerne les backups effectués Task Progress : les tâches de restauration en cours Restauration de fichiersNetAppSi vous disposez d’un NetApp, vous devrier normalement pouvoir restaurer des fichiers dans les .snapshot s’ils sont assez récents. Veritas

La commande ls liste les informations sur les fichiers/dossiers Utilisation : ls [OPTION]... [FICHIER]... Afichage étenduAffiche le chemin complet : # ls -ld $PWD/* Affiche l’auteur de chaque fichier # ls -l --author Affiche le numéro d’index de chaque fichier (l’inode) # ls -li Affiche la taille d’allocation de chaque fichier en bloc # ls -ls Affiche uniquement les UID et GID pour les groupes et propriétaires # ls -ln

Fichiers principaux de SGE Fichiers de logsLes fichiers de logs sous SGE se trouvent : $SGE_ROOT/default/spool/qmaster/messages$SGE_ROOT/default/spool/qmaster/schedd/messages$SGE_ROOT/default/spool/<node>/messages Exemple : /opt/sge/default/spool/qmaster/messages Les panicLogs se trouvent dans : /var/spool/var/tmp/spool Les sorties standards STDOUT/STDERR des jobs utilisateurs sont une bonne ressource pour debug Documentationhttps://linux.die.net/man/8/sge_execdhttps://bioteam.net/wp-c