Les commandes qstat et qmod affichent les informations des jobs dans la file d’attente. Les jobs passent généralement par plusieurs statuts au cours de leur exécution. Les statuts typiques sont pending, running, suspending, hold et queue wait : p : pending r : running s : suspending z : zombie qw : queue wait Rq : Re-queue h : hold et h = |hu|ho|hs|hd|hj|h|a| hu : user hold, ho : operator hold hs : system hold hj : job hold a : alarm t : transfering d : deletion z : finished normally

La commande squeue affiche les informations des jobs dans la file d’attente sous forme de plusieurs colonnes dont ST et NODELIST (REASON). La colonne ST indique le statut du job et NODELIST (REASON) donne plus d’informations sur la raison pour laquelle le job n’a pas démarré. # squeueJOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)10674 n01_25 particule emmetbrown R 17:00 4 n13-[01-04]10668 node quantique martymcfly R 17:45

Pour observer de plus près le comportement d’un job, on peut utiliser les commandes sstat, ssacct, scontrol et même squeue. Extrait du manL’aide des commandes précise : squeue : afficher les informations sur les jobs dans la file d’attente sstat : afficher le status des jobs sacct : afficher les logs des jobs scontrol : afficher/modifier des jobs, noeuds, partitions, réservations, configuration globale Pour annuler un job : scancel : annuler un job Statut des jobs et de la node

Parfois les clusters de calcul subissent de fortes charges, dûes à des résidus de calculs terminés qui peuvent toujours apparaître dans la liste des processus, SGE est censépourvoir gérer ce type de problème grâce au fichier prolog et/ou epilog, situés dans <$SGE_ROOT>/site/ mais les problèmes peuvent persister. Load AverageLe load_avg est une valeur fournie par la commande uptime ou celles du type top, htop, etc. et indique la charge processeur moyenne. La commande qstat affiche également

Pour limiter le nombre de calcul lancé par un utilisateur, il est possible de paramétrer un script dans le fichier prolog de SGE en appelant un autre fichier, ici nomé MaxJobs contenant les restrictions. Fichier de configurationFichier de limitationDans le fichier <$SGE_ROOT>/site/MaxJobs ont ajoute le nombre maximal de jobs qu’un utilisateur peut lancer suivi de son compte en précisant une valeur max par défaut. # cat <$SGE_ROOT>/site/MaxJobs#Nb_job:user8:defaut20:jerry20:jess10:mor

Le dossier <$SGE_ROOT>/site/ comporte un certain nombre de fichiers définissant le comportement de SGE, ce dossier contient également les fichiers prolog et epilog. Fichiers de configurationSi ces fichiers existent et sont définis, ils remplacent la configuration globale par défaut de SGE. Ces fichiers sont un moyen d’automatiser l’exécution des jobs. PrologLe prolog est un script qui est excétuté avant le lancement des jobs sous SGE. Ce fichier permet d’automatiser l’exécution des jobs, c

LUKS (Linux Unified Key Setup) est un standard associé au noyau Linux pour chiffrer les disques. Le standard LUKSFonctionnalitésLUKS permet de chiffrer l’intégralité d’un disque de telle sorte que celui-ci soit utilisable sur d’autres plates-formes et distributions de Linux (voire d’autres systèmes d’exploitation). Il supporte des mots de passe multiples afin que plusieurs utilisateurs soient en mesure de déchiffrer le même volume sans partager leur mot de passe. ImplémentationsSous Linux, l’imp

Pour vérifier la force d’un mot de passe, le module pam_pwquality.so est utilisé dans CentOS/RHEL6 pour vérifier la force du mot de passe. Dans CentOS/RHEL7 c’est le module pam_cracklib.so. Problème de changement de mot de passeAvec passwdLors de la modification du mot de passe à l’aide de la commande passwd, l’erreur suivante s’affiche : # passwd user42passwd: Module is unknown Cette erreur vient du fait que le module pam_pwquality.so est inconnu dans CentOS/RHEL6. Fichier de configurationSup

Pour vérifier la licence de TiNa VérificationGUISimplement, dans votre interface en haut à droite : Onglet Help > License CLIDans votre console : # /usr/Atempo/TimeNavigator/tina/Bin/ade_admin --cmd license_info Documentationhttps://usergroup.atempo.com/fr/tina/documentation-tina/

La défragmentation du catalogue est nécessaire pour éviter qu’il atteigne sa taille maximale possible, ce qui risquerait d’empêcher le bon déroulement des sauvegardes. Utilité du CatalogueLe catalogue TiNa (Time Navigator) est une base de données recensant les objets sauvegardés et leurs différentes versions. Pour lancer L’interface graphique de TiNa : # ./tina_adm Vérifier la taille du cataloguePour vérifier sa taille : dans la console d’administration “Time Navigator“ en bas à gauche > o

Lorsque vous voulez vous connecter à un logiciel qui a besoin des droits root dans un environnement graphique depuis ssh, si les MAGIC-COOKIE ne sont pas définis dans le fichier .Xauthority de root il ne sera alors pas possible pour un utilisateur de se conecter (et de lancer ledit logiciel). Récupérer les MAGIC-COOKIELe but ici est de récupérer le contenu du .Xauthority (qui contient les MAGIC-COOKIE) d’un utilisateur pour l’ajouter à celui de root. Problème de fichier avec FirefoxPar exemple a

Parfois un script ne peut pas se lancer car la queue a été paramétrée avec une classe Les classesLes classes sous SGE ? A Job Class is :A set of jobs that are equivalent in some sense and treated similarly.In Sun Grid Engine, Enterprise Edition a job class is defined by the identical requirements of the corresponding jobs and the characteristics of the queues being suitable for those jobs. Manipuler les classesCréé une nouvelle classe en ouvrant un éditeur de texte : # qconf -ajc <job_class

Pour trouver la ligne la plus fréquentes dans un fichier : # cat file | sort | uniq -c | sort -n | tail -1

Pour faire une recherche dans un répertoire nommé rep, avec des fichiers d’extention .md ScriptRecherche basiqueDans votre .bashrc, créer la fonction suivante, il s’agit d’un grep couplé à un sort. Le $@ permet de passer des arguments dans la fonction : # Fonction de recherchesrh () { grep -R --color "$@" /chemin/vers/le/répertoire | sort} Recherche évoluéeUne version plus évoluée de cette fonction, avec sed et awk, le “µ” désigne le caractère de remplacement : # Fonction

Différences entre un agregat, un volume, un FlexVol, un qtree et un LUN sous NetApp. Le schéma ci-dessous donne un aperçu général : AggregateDéfinitionAggregate : ensemble de disques physiques, généralement montés en RAID. Un aggregate est un ensemble de disques (ou partitions) organisés en un ou plusieurs RAID. Il s’agit de l’unité de stockage la plus élémentaire au sein d’ONTAP et il est nécessaire pour permettre l’approvisionnement d’espace pour les hôtes connectés. Commandes de basePour la

Un qtree NetApp est un répertoire avec des propriétés particulières. Le “Q” signifie “quota”, les FlexVols sont maintenant de plus en plus utilisés dans NetApp car ils peuvent également être limités par des quotas. Propriétés des qtreesGénéralitéLes qtrees possèdent d’autres propriétés : 4995 qtrees possibles par volume interne sont similaires aux répertoires (partitions de volume plus exactement) permettent de gérer les quotas d’utilisation de l’espace disque limitation de la taille du qtree

EN COURS ————- Documentation

Vous trouverez ci-dessous un certain nombre d’exemples de scripts pouvant être utilisés comme modèle pour créer vos propres scripts de soumission SLURM. Simple scripts de soumissionLes jobs nécessitent un fichier de script que SLURM interprète et exécute. Le fichier SBATCH contient à la fois des commandes spécifiques à SLURM à interpréter ainsi que des programmes à exécuter. Vous trouverez ci-dessous un exemple simple d’un job pour exécuter un fichier Stata do. ScriptCe fichier est nommé myscrip

Si vous voulez changer les droits et supprimer tous les dossiers du répertoire /John qui commencent par “test” et finissent par “.bdr” : # find /home/John/ -type d -name "test*.bdr" -exec sh -c 'chmod u+w {}/* ; rm -f {}/*' \; VérificationEn cas de doute, vous pouvez simplement lancer le début de la commande, find listera tous les fichiers qui seront modifiés et supprimés avec chmod et rm -f: # find /home/John/ -type d -name "test*.bdr" Décompo

Equivalences des commandes SLURM/SGE Commandes utilisateur Explications Commande Slurm Commande SGE Interactive login # srun --pty bash # qlogin # srun -p "part_name" --pty bash # sdev Job submission # sbatch [script file] # qsub [script file] Job deletion # scancel [job_ID] # qdel [job_ID] Job status all # squeue -all # qstat -f Job status # squeue [job_ID] # qstat -u \ * [-j job_ID] Job user status # squeue -u [user name] # qstat [-u user name] Job hold # sco

Cheat sheet des commandes NetApp les plus utiles. Certaines commandes sont très longues et pour plus de facilité : la version PDF ici Note : - En cours - certaines commandes ne sont pas encore bien organisées DocumentationDocumentation PDF ONTAP : ONTAP_9_Documentation.pdf https://arkit.co.in/netapp-cluster-mode-commands-cheat-sheet/https://library.netapp.com/ecmdocs/ECMP1155684/html/GUID-89A9ACCA-501C-42DB-949B-B57B9AFBBB98.htmlhttps://community.netapp.com/t5/ONTAP-Discussions/Data-ONTAP-Basic

Il existe quatre composants principaux dans Slurm : le compte Unix, les groupes Unix, les comptes Slurm et les associations Slurm. Sous UnixCompte/utilisateur UnixTout utilisateur doit avoir un compte unix pour s’authentifier à un cluster. Certaines informations sont également associées à ce compte comme le shell par défaut, le $HOME, etc. La commande getent passwd $USER permet d’en savoir plus le compte unix. Groupes UnixChaque compte/utilisateur Unix appartient à au moins un groupe, du même no

Il est possible de spécifier une QOS (Quality Of Service) pour chaque jobs soumis dans Slurm, la commande sacctmgr permet de les gérer. Gérer les QOSManipulation des QOSAjoutAjouter une nouvelle QOS : # sacctmgr add qos ParticuleCalc Ajouter une QOS avec directement des paramètres : # sacctmgr -i add qos high set priority=1000# sacctmgr -i add qos medium set priority=500# sacctmgr -i add qos low set priority=100 AffichageAfficher la QOS ParticuleCalc : # sacctmgr show ParticuleCalc Afficher

Il est possible de spécifier une QOS (Quality Of Service) pour chaque job soumis dans Slurm, la QOS affectera le job de 3 façons : Priorité Préemption Limites C’est la commande sacctmgr permet de gérer la QOS. Quality Of ServicePour changer et activer la QOS, il faut activer le plug-in Multifactor Job Priority en changeant l’option PriorityType à priority/multifactor dans slurm.conf Fichier slurm.conf : # Activate the Multifactor Job Priority Plugin with decay# PriorityType=priority/basicPrio

SGE est l’ordonnanceur de taches qui permet aux utilisateurs de soumettre leurs jobs. Chaque noeud de calcul execute un daemon sgeexecd pour dialoguer avec le daemon qmaster. Ce dernier permet de tout orchestrer. Listes des commandesSeul le role des commandes est decrit, les options de celles-ci etant consultables avec man. Commandes d’administration Commande Explication # qconf Commande de configuration en mode texte # qmon Gestion complete du cluster en mode graphique # qmod Gestion d

Un groupe de volumes identifie un ensemble de volumes résidant au même emplacement physique. L’emplacement peut être le robot dans lequel résident les volumes, le stockage autonome ou le stockage hors site si vous utilisez l’option NetBackup Vault. Lorsque vous ajoutez des médias à NetBackup, NetBackup affecte tous les volumes d’un robot au volume group de ce robot. Vous pouvez également affecter le média à un autre groupe. Les groupes de volumes sont pratiques pour suivre l’emplacement des volu

Un pool de volumes identifie un ensemble de volumes selon leur utilisation, ils protègent les volumes contre les accès non autorisés des utilisateurs, groupes ou applications. Lorsque des médias sont ajoutés, il est possible de les affecter à un pool ou en tant que volume standalone ( = sans affectation de pool). Liste des poolsPools par défautPar défaut, NetBackup crée les pools de volumes suivants : Pool Explication NetBackup Le pool par défaut dans lequel toutes les images de sauvegarde

Le catalogue contient les informations de configuration ainsi que des informations critiques sur les sauvegardes du client, il est donc très important de les protéger. Elles sont traitées séparément des autres sauvegardes pour assurer la récupération en cas de panne du serveur. Les informations de sauvegarde incluent les enregistrements des fichiers qui ont été sauvegardés et le support sur lequel les fichiers sont stockés. Les catalogues contiennent également des informations sur les supports e

Les medias (le support de sauvegarde, les bandes) contiennent les données sauvegardées, une fois plein il faut les supprimer de la bibliothèque des médias pour les conserver jusqu’à la fin de la période de rétention. Ejecter un média de la bibliothèqueEjecter un support est une opération en 2 étapes, d’abord il faut supprimer les supports dans Netbackup et ensuite les retirer physiquement du robot. Faire la liste des médias à supprimer Dans le logiciel, accédez aux TLD de la bibliothèque : Me

Principales commandes utilisées dans Veritas Net Backup Résumés des commandes Commande Emplacement Explication bpconfig /usr/openv/netbackup/bin/admincmd/ Configurer ou afficher la configuration globale bptestbpcd /usr/openv/netbackup/bin/admincmd/ Tester les connexions clients bpps /usr/openv/netbackup/bin/bpps Lister les processus bplist /usr/openv/netbackup/logs/bplist/ Afficher les fichiers qui ont été archivés bperror /usr/openv/netbackup/logs/admin Afficher les erreurs bpres

Voici les status des medias possibles sous Veritas NetBackup Résumé Status du media Explication Active Volume actuellement utilisé Frozen Volume gelé, non disponible pour les futures sauvegardes mais disponible pour les restaurations. N’expire jamais Suspended Volume suspendu, inutilisable pour les sauvegardes tant que les périodes de rétention n’ont pas expirées, reste disponible pour les restaurations Full Volume plein. Indisponible jusqu’à l’expiration de la période de rétention

Un shell sert basiquement à exécuter des commandes sans se soucier de savoir si elles sont dans un fichier ou tapées directement dans le terminal, cependant, quelles sont les différences entre un shell interactif/non-interactif et un shell de connexion ? Shell interactif : lorsque vous tapez une commande directement dans le terminal et attendez qu’elle s’exécute. Shell non-interactif : lorsque le shell lit les commandes d’un fichier. Shell de connexion : login + mot de passe, la commande log