Pour observer de plus près le comportement d’un job, on peut utiliser la commandes qstat. Extrait du manL’aide de la commande précise : # qstat --helpusage: qstat [options] [-ext] view additional attributes [-f] full output [-F [resource_attributes]] full output and show (selected) resources of queue(s) [-g c] display cluster queue summary [-g d]
[ ARTICLES CRÉÉS EN 2022 ]
Les commandes qstat et qmod affichent les informations des jobs dans la file d’attente. Les jobs passent généralement par plusieurs statuts au cours de leur exécution. Les statuts typiques sont pending, running, suspending, hold et queue wait : p : pending r : running s : suspending z : zombie qw : queue wait Rq : Re-queue h : hold et h = |hu|ho|hs|hd|hj|h|a| hu : user hold, ho : operator hold hs : system hold hj : job hold a : alarm t : transfering d : deletion z : finished normally
La commande squeue affiche les informations des jobs dans la file d’attente sous forme de plusieurs colonnes dont ST et NODELIST (REASON). La colonne ST indique le statut du job et NODELIST (REASON) donne plus d’informations sur la raison pour laquelle le job n’a pas démarré. # squeueJOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)10674 n01_25 particule emmetbrown R 17:00 4 n13-[01-04]10668 node quantique martymcfly R 17:45
Pour observer de plus près le comportement d’un job, on peut utiliser les commandes sstat, ssacct, scontrol et même squeue. Extrait du manL’aide des commandes précise : squeue : afficher les informations sur les jobs dans la file d’attente sstat : afficher le status des jobs sacct : afficher les logs des jobs scontrol : afficher/modifier des jobs, noeuds, partitions, réservations, configuration globale Pour annuler un job : scancel : annuler un job Statut des jobs et de la node
Parfois les clusters de calcul subissent de fortes charges, dûes à des résidus de calculs terminés qui peuvent toujours apparaître dans la liste des processus, SGE est censépourvoir gérer ce type de problème grâce au fichier prolog et/ou epilog, situés dans <$SGE_ROOT>/site/ mais les problèmes peuvent persister. Load AverageLe load_avg est une valeur fournie par la commande uptime ou celles du type top, htop, etc. et indique la charge processeur moyenne. La commande qstat affiche également
Pour limiter le nombre de calcul lancé par un utilisateur, il est possible de paramétrer un script dans le fichier prolog de SGE en appelant un autre fichier, ici nomé MaxJobs contenant les restrictions. Fichier de configurationFichier de limitationDans le fichier <$SGE_ROOT>/site/MaxJobs ont ajoute le nombre maximal de jobs qu’un utilisateur peut lancer suivi de son compte en précisant une valeur max par défaut. # cat <$SGE_ROOT>/site/MaxJobs#Nb_job:user8:defaut20:jerry20:jess10:mor
Le dossier <$SGE_ROOT>/site/ comporte un certain nombre de fichiers définissant le comportement de SGE, ce dossier contient également les fichiers prolog et epilog. Fichiers de configurationSi ces fichiers existent et sont définis, ils remplacent la configuration globale par défaut de SGE. Ces fichiers sont un moyen d’automatiser l’exécution des jobs. PrologLe prolog est un script qui est excétuté avant le lancement des jobs sous SGE. Ce fichier permet d’automatiser l’exécution des jobs, c
LUKS (Linux Unified Key Setup) est un standard associé au noyau Linux pour chiffrer les disques. Le standard LUKSFonctionnalitésLUKS permet de chiffrer l’intégralité d’un disque de telle sorte que celui-ci soit utilisable sur d’autres plates-formes et distributions de Linux (voire d’autres systèmes d’exploitation). Il supporte des mots de passe multiples afin que plusieurs utilisateurs soient en mesure de déchiffrer le même volume sans partager leur mot de passe. ImplémentationsSous Linux, l’imp
Pour vérifier la force d’un mot de passe, le module pam_pwquality.so est utilisé dans CentOS/RHEL6 pour vérifier la force du mot de passe. Dans CentOS/RHEL7 c’est le module pam_cracklib.so. Problème de changement de mot de passeAvec passwdLors de la modification du mot de passe à l’aide de la commande passwd, l’erreur suivante s’affiche : # passwd user42passwd: Module is unknown Cette erreur vient du fait que le module pam_pwquality.so est inconnu dans CentOS/RHEL6. Fichier de configurationSup
La défragmentation du catalogue est nécessaire pour éviter qu’il atteigne sa taille maximale possible, ce qui risquerait d’empêcher le bon déroulement des sauvegardes. Utilité du CatalogueLe catalogue TiNa (Time Navigator) est une base de données recensant les objets sauvegardés et leurs différentes versions. Pour lancer L’interface graphique de TiNa : # ./tina_adm Vérifier la taille du cataloguePour vérifier sa taille : dans la console d’administration “Time Navigator“ en bas à gauche > o
Lorsque vous voulez vous connecter à un logiciel qui a besoin des droits root dans un environnement graphique depuis ssh, si les MAGIC-COOKIE ne sont pas définis dans le fichier .Xauthority de root il ne sera alors pas possible pour un utilisateur de se conecter (et de lancer ledit logiciel). Récupérer les MAGIC-COOKIELe but ici est de récupérer le contenu du .Xauthority (qui contient les MAGIC-COOKIE) d’un utilisateur pour l’ajouter à celui de root. Problème de fichier avec FirefoxPar exemple a
Parfois un script ne peut pas se lancer car la queue a été paramétrée avec une classe Les classesLes classes sous SGE ? A Job Class is :A set of jobs that are equivalent in some sense and treated similarly.In Sun Grid Engine, Enterprise Edition a job class is defined by the identical requirements of the corresponding jobs and the characteristics of the queues being suitable for those jobs. Manipuler les classesCréé une nouvelle classe en ouvrant un éditeur de texte : # qconf -ajc <job_class
Pour faire une recherche dans un répertoire nommé rep, avec des fichiers d’extention .md ScriptRecherche basiqueDans votre .bashrc, créer la fonction suivante, il s’agit d’un grep couplé à un sort. Le $@ permet de passer des arguments dans la fonction : # Fonction de recherchesrh () { grep -R --color "$@" /chemin/vers/le/répertoire | sort} Recherche évoluéeUne version plus évoluée de cette fonction, avec sed et awk, le “µ” désigne le caractère de remplacement : # Fonction
Différences entre un agregat, un volume, un FlexVol, un qtree et un LUN sous NetApp. Le schéma ci-dessous donne un aperçu général : AggregateDéfinitionAggregate : ensemble de disques physiques, généralement montés en RAID. Un aggregate est un ensemble de disques (ou partitions) organisés en un ou plusieurs RAID. Il s’agit de l’unité de stockage la plus élémentaire au sein d’ONTAP et il est nécessaire pour permettre l’approvisionnement d’espace pour les hôtes connectés. Commandes de basePour la
Un qtree NetApp est un répertoire avec des propriétés particulières. Le “Q” signifie “quota”, les FlexVols sont maintenant de plus en plus utilisés dans NetApp car ils peuvent également être limités par des quotas. Propriétés des qtreesGénéralitéLes qtrees possèdent d’autres propriétés : 4995 qtrees possibles par volume interne sont similaires aux répertoires (partitions de volume plus exactement) permettent de gérer les quotas d’utilisation de l’espace disque limitation de la taille du qtree