Pour créer une page d’erreur 404 personnalisée dans NGNIX il faut dans un 1er temps créer une page dédiée et configurer NGNIX. Créer la page d’erreur personnaliséeCréer un fichier 404.html avec le contenu souhaité : <!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Page not found</title></head><body> <
TiNa peut être utilisé pour sauvegarder et restaurer des systèmes (physiques ou virtuels), des applications ou des fichiers. L’infrastructure TiNa contient plusieurs composants qui peuvent fonctionner à partir d’un seul serveur de sauvegarde ou indépendamment les uns des autres. Il est donc possible d’installer TiNa, les interfaces Web, et Atempo-License Manager sur le même serveur ou d’installer chaque composant sur une machine dédiée. L’application Tina fonctionne selon l’architecture client
Pour effectuer des diagnostics et sortir des statistiques sous SLURM, on peut utiliser 3 commandes : # sdiag# sacctmgr show stats# sacctmgr show problem Commande sdiagUtilitéLa commande sdiag permet d’obtenir de nombreuses informations sur : le nombre de jobs (lancés, annulés, terminés, échoués, etc.) les appels RCP et qui les exécute les temps des traitements ExempleExemple de sortie : # sdiagServer thread count: 3Agent queue size: 0Agent count: 0DBD Agent queue size: 0Jobs submitted: 523Jo
Il est possible de paramétrer des queues sous SGE avec la commande qconf. Lister les propriétés des queuesLister toutes les queues : # qconf -sql Détails d’une queue en particulier : # qconf -sq <nom_queue> Configurer une queueAjouter une nouvelle queueAjouter une nouvelle queue (l’éditeur de texte par defaut s’ouvrira pour modifier le modèle prédéfini) : # qconf -aq <nom_Queue> Ajouter une nouvelle queue à partir d’un fichier qui a déjà définie la queue (Le fichier de définition
Parfois il arrive que des utilisateurs aient lancé des jobs sur une queue avec une QOS (de temps) trop courte et que leurs calculs ne puissent pas se finir dans le temps imparti. Pour leur accorder du temps supplémentaire, il faut modifier le TimeLimit à l’aide de la commande scontrol avec un update. Créer une limite de tempsNormalement on définie une QOS valable pour un groupe d’utilisateurs ou pour une queue/noeud mais il est possible de modifier une valeur (ici de temps) au cas par cas. Affic
Dans notre cas nous devons basculer 3 noeuds actuellement sous gestion SGE vers SLURM, les noeuds à basculer sont mynode05, mynode06, mynode07 et mynode08. Administration sous SGEAffichageOn affiche la liste des noeuds sous gestion SGE : # qstat -fqueuename qtype resv/used/tot. load_avg arch state-----------------------------------------------------------------------------allqueue.q@mynode01.hpc BIP 0/13/40 10.72 lx-amd64-----------------------------
Pour observer de plus près le comportement d’un job, on peut utiliser la commandes qstat. Extrait du manL’aide de la commande précise : # qstat --helpusage: qstat [options] [-ext] view additional attributes [-f] full output [-F [resource_attributes]] full output and show (selected) resources of queue(s) [-g c] display cluster queue summary [-g d]
Les commandes qstat et qmod affichent les informations des jobs dans la file d’attente. Les jobs passent généralement par plusieurs statuts au cours de leur exécution. Les statuts typiques sont pending, running, suspending, hold et queue wait : p : pending r : running s : suspending z : zombie qw : queue wait Rq : Re-queue h : hold et h = |hu|ho|hs|hd|hj|h|a| hu : user hold, ho : operator hold hs : system hold hj : job hold a : alarm t : transfering d : deletion z : finished normally
La commande squeue affiche les informations des jobs dans la file d’attente sous forme de plusieurs colonnes dont ST et NODELIST (REASON). La colonne ST indique le statut du job et NODELIST (REASON) donne plus d’informations sur la raison pour laquelle le job n’a pas démarré. # squeueJOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)10674 n01_25 particule emmetbrown R 17:00 4 n13-[01-04]10668 node quantique martymcfly R 17:45
Pour observer de plus près le comportement d’un job, on peut utiliser les commandes sstat, ssacct, scontrol et même squeue. Extrait du manL’aide des commandes précise : squeue : afficher les informations sur les jobs dans la file d’attente sstat : afficher le status des jobs sacct : afficher les logs des jobs scontrol : afficher/modifier des jobs, noeuds, partitions, réservations, configuration globale Pour annuler un job : scancel : annuler un job Statut des jobs et de la node
Parfois les clusters de calcul subissent de fortes charges, dûes à des résidus de calculs terminés qui peuvent toujours apparaître dans la liste des processus, SGE est censépourvoir gérer ce type de problème grâce au fichier prolog et/ou epilog, situés dans <$SGE_ROOT>/site/ mais les problèmes peuvent persister. Load AverageLe load_avg est une valeur fournie par la commande uptime ou celles du type top, htop, etc. et indique la charge processeur moyenne. La commande qstat affiche également
Pour limiter le nombre de calcul lancé par un utilisateur, il est possible de paramétrer un script dans le fichier prolog de SGE en appelant un autre fichier, ici nomé MaxJobs contenant les restrictions. Fichier de configurationFichier de limitationDans le fichier <$SGE_ROOT>/site/MaxJobs ont ajoute le nombre maximal de jobs qu’un utilisateur peut lancer suivi de son compte en précisant une valeur max par défaut. # cat <$SGE_ROOT>/site/MaxJobs#Nb_job:user8:defaut20:jerry20:jess10:mor
Le dossier <$SGE_ROOT>/site/ comporte un certain nombre de fichiers définissant le comportement de SGE, ce dossier contient également les fichiers prolog et epilog. Fichiers de configurationSi ces fichiers existent et sont définis, ils remplacent la configuration globale par défaut de SGE. Ces fichiers sont un moyen d’automatiser l’exécution des jobs. PrologLe prolog est un script qui est excétuté avant le lancement des jobs sous SGE. Ce fichier permet d’automatiser l’exécution des jobs, c
Parfois un script ne peut pas se lancer car la queue a été paramétrée avec une classe Les classesLes classes sous SGE ? A Job Class is :A set of jobs that are equivalent in some sense and treated similarly.In Sun Grid Engine, Enterprise Edition a job class is defined by the identical requirements of the corresponding jobs and the characteristics of the queues being suitable for those jobs. Manipuler les classesCréé une nouvelle classe en ouvrant un éditeur de texte : # qconf -ajc <job_class
Différences entre un agregat, un volume, un FlexVol, un qtree et un LUN sous NetApp. Le schéma ci-dessous donne un aperçu général : AggregateDéfinitionAggregate : ensemble de disques physiques, généralement montés en RAID. Un aggregate est un ensemble de disques (ou partitions) organisés en un ou plusieurs RAID. Il s’agit de l’unité de stockage la plus élémentaire au sein d’ONTAP et il est nécessaire pour permettre l’approvisionnement d’espace pour les hôtes connectés. Commandes de basePour la
Un qtree NetApp est un répertoire avec des propriétés particulières. Le “Q” signifie “quota”, les FlexVols sont maintenant de plus en plus utilisés dans NetApp car ils peuvent également être limités par des quotas. Propriétés des qtreesGénéralitéLes qtrees possèdent d’autres propriétés : 4995 qtrees possibles par volume interne sont similaires aux répertoires (partitions de volume plus exactement) permettent de gérer les quotas d’utilisation de l’espace disque limitation de la taille du qtree
Vous trouverez ci-dessous un certain nombre d’exemples de scripts pouvant être utilisés comme modèle pour créer vos propres scripts de soumission SLURM. Simple scripts de soumissionLes jobs nécessitent un fichier de script que SLURM interprète et exécute. Le fichier SBATCH contient à la fois des commandes spécifiques à SLURM à interpréter ainsi que des programmes à exécuter. Vous trouverez ci-dessous un exemple simple d’un job pour exécuter un fichier Stata do. ScriptCe fichier est nommé myscrip
Equivalences des commandes SLURM/SGE Commandes utilisateur Explications Commande Slurm Commande SGE Interactive login # srun --pty bash # qlogin # srun -p "part_name" --pty bash # sdev Job submission # sbatch [script file] # qsub [script file] Job deletion # scancel [job_ID] # qdel [job_ID] Job status all # squeue -all # qstat -f Job status # squeue [job_ID] # qstat -u \ * [-j job_ID] Job user status # squeue -u [user name] # qstat [-u user name] Job hold # sco
Cheat sheet des commandes NetApp les plus utiles. Certaines commandes sont très longues et pour plus de facilité : la version PDF ici Note : - En cours - certaines commandes ne sont pas encore bien organisées DocumentationDocumentation PDF ONTAP : ONTAP_9_Documentation.pdf https://arkit.co.in/netapp-cluster-mode-commands-cheat-sheet/https://library.netapp.com/ecmdocs/ECMP1155684/html/GUID-89A9ACCA-501C-42DB-949B-B57B9AFBBB98.htmlhttps://community.netapp.com/t5/ONTAP-Discussions/Data-ONTAP-Basic
Il existe quatre composants principaux dans Slurm : le compte Unix, les groupes Unix, les comptes Slurm et les associations Slurm. Sous UnixCompte/utilisateur UnixTout utilisateur doit avoir un compte unix pour s’authentifier à un cluster. Certaines informations sont également associées à ce compte comme le shell par défaut, le $HOME, etc. La commande getent passwd $USER permet d’en savoir plus le compte unix. Groupes UnixChaque compte/utilisateur Unix appartient à au moins un groupe, du même no
Il est possible de spécifier une QOS (Quality Of Service) pour chaque jobs soumis dans Slurm, la commande sacctmgr permet de les gérer. Gérer les QOSManipulation des QOSAjoutAjouter une nouvelle QOS : # sacctmgr add qos ParticuleCalc Ajouter une QOS avec directement des paramètres : # sacctmgr -i add qos high set priority=1000# sacctmgr -i add qos medium set priority=500# sacctmgr -i add qos low set priority=100 AffichageAfficher la QOS ParticuleCalc : # sacctmgr show ParticuleCalc Afficher
Il est possible de spécifier une QOS (Quality Of Service) pour chaque job soumis dans Slurm, la QOS affectera le job de 3 façons : Priorité Préemption Limites C’est la commande sacctmgr permet de gérer la QOS. Quality Of ServicePour changer et activer la QOS, il faut activer le plug-in Multifactor Job Priority en changeant l’option PriorityType à priority/multifactor dans slurm.conf Fichier slurm.conf : # Activate the Multifactor Job Priority Plugin with decay# PriorityType=priority/basicPrio
Un script en bash pour surveiller vos noeuds sous SLURM, le script vérifie si les noeuds tombent en drain ou drng et les relance automatiquement, il récupère ensuite les logs d’erreurs de SLURM sur le noeud et les place dans LOG_EXPORT_REPOSITORY. Le script est à lancer avec la commande watch : # watch -n <IntervaleSecondes> <CheminScript> Ou dans un cron : # crontab –e*/5 * * * * /root/scripts/Watchnode_SLURM.sh >> /var/log/slurm/custom/nodes.log 2>> /var/log/slurm/cust
Les quotas sour SGE permettent d’appliquer des limites à plusieurs types de ressources en fonctions des consommateurs. Types de ressources et types de consommateursRessourcesLes ressources peuvent être des : slots (coeurs) arch (architectures) mem_total (mémoire) num_proc (nombre de processeur) swap_total (mémoire swap) built-in resources (ressources interne) custom-defined resource (ressources ajoutées, comme un compilateur de licence) ConsommateursLes consommateurs de ressources peuvent être
Certains users ont besoin de plus de ressources pour réaliser des calculs et il est possible de leur allouer personnellement plus de coeurs sous SGE. Lister les quotasCommandesPour lister tous les quotas définis, on utilise la commande qconf avec les options s, r, q, s, et l : # qconf -srqsl Pour voir tous les quotas détaillés : # qconf -srqs Pour voir un quotas en particulier il suffit de préciser son nom : # qconf -srqs [nom] ExemplesLister tous les quotas définis : # qconf -srqslmax_slots
Créer des utilisateurs SLURM. Lister l’ensemble des utilisateurs et comptes SLURMLes comptes SLURM se différentient des utilisateurs SLURM. UtilisateursSur votre cluster : # sacctmgr list user Exemple de sortie : User Def Acct Admin------ ----------- ---------dustin ST Nonejim ST Noneeleven ST NoneErica ST Nonedartagn+ DG Noneroot Administ+mike ST Nonewill ST Nonebilly ST
Pour monter un volume calculs sur le point de montage /home/calculs pour les différents nœuds SLURM concernés Sur NetApp GUIVérifier la version de NFSNetApp propose aussi NFS version 4, pour le vérifier, aller dans l’interface Web NetApp. Récupérer les @IPRécupérer les “IP_ADDRESS_NFS“ : Dans > Volumes > vol_calculs > Déplier la flèche > Récupérer les @IP NFS @IP_A:/vol/vol_calculs @IP_B:/vol/vol_calculs Sur le clusterInformations sur les noeudsRécupérer les infos sur les noeuds : #
Voici un script à lancer dans votre console Netapp, il permet de vérifier un certain nombre de paramètres. Commandes utilesIl s’agit des commandes principales du script, vous pouvez directement tout copier et tout lancer d’un coup dans la console de votre NetApp : # --------------------------------------------------------------------------------------------# Meilleur affichage# --------------------------------------------------------------------------------------------set -rows 0# --------------
Debian et RedHat sont toutes deux des distributions Linux, le principe de fonctionnement reste le même mails ils existe des différences à prendre en compte. DifférencesDifférences politiquesLes différences “politiques” entre Debian et RedHat : Debian RedHat Open source Gratuit Projet Debian Développé par Red Hat Inc. Utilisée pour serveurs et clients Utilisée pour les serveurs Distribution non commerciale Distribution commerciale Correction de bugs très rapide (communauté mondiale)
Compiler NGINX peut permettre d’augmenter la sécurité (utilisation d’une autre bibliothèque comme LibreSSL ou BoringSSL) ou en utilisant la toute dernière version d’OpenSSL. Il est également possible de directement rajouter des modules ou de supprimer ceux de base. PréparationMise à jour et installation des paquetsMise à jour des paquets déjà présents # apt-get update Installation des paquets nécessaires, l’option -y permet de valider automatique la confirmation d’installation # apt-get install
Après avoir fraîchement installé son nouveau serveur il est important de vérifier la configuration et d’installer un certain nombre d’outils. Tutoriel réalisé avec un serveur sous GNU/Linux Debian 9 (stretch). Se connecter via un terminal !Lors de la première connexion sur votre serveur, la machine depuis laquelle vous vous connectez vous demandera une confirmation car elle ne connaît pas le serveur. $ ssh [email protected] authenticity of host '▓▓▓▓ (▓▓▓▓)' can't be established.EC
