[ CATEGORIE ] : Serveur

[ YEAR ] : 2024
[ TITLE    ] : AAP WebGUI Certificates
[ CATEGORY ] : /Serveur/Web
[ DATE     ] :

If you have a certificate problem with your AAP webGUI. Add a certificate1/ DL on your AAP server the certificates (probably a files named like the following: AAP-Server.your.company.org.key.pem and AAP-Server.your.company.org.cert.pem) 2/ In your /etc/tower folder you should have some old certificates, rename them and put your news certificates with the same name: # cp /etc/tower/tower.cert /etc/tower/tower.cert-$(date +%F)# cp /etc/tower/tower.key /etc/tower/tower.key-$(date +%F)# rm /etc/towe

[ YEAR ] : 2023
[ TITLE    ] : NGINX - Erreur 404
[ CATEGORY ] : /Serveur/Web
[ DATE     ] :

Pour créer une page d’erreur 404 personnalisée dans NGNIX il faut dans un 1er temps créer une page dédiée et configurer NGNIX. Créer la page d’erreur personnaliséeCréer un fichier 404.html avec le contenu souhaité : <!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Page not found</title></head><body> <

[ TITLE    ] : Apache et LDAP
[ CATEGORY ] : /Serveur/Web
[ DATE     ] :

Pour permetre un connexion à LDAP(S) pour accéder à une page, il est possible d’utiliser la directive AuthBasicProvider. <DirectoryMatch /usr/(share|libexec)/BackupPC/> AuthName "BackupPC admin & LDAP Protected" # For special user(s) AuthType Basic AuthUserFile /etc/BackupPC/apache.users # all authorized users from UserFile (file) AND LDAP (ldap) AuthBasicProvider file ldap # LDAP setting AuthLDAPURL ldap://ldap.your.com

[ TITLE    ] : Data warehouse VS Database
[ CATEGORY ] : /Serveur/SGBD
[ DATE     ] :

Différences entre un Data warehouse et une base de données. Un Data warehouse (DW ou DWH) est un système utilisé pour le reporting et l’analyse des données provenant de plusieurs sources différentes (comme une BDD par exemple). Différences entre data warehouse et database Data Warehouse Database Conçu pour analyser les données Conçue pour stocker des données Conçu pour faire de grandes requêtes analytiques Optimisée pour la r/w ponctuelle Axé sur une catégorie de données Collecte les d

[ TITLE    ] : Flat File
[ CATEGORY ] : /Serveur/SGBD
[ DATE     ] :

A flat-file database is a database stored in a file called a flat file. Records follow a uniform format, and there are no structures for indexing or recognizing relationships between records. The file is simple. A flat file can be a plain text file (e.g. csv, txt or tsv), or a binary file. Relationships can be inferred from the data in the database, but the database format itself does not make those relationships explicit. The term has generally implied a small database, but very large databa

[ TITLE    ] : Postfix SMTP errors
[ CATEGORY ] : /Serveur/Mail
[ DATE     ] :

On a server when you enable SMTP(S) in postfix master.cf file, you may have one or more of the following errors. The reason for these errors is that the definition of the SMTP(S) ports in /etc/services is missing. Postfix - Errors and solutionPossible encountered errorsYou may have one or more of the following errors: # /path/to/mail_script.sh postdrop: warning: unable to look up public/pickup: No such file or directory postdrop: warning: unable to look up public/pickup: No such file or directo

[ TITLE    ] : FLEXlm - Documentation des commandes
[ CATEGORY ] : /Serveur/License
[ DATE     ] :

FLEXlm est une solution de gestion des licences permetant aux éditeurs de logiciels d’imposer des restrictions sur le nombre de licences logicielles disponibles pour leurs clients. Ce type de solution est également appelée DRM (Digital Rights Management). Précisions sur les commandes (EN)FLEXlm provides utilities for the license administrator to help manage the licensing activities on the network. These utilities are: lmcksum (v2.4 or later) : prints license checksums. lmdiag (v4.0 or later) :

[ TITLE    ] : FLEXlm
[ CATEGORY ] : /Serveur/License
[ DATE     ] :

FLEXlm est une solution de gestion des licences permetant aux éditeurs de logiciels d’imposer des restrictions sur le nombre de licences logicielles disponibles pour leurs clients. Ce type de solution est également appelée DRM (Digital Rights Management). Outils de FLEXlmIl existe plusieurs outils avec le logiciel FLEXlm : lmutil : programme de FLEXlm lmgrd : daemon du gestionnaire de licences lmtools : application pour diagnostiquer les problèmes de licences (Windows) Les arguments commun à l

[ TITLE    ] : SLURM - Stats & Diagnostic
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Pour effectuer des diagnostics et sortir des statistiques sous SLURM, on peut utiliser 3 commandes : # sdiag# sacctmgr show stats# sacctmgr show problem Commande sdiagUtilitéLa commande sdiag permet d’obtenir de nombreuses informations sur : le nombre de jobs (lancés, annulés, terminés, échoués, etc.) les appels RCP et qui les exécute les temps des traitements ExempleExemple de sortie : # sdiagServer thread count: 3Agent queue size: 0Agent count: 0DBD Agent queue size: 0Jobs submitted: 523Jo

[ TITLE    ] : SGE - Proprietes des queues
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Il est possible de paramétrer des queues sous SGE avec la commande qconf. Lister les propriétés des queuesLister toutes les queues : # qconf -sql Détails d’une queue en particulier : # qconf -sq <nom_queue> Configurer une queueAjouter une nouvelle queueAjouter une nouvelle queue (l’éditeur de texte par defaut s’ouvrira pour modifier le modèle prédéfini) : # qconf -aq <nom_Queue> Ajouter une nouvelle queue à partir d’un fichier qui a déjà définie la queue (Le fichier de définition

[ TITLE    ] : Cloudflare et HTTPS
[ CATEGORY ] : /Serveur/Web
[ DATE     ] :

Cloudflare peut faire autorité de certification et générer un certificat TLS gratuitv à installer sur votre serveur Nginx. PrérequisLes prérequis sont : Un serveur Nginx configuré pour un site Internet en https Un compte Cloudflare paramétré pour votre site Internet Un nom de domaine avec accès aux DNS pour les faire pointer chez Cloudflare Génération du certificatSur Cloudflare, dans Websites, selectionner votre site Internet. Une fois dans le pannel d’administration de votre site, dans le me

[ TITLE    ] : SLURM - Modifier temps de calcul
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Parfois il arrive que des utilisateurs aient lancé des jobs sur une queue avec une QOS (de temps) trop courte et que leurs calculs ne puissent pas se finir dans le temps imparti. Pour leur accorder du temps supplémentaire, il faut modifier le TimeLimit à l’aide de la commande scontrol avec un update. Créer une limite de tempsNormalement on définie une QOS valable pour un groupe d’utilisateurs ou pour une queue/noeud mais il est possible de modifier une valeur (ici de temps) au cas par cas. Affic

[ YEAR ] : 2022
[ TITLE    ] : Bascule de noeuds sous SGE vers SLURM
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Dans notre cas nous devons basculer 3 noeuds actuellement sous gestion SGE vers SLURM, les noeuds à basculer sont mynode05, mynode06, mynode07 et mynode08. Administration sous SGEAffichageOn affiche la liste des noeuds sous gestion SGE : # qstat -fqueuename qtype resv/used/tot. load_avg arch state-----------------------------------------------------------------------------allqueue.q@mynode01.hpc BIP 0/13/40 10.72 lx-amd64-----------------------------

[ TITLE    ] : SGE - Observer des jobs
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Pour observer de plus près le comportement d’un job, on peut utiliser la commandes qstat. Extrait du manL’aide de la commande précise : # qstat --helpusage: qstat [options] [-ext] view additional attributes [-f] full output [-F [resource_attributes]] full output and show (selected) resources of queue(s) [-g c] display cluster queue summary [-g d]

[ TITLE    ] : SGE - Status des jobs
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Les commandes qstat et qmod affichent les informations des jobs dans la file d’attente. Les jobs passent généralement par plusieurs statuts au cours de leur exécution. Les statuts typiques sont pending, running, suspending, hold et queue wait : p : pending r : running s : suspending z : zombie qw : queue wait Rq : Re-queue h : hold et h = |hu|ho|hs|hd|hj|h|a| hu : user hold, ho : operator hold hs : system hold hj : job hold a : alarm t : transfering d : deletion z : finished normally

[ TITLE    ] : SLURM - Status des jobs
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

La commande squeue affiche les informations des jobs dans la file d’attente sous forme de plusieurs colonnes dont ST et NODELIST (REASON). La colonne ST indique le statut du job et NODELIST (REASON) donne plus d’informations sur la raison pour laquelle le job n’a pas démarré. # squeueJOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)10674 n01_25 particule emmetbrown R 17:00 4 n13-[01-04]10668 node quantique martymcfly R 17:45

[ TITLE    ] : SLURM - Observer des jobs
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Pour observer de plus près le comportement d’un job, on peut utiliser les commandes sstat, ssacct, scontrol et même squeue. Extrait du manL’aide des commandes précise : squeue : afficher les informations sur les jobs dans la file d’attente sstat : afficher le status des jobs sacct : afficher les logs des jobs scontrol : afficher/modifier des jobs, noeuds, partitions, réservations, configuration globale Pour annuler un job : scancel : annuler un job Statut des jobs et de la node

[ TITLE    ] : SGE - Surcharge des noeuds
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Parfois les clusters de calcul subissent de fortes charges, dûes à des résidus de calculs terminés qui peuvent toujours apparaître dans la liste des processus, SGE est censépourvoir gérer ce type de problème grâce au fichier prolog et/ou epilog, situés dans <$SGE_ROOT>/site/ mais les problèmes peuvent persister. Load AverageLe load_avg est une valeur fournie par la commande uptime ou celles du type top, htop, etc. et indique la charge processeur moyenne. La commande qstat affiche également

[ TITLE    ] : SGE - Limiter le nombre de job
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Pour limiter le nombre de calcul lancé par un utilisateur, il est possible de paramétrer un script dans le fichier prolog de SGE en appelant un autre fichier, ici nomé MaxJobs contenant les restrictions. Fichier de configurationFichier de limitationDans le fichier <$SGE_ROOT>/site/MaxJobs ont ajoute le nombre maximal de jobs qu’un utilisateur peut lancer suivi de son compte en précisant une valeur max par défaut. # cat <$SGE_ROOT>/site/MaxJobs#Nb_job:user8:defaut20:jerry20:jess10:mor

[ TITLE    ] : SGE - Prolog et Epilog
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Le dossier <$SGE_ROOT>/site/ comporte un certain nombre de fichiers définissant le comportement de SGE, ce dossier contient également les fichiers prolog et epilog. Fichiers de configurationSi ces fichiers existent et sont définis, ils remplacent la configuration globale par défaut de SGE. Ces fichiers sont un moyen d’automatiser l’exécution des jobs. PrologLe prolog est un script qui est excétuté avant le lancement des jobs sous SGE. Ce fichier permet d’automatiser l’exécution des jobs, c

[ TITLE    ] : SGE - Les classes
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Parfois un script ne peut pas se lancer car la queue a été paramétrée avec une classe Les classesLes classes sous SGE ? A Job Class is :A set of jobs that are equivalent in some sense and treated similarly.In Sun Grid Engine, Enterprise Edition a job class is defined by the identical requirements of the corresponding jobs and the characteristics of the queues being suitable for those jobs. Manipuler les classesCréé une nouvelle classe en ouvrant un éditeur de texte : # qconf -ajc <job_class

[ TITLE    ] : SLURM - Script de soumission
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Vous trouverez ci-dessous un certain nombre d’exemples de scripts pouvant être utilisés comme modèle pour créer vos propres scripts de soumission SLURM. Simple scripts de soumissionLes jobs nécessitent un fichier de script que SLURM interprète et exécute. Le fichier SBATCH contient à la fois des commandes spécifiques à SLURM à interpréter ainsi que des programmes à exécuter. Vous trouverez ci-dessous un exemple simple d’un job pour exécuter un fichier Stata do. ScriptCe fichier est nommé myscrip

[ TITLE    ] : SLURM/SGE Cheat Sheet
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Equivalences des commandes SLURM/SGE Commandes utilisateur Explications Commande Slurm Commande SGE Interactive login # srun --pty bash # qlogin # srun -p "part_name" --pty bash # sdev Job submission # sbatch [script file] # qsub [script file] Job deletion # scancel [job_ID] # qdel [job_ID] Job status all # squeue -all # qstat -f Job status # squeue [job_ID] # qstat -u \ * [-j job_ID] Job user status # squeue -u [user name] # qstat [-u user name] Job hold # sco

[ TITLE    ] : SLURM - Comptes/Associations/Groupes
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Il existe quatre composants principaux dans Slurm : le compte Unix, les groupes Unix, les comptes Slurm et les associations Slurm. Sous UnixCompte/utilisateur UnixTout utilisateur doit avoir un compte unix pour s’authentifier à un cluster. Certaines informations sont également associées à ce compte comme le shell par défaut, le $HOME, etc. La commande getent passwd $USER permet d’en savoir plus le compte unix. Groupes UnixChaque compte/utilisateur Unix appartient à au moins un groupe, du même no

[ TITLE    ] : SLURM - QOS Gestion
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Il est possible de spécifier une QOS (Quality Of Service) pour chaque jobs soumis dans Slurm, la commande sacctmgr permet de les gérer. Gérer les QOSManipulation des QOSAjoutAjouter une nouvelle QOS : # sacctmgr add qos ParticuleCalc Ajouter une QOS avec directement des paramètres : # sacctmgr -i add qos high set priority=1000# sacctmgr -i add qos medium set priority=500# sacctmgr -i add qos low set priority=100 AffichageAfficher la QOS ParticuleCalc : # sacctmgr show ParticuleCalc Afficher

[ TITLE    ] : SLURM - QOS généralités
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Il est possible de spécifier une QOS (Quality Of Service) pour chaque job soumis dans Slurm, la QOS affectera le job de 3 façons : Priorité Préemption Limites C’est la commande sacctmgr permet de gérer la QOS. Quality Of ServicePour changer et activer la QOS, il faut activer le plug-in Multifactor Job Priority en changeant l’option PriorityType à priority/multifactor dans slurm.conf Fichier slurm.conf : # Activate the Multifactor Job Priority Plugin with decay# PriorityType=priority/basicPrio

[ TITLE    ] : SGE - Commandes Utiles
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

SGE est l’ordonnanceur de taches qui permet aux utilisateurs de soumettre leurs jobs. Chaque noeud de calcul execute un daemon sgeexecd pour dialoguer avec le daemon qmaster. Ce dernier permet de tout orchestrer. Listes des commandesSeul le role des commandes est decrit, les options de celles-ci etant consultables avec man. Commandes d’administration Commande Explication # qconf Commande de configuration en mode texte # qmon Gestion complete du cluster en mode graphique # qmod Gestion d

[ TITLE    ] : SLURM - Watch Nodes
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

Un script en bash pour surveiller vos noeuds sous SLURM, le script vérifie si les noeuds tombent en drain ou drng et les relance automatiquement, il récupère ensuite les logs d’erreurs de SLURM sur le noeud et les place dans LOG_EXPORT_REPOSITORY. Le script est à lancer avec la commande watch : # watch -n <IntervaleSecondes> <CheminScript> Ou dans un cron : # crontab –e*/5 * * * * /root/scripts/Watchnode_SLURM.sh >> /var/log/slurm/custom/nodes.log 2>> /var/log/slurm/cust

[ TITLE    ] : SGE et ACL
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

SGE est capable de gérer les ACl en interne. Les ACL sont utilisées pour définir des projets auxquels des utilisateurs peuvent avoir accès (ou pas) pour exécuter des tâches. Il est possible de définir ces ACL en fonction des ressources du cluster Pricipe de baseCes ACL contiennent des noms d’utilisateur et de groupes UNIX et sont ajoutées aux listes access-allowed ou access-denied dans les files d’attente (queues) ou dans les environnement parallèle. Les utilisateurs appartenant aux ACL acces

[ TITLE    ] : Clubak
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

La commande clubak permet de rassembler et d’afficher les résultats de clush et pdsh Documentationhttps://linux.die.net/man/1/clubak

[ TITLE    ] : Clush - Cluster Sh
[ CATEGORY ] : /Serveur/Calcul
[ DATE     ] :

La commande clush permet d’exécuter des commandes sur un cluster. Cette commande est interactive ou peut être utilisé dans un scripts shell. Les fonctionnalités diponibles de clush sont : Modes d’exécution parallèle des commandes pour les clusters : flat mode tree mode Affichage intelligent des résultats : collecte de sortie intégrée, tri par nœud, ensemble de nœuds ou groupes de nœuds Redirection d’entrée standard vers des nœuds distants Coppie de fichiers en parallèle Options rétrocompatibi