Clustershell

Créé à l’origine par l’équipe de développement système HPC Linux du CEA en France, ClusterShell est une bibliothèque de commandes qui permet d’administrer les principaux composants d’un centre de calcul : clusters de calcul, clusters de stockage et fermes de serveurs en fournissant principalement 3 outils d’administration qui, depuis le cluster principal, sont exécutés sur un ou plusieurs noeuds.

Les 3 outils sont :

• nodeset: gérer les ensembles et les groupes de noeuds du cluster
• clush : exécuter des commandes parallèles avec une sortie terminal
• clubak : rassembler et afficher les résultats d’une sortie de type clush/pdsh (et plus)

Note1 : cluset est le même que nodeset, intégré à ClusterShell 1.7.3 pour éviter les conflits avec la commande nodeset de xCAT.

Note2 : pdsh - envoie des commandes à des groupes d’hôtes en parallèle.

Configuration

Nous avons 3 fichiers de configuration pour clush :

• /etc/clustershell/clush.conf : paramètres globaux de clush
• /etc/clustershell/groups.conf : paramètres globaux des groupes de noeuds
• /etc/clustershell/defaults.conf : paramètres globaux de la library

Configuration de clush

Le fichier de configuration $CLUSTERSHELL_CFGDIR/clush.conf définit les valeurs globales par défaut pour plusieurs paramètres de clush, en général situé dans /etc/clustershell/clush.conf.

Les fichiers suivants réécrivent les paramètres globaux de clush :

• $XDG_CONFIG_HOME/clustershell/clush.conf
• $HOME/.config/clustershell/clush.conf (seulement si $XDG_CONFIG_HOME n’est pas défini)
• $HOME/.local/etc/clustershell/clush.conf
• $HOME/.clush.conf (déprécié, seulement pour la version 1.6)

Extrait exemple de /etc/clustershell/clush.conf :

[Main]
fanout: 128
connect_timeout: 15
command_timeout: 0
history_size: 100
color: auto
fd_max: 10240
node_count: yes

Configuration des groupes de noeuds

Le fichier de configuration $CLUSTERSHELL_CFGDIR/groups.conf définit les valeurs globales par défaut pour plusieurs paramètres de clush, en général situé dans /etc/clustershell/groups.conf

Les fichiers suivants réécrivent les paramètres globaux des groupes de noeuds :

• $XDG_CONFIG_HOME/clustershell/groups.conf
• $HOME/.config/clustershell/groups.conf (seulement si $XDG_CONFIG_HOME n’est pas défini)
• $HOME/.local/etc/clustershell/groups.conf

Extrait exemple de /etc/clustershell/groups.conf :

[Main]
default: quantique
confdir: /etc/clustershell/groups.conf.d $CFGDIR/groups.conf.d
autodir: /etc/clustershell/groups.d $CFGDIR/groups.d

[quantique]
map: nodeattr -n $GROUP
all: nodeattr -n ALL
list: nodeattr -l

[slurm]
map: sinfo -h -o "%N" -p $GROUP
all: sinfo -h -o "%N"
list: sinfo -h -o "%P"
reverse: sinfo -h -N -o "%P" -n $NODE

Configuration de la library

Le fichier de configuration $CLUSTERSHELL_CFGDIR/defaults.conf définit les valeurs globales par défaut pour plusieurs paramètres de clush, en général situé dans /etc/clustershell/defaults.conf

Les fichiers suivants réécrivent les paramètres globaux de la library :

• $XDG_CONFIG_HOME/clustershell/defaults.conf
• $HOME/.config/clustershell/defaults.conf (seulement si $XDG_CONFIG_HOME n’est pas défini)
• $HOME/.local/etc/clustershell/defaults.conf

Exemple :

aaa

Documentation

https://clustershell.readthedocs.io/en/latest/
https://linux.die.net/man/1/pdsh
https://www.systutorials.com/docs/linux/man/5-clush.conf/

RTFM :
clush.conf (5) - Linux Man Pages