Ceci est une ancienne révision du document !


Test du cluster Helios

Utilisation SSH

$ ssh user@172.20.92.214

Une fois connecté. Deux espace de travail sont disponible.

  • $HOME : répertoire de connexion par défaut (quota 5G)
  • $WORK : répertoire de travail (quota 1To)
Il faut se placer dans le répertoire Work ($WORK) pour travailler/lancer des calculs.
$ cd Work
ou
$ cd $WORK
ou
$ cdw

Nous utilisons Slurm comme ordonnanceur et gestionnaire de ressources.

Exemple : lancer une session interactive (un bash) sur un noeud GPU.

$ srun -p gpu --gres=gpu:1 --pty bash

Avec

  • -p gpu utilise la partition (file) gpu
  • –gres=gpu:1 demande une carte GPU
  • –pty bash lance un shell à la connexion
  • A noter que la mémoire, par defaut, allouée est de 64g. En cas besoin utiliser l'option –mem=72g par exemple.

Une fois connecté sur le noeud. Vous pouvez utiliser WORK pour travailler.

Pour la file d'attente gpu, un espace de stockage (6 To SSD) local par noeud est disponible. Il est accessible via la variable d'environnement $GPU_SCRATCH_DIR. Cette espace est permanent. Il est utile pour les applications qui font beaucoup de streaming.
Uniquement anaconda de base est installé sur les machines GPU. L'installation de paquets/logiciels se fait via conda

Conda pour installer tensforflow-gpu

Exemple d'un cas d'utilisation
On se place dans le scratch local:

$ cd $GPU_SCRATCH_DIR

On charge anaconda:

$ module load anaconda3@2020.11

On crée un environnement conda :

$ conda env create -n meso_test

On active l'environnement

$ conda env list
$ conda activate meso_test
$ (meso_test)$ conda list

On install tesnforflow-gpu

$ (meso_test)$ conda install tesnforflow-gpu
  • helios.1625656703.txt.gz
  • Dernière modification : 2021/07/07 11:18
  • de admin