Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision
Révision précédente
helios [2021/07/06 16:28] – [Mode interactif] adminhelios [2021/07/07 13:19] (Version actuelle) – [Test du cluster Helios] admin
Ligne 1: Ligne 1:
 ====== Test du cluster Helios ====== ====== Test du cluster Helios ======
 +Caractéristiques principales :
 +  * Système Centos7.9 Final
 +  * Slurm 2020 pour la gestion des ressources
 +  * 192 To Stockage BeeGFS (WORK)
 +  * Réseau 10G/s pour Data
 +  * Réseau 100G/s pour MPI
 +  * Processeurs Intel Skylake-avx512 pour la partition compute
 +  * Processeurs AMD Zen 3 pour la partition gpu
 +  * 9 cartes A100 (PCI, 40G de mémoire) -> 3 cartes par serveur.   
  
 +
 +**Noeuds de calculs et partitions (slurm)**
 +<code bash>
 +
 +[kmazouzi@mesointeractive ~]$ sinfo -Nl
 +Wed Jul 07 13:24:59 2021
 +NODELIST   NODES PARTITION       STATE CPUS    S:C:T MEMORY TMP_DISK WEIGHT AVAIL_FE REASON              
 +node4-1        1  compute*        idle 24     2:12:1  94208        0      1  skylake none                
 +node4-2        1  compute*        idle 24     2:12:1  94208        0      1  skylake none                
 +node4-3        1  compute*        idle 24     2:12:1  94208        0      1  skylake none                
 +node4-4        1  compute*        idle 24     2:12:1  94208        0      1  skylake none                
 +node4-5        1  compute*        idle 24     2:12:1  94208        0      1  skylake none                
 +node4-6        1  compute*        idle 24     2:12:1  94208        0      1  skylake none                
 +node4-7        1  compute*        idle 24     2:12:1  94208        0      1  skylake none                
 +node4-8        1  compute*        idle 24     2:12:1  94208        0      1  skylake none                
 +node4-21       1       gpu       mixed 128    2:32:2 515476        0      1 zen3,a10 none                
 +node4-22       1       gpu        idle 128    2:32:2 515476        0      1 zen3,a10 none                
 +node4-23       1       gpu        idle 128    2:32:2 515476        0      1 zen3,a10 none          
 +</code>
 +
 +**Logiciels installés (Spack), selon l'architecture du processeur**
 +<code bash>$ module avail
 +-------------------------------------------------------------------------------------------------------------------------------- /Softs/spack/share/spack/modules/linux-centos7-haswell/ ---------------------------------------------------------------------------------------------------------------------------------
 +gcc@11.1.0
 +
 +----------------------------------------------------------------------------------------------------------------------------- /Softs/spack/share/spack/modules/linux-centos7-skylake_avx512/ -----------------------------------------------------------------------------------------------------------------------------
 +gromacs@2021.2-mkl                        intel-oneapi-compilers@2021.2.0           intel-oneapi-mpi@2021.2.0                 namd@2.14                                 openmpi@4.0.5                             vasp@5.4.4-mkl
 +intel-mkl@2020.4.304                      intel-oneapi-mkl@2021.2.0                 ior@3.3.0                                 namd@2.14-mkl                             osu-micro-benchmarks@5.7-intel-oneapi-mpi
 +
 +---------------------------------------------------------------------------------------------------------------------------------- /Softs/spack/share/spack/modules/linux-centos7-zen3/ ----------------------------------------------------------------------------------------------------------------------------------
 +anaconda3@2020.11
 +
 +
 +</code>
 ===== Connexion ===== ===== Connexion =====
 Utilisation SSH Utilisation SSH
Ligne 34: Ligne 77:
   * ''--gres=gpu:1'' demande une carte GPU   * ''--gres=gpu:1'' demande une carte GPU
   * ''--pty bash'' lance un shell à la connexion    * ''--pty bash'' lance un shell à la connexion 
-  * A noter que la mémoire, par defaut, allouée est de ''64g''. En cas besoin utiliser l'option ''--mem=72g'' par exemple.+  * A noter que la mémoire, par defaut, allouée est de ''64g'' sur la partition gpu. En cas besoin utiliser l'option ''--mem=72g'' par exemple.
  
 Une fois connecté sur le noeud. Vous pouvez utiliser WORK pour travailler. Une fois connecté sur le noeud. Vous pouvez utiliser WORK pour travailler.
Ligne 40: Ligne 83:
 <note tip>Pour la file d'attente ''gpu'', un espace de stockage (6 To SSD) local par noeud est disponible. <note tip>Pour la file d'attente ''gpu'', un espace de stockage (6 To SSD) local par noeud est disponible.
 Il est accessible via la variable d'environnement ''$GPU_SCRATCH_DIR''. Il est accessible via la variable d'environnement ''$GPU_SCRATCH_DIR''.
-Cette espace est utile pour les applications qui font beaucoup de streaming. +Cette espace est permanent. Il est utile pour les applications qui font beaucoup de streaming. 
 </note> </note>
  
Ligne 46: Ligne 89:
 L'installation de paquets/logiciels se fait via ''conda''</note> L'installation de paquets/logiciels se fait via ''conda''</note>
  
 +=== Conda pour installer tensforflow-gpu ===
 **Exemple d'un cas d'utilisation**\\ **Exemple d'un cas d'utilisation**\\
 On se place dans le scratch local: On se place dans le scratch local:
Ligne 55: Ligne 99:
 <code bash> <code bash>
 $ module load anaconda3@2020.11 $ module load anaconda3@2020.11
 +</code>
 +
 +On crée un environnement conda :
 +<code bash>
 +$ conda env create -n meso_test
 +</code>
 +On active l'environnement
 +
 +<code bash>
 +$ conda env list
 +$ conda activate meso_test
 +$ (meso_test)$ conda list
 +</code>
 +On install tesnforflow-gpu
 +<code bash>
 +$ (meso_test)$ conda install tesnforflow-gpu
 </code> </code>
  
 ==== Mode Batch  ===== ==== Mode Batch  =====
 +Créer un script Slurm dans  ''$WORK''.\\
 +
 +Adapter le script suivant selon besoins.\\
 +
 +**Exemple script GPU**
 +
 +<file bash gpu.slurm>
 +#!/bin/bash
 +# Fichier submission.SBATCH
 +
 +#SBATCH --job-name="MON_JOB"
 +#SBATCH --output=%x.%J.out   ## %x=nom_du_job, %J=id du job
 +#SBATCH --error=%x.%J.out
 +
 +#SBATCH --partition=gpu 
 +#SBATCH --gres=gpu:1
 +
 +## votre dresse mail pour les notifs 
 +#SBATCH --mail-user=votreadresseufc@univ-fcomte.fr
 +#SBATCH --mail-type=END,FAIL
 +
 +nvidia-smi
 +
 +module purge
 +module load anaconda3@2020.11
 +conda activate meso_test  && python GPU_Program.py
 +
 +</file>
 +soumettre le job :
 +<code bash>
 +$ sbatch gpu.slurm
 +</code>
 +
 +statut des jobs
 +<code bash>
 +$ squeue 
 +</code>
 +
 +
 +**Exemple script NAMD**
 +
 +<file bash namd.slurm>
 +#!/bin/bash
 +# Fichier submission.SBATCH
 +
 +#SBATCH --job-name="MON_JOB"
 +#SBATCH --output=%x.%J.out   ## %x=nom_du_job, %J=id du job
 +#SBATCH --error=%x.%J.out
 +
 +#SBATCH --partition=compute
 +#SBATCH -n 96 
 +
 +#SBATCH --mail-user=votreadresseufc@univ-fcomte.fr
 +#SBATCH --mail-type=END,FAIL
 + 
 +module purge
 +module load namd@2.14-mkl
 +
 +NAMD_SCRIPT=grap10 
 +srun namd2 $NAMD_SCRIPT.namd > $NAMD_SCRIPT.out
 +
 +</file>
 +
 +
  • helios.1625588927.txt.gz
  • Dernière modification : 2021/07/06 16:28
  • de admin