Ceci est une ancienne révision du document !


FIXME

Intel MPI avec SGE

Par défaut la vesrion Intel MPI ne s'intègre pas avec SGE. Cela se manifeste par des démons (MPD) orphelins sur les noeuds de calcul après la terminaison de l'application.

Nous avons mets en place une nouvelle technique permettant une intégration fine des applications basées sur Intel MPI.

Exemple Script MPI Intel

intel_mpi.sge
#!/bin/bash -l
 
#$ -l h_rt=320:00:0
 
#$ -o $JOB_NAME.o$JOB_ID
 
#$ -e $JOB_NAME.e$JOB_ID
 
#$ -N job_impi
 
#$ -q normal15d    
 
#$ -pe intel_mpi_tight 16            
 
#$ -V
#$ -cwd
 
# On charge les modules necessaires
 
module load impi/3.2
 
export MPD_CON_EXT="sge_$JOB_ID.$SGE_TASK_ID"
 
mpiexec -machinefile $TMPDIR/machines -n $NSLOTS monprogramm params > log.out
Notez la présence de nouvelles options :
  • -pe intel_mpi_tight c'est l'équivalent de -pe impi_tight pour les anciens scripts
    Il existe aussi un environnement parallèle intel_mpi_robin
  • export MPD_CON_EXT="sge_$JOB_ID.$SGE_TASK_ID", cette option est indispensable
  • mpiexe : utilisation de mpiexec au lieu de mpirun

Migration vers cette nouvelle Intégration

Si vous avez utilisez l'ancienne intégration (par defaut livrée avec le cluster), merci d'adapter vos scripts selon le tableau suivant :

Anciennes valeurs Nouvelles valeurs
-pe impi_tight-pe intel_mpi_tight
-pe impi_robin-pe intel_mpi_robin
export MPD_CON_EXT="sge_$JOB_ID.$SGE_TASK_ID"
module load impi/3.2
mpirun mpiexec

Exemple

Ancien scriptNouveau script
#!/bin/bash -l
 
#$ -l h_rt=320:00:0
 
#$ -o $JOB_NAME.o$JOB_ID
 
#$ -e $JOB_NAME.e$JOB_ID
 
#$ -N job_impi
 
#$ -q normal15d    
 
#$ -pe impi_tight 16            
 
#$ -V
#$ -cwd
 
 
 
 
 
mpirun -machinefile $TMPDIR/machines -n $NSLOTS monprogramm params > log.out
#!/bin/bash -l
 
#$ -l h_rt=320:00:0
 
#$ -o $JOB_NAME.o$JOB_ID
 
#$ -e $JOB_NAME.e$JOB_ID
 
#$ -N job_impi
 
#$ -q normal15d    
 
#$ -pe intel_mpi_tight 16            
 
#$ -V
#$ -cwd
 
module load impi/3.2
 
export MPD_CON_EXT="sge_$JOB_ID.$SGE_TASK_ID"
 
mpiexec -machinefile $TMPDIR/machines -n $NSLOTS monprogramm params > log.out
  • intel_mpi.1376090457.txt.gz
  • Dernière modification : 2015/02/25 08:45
  • (modification externe)