Ceci est une ancienne révision du document !
Intel MPI avec SGE
Par défaut la vesrion Intel MPI ne s'intègre pas avec SGE. Cela se manifeste par des démons (MPD) orphelins sur les noeuds de calcul après la terminaison de l'application.
Nous avons mets en place une nouvelle technique permettant une intégration fine des applications basées sur Intel MPI.
Exemple Script MPI Intel
- intel_mpi.sge
#!/bin/bash -l #$ -l h_rt=320:00:0 #$ -o $JOB_NAME.o$JOB_ID #$ -e $JOB_NAME.e$JOB_ID #$ -N job_impi #$ -q normal15d #$ -pe intel_mpi_tight 16 #$ -V #$ -cwd # On charge les modules necessaires export MPD_CON_EXT="sge_$JOB_ID.$SGE_TASK_ID" mpiexec -machinefile $TMPDIR/machines -n $NSLOTS monprogramm params > log.out
Notez la présence de nouvelles options :
- -pe intel_mpi_tight c'est l'équivalent de -pe impi_tight pour les anciens scripts
Il existe aussi un environnement parallèle intel_mpi_robin - export MPD_CON_EXT="sge_$JOB_ID.$SGE_TASK_ID", cette option est indispensable
- mpiexe : utilisation de mpiexec au lieu de mpirun
Migration vers cette nouvelle Intégration
Si vous avez utilisez l'ancienne intégration (par defaut livrée avec le cluster), merci d'adapter vos scripts selon le tableau suivant :
| Anciennes valeurs | Nouvelles valeurs |
|---|---|
| -pe impi_tight | -pe intel_mpi_tight |
| -pe impi_robin | -pe intel_mpi_robin |
| export MPD_CON_EXT="sge_$JOB_ID.$SGE_TASK_ID" | |
| module load impi/3.2 | |
| mpirun | mpiexec |
Exemple
| Ancien script | Nouveau script |
|---|---|
#!/bin/bash -l #$ -l h_rt=320:00:0 #$ -o $JOB_NAME.o$JOB_ID #$ -e $JOB_NAME.e$JOB_ID #$ -N job_impi #$ -q normal15d #$ -pe impi_tight 16 #$ -V #$ -cwd mpirun -machinefile $TMPDIR/machines -n $NSLOTS monprogramm params > log.out | #!/bin/bash -l #$ -l h_rt=320:00:0 #$ -o $JOB_NAME.o$JOB_ID #$ -e $JOB_NAME.e$JOB_ID #$ -N job_impi #$ -q normal15d #$ -pe intel_mpi_tight 16 #$ -V #$ -cwd module load impi/3.2 export MPD_CON_EXT="sge_$JOB_ID.$SGE_TASK_ID" mpiexec -machinefile $TMPDIR/machines -n $NSLOTS monprogramm params > log.out |