Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision
Révision précédente
sge [2016/10/04 14:01] – [Choisir le type du processeur à utiliser] adminsge [2019/01/30 12:50] (Version actuelle) – admin
Ligne 4: Ligne 4:
 <WRAP box round bgreen 70% >   <WRAP box round bgreen 70% >  
 Les noeuds de soumission de jobs sont : Les noeuds de soumission de jobs sont :
 +  * mesoshared.univ-fcomte.fr
   * mesologin1.univ-fcomte.fr   * mesologin1.univ-fcomte.fr
   * mesologin2.univ-fcomte.fr   * mesologin2.univ-fcomte.fr
 +  * 
 </WRAP> </WRAP>
- 
  
  
Ligne 30: Ligne 31:
 ====== Définitions ====== ====== Définitions ======
  
 +<WRAP center round info 60%>
 **Queue** : une queue est une file d'attente dans laquelle s'accumulent les jobs en attente de traitement par l'ordonnanceur. **Queue** : une queue est une file d'attente dans laquelle s'accumulent les jobs en attente de traitement par l'ordonnanceur.
  
-**Job** : une tâche ou job est un petit programme (shell) contenant la définition de l'environnement dans lequel il souhaite lancer son calcul, ainsi que les commandes nécessaires au lancement du traitement. +**Job** : une tâche ou job est un petit programme (shell) contenant la définition de l'environnement dans lequel il souhaite lancer son calcul, ainsi que les commandes nécessaires au lancement du traitement. 
 +</WRAP> 
 + 
  
  
Ligne 41: Ligne 45:
 ====== Soumission de jobs interactifs ====== ====== Soumission de jobs interactifs ======
  
-**Problème** : Ouvrir un shell sur un noeud particulier+**Problème** : 
 +  * Ouvrir un shell sur un noeud particulier. Utile pour la compilation et le post-traitement par exemple. 
 +  * Lancer une programme directement sur un nœud de calcul en mode interactif
  
  
-sur un nœud de calcul en mode interactif, utile pour la compilation et le post-traitement +** Solution ** : 
- +
-** Solution** : +
   - ''qlogin'' pour se connecter sur un noeud de calcul en mode interactif   - ''qlogin'' pour se connecter sur un noeud de calcul en mode interactif
 +  - ''qrsh'' pour lancer directement un programme sur un noeud en mode interactif  
    
 ** Exemple 1 ** : ** Exemple 1 ** :
Ligne 73: Ligne 78:
 </code> </code>
  
 +**Exemple 3 ** : demander un noeud avec 16 coeurs pendant 8h 
 +<code bash>
 +[user@mesologin1 ~] qlogin  -q all.q -pe openmp 16 -l h_rt=8:00:00
 +</code>
  
 +**Exemple 4** : lancer un programme directement sur le noeud GPU (CTL +C) pour l'arrêter.
  
 +<code bash> 
 +$ qrsh -q tesla.q  PGI_ACC_TIME=1 ./acc_mm.pgi.exe 
 +</code>
 ====== Soumission passive de jobs (mode batch) ====== ====== Soumission passive de jobs (mode batch) ======
  
Ligne 111: Ligne 123:
  
 ^ Option        ^ Description          ^  ^ Option        ^ Description          ^ 
-|**#$ -q [queue]**| Queue (file d'attente) à utiliser | +|''#$ -q [queue]''| Queue (file d'attente) à utiliser | 
-|**#$ -N [job]**| Nom du job | +|''#$ -N [job]''| Nom du job | 
-|**#$ -V **| Exporte toutes les variables d'environnement | +|''#$ -V ''| Exporte toutes les variables d'environnement | 
-|**#$ -cwd** | Utiliser le répertoire courant comme répertoire de travail | +|''#$ -cwd'' | Utiliser le répertoire courant comme répertoire de travail | 
-|**#$ -o [outfile]**| Nom du fichier où stocker la sortie standard | +|''#$ -o [outfile]''| Nom du fichier où stocker la sortie standard | 
-|**#$ -e [errfile]**| Nom du fichier où stocker les erreurs | +|''#$ -e [errfile]''| Nom du fichier où stocker les erreurs | 
-|**#$ -pe [par]**| Environnement parallèle à utiliser |+|''#$ -pe [par]''| Environnement parallèle à utiliser |
 ===== Variables d'environnement ===== ===== Variables d'environnement =====
  
Ligne 123: Ligne 135:
  
 ^ Variable        ^ Description          ^  ^ Variable        ^ Description          ^ 
-| **$JOB_ID**| Identifiant unique propre au job   |  +| ''$JOB_ID''| Identifiant unique propre au job   |  
-| **$JOB_NAME**| Nom attribué au job (par défaut, correspond au nom du script) | +| ''$JOB_NAME''| Nom attribué au job (par défaut, correspond au nom du script) | 
-| **$TMPDIR**| Répertoire temporaire de SGE, supprimé à la fin de l'exécution du job | +| ''$TMPDIR''| Répertoire temporaire de SGE, supprimé à la fin de l'exécution du job | 
-| **$SGE_TASK_ID**| Identificant de la tâche courante en cas d'utilisation de tableaux de tâches (CF. Job parallèle)| +| ''$SGE_TASK_ID''| Identificant de la tâche courante en cas d'utilisation de tableaux de tâches (CF. Job parallèle)| 
-| **$NSLOTS**| Nombre de cœurs demandés par le script (Voir Job parallèle)|+| ''$NSLOTS''| Nombre de cœurs demandés par le script (Voir Job parallèle)|
  
 ===== Soumission d'un job séquentiel ===== ===== Soumission d'un job séquentiel =====
Ligne 138: Ligne 150:
  
 <file bash script.sge> <file bash script.sge>
-#!/bin/bash -l+#!/bin/bash
 #$ -V #$ -V
 #$ -N test_sge #$ -N test_sge
Ligne 154: Ligne 166:
  
 <file bash script.sge> <file bash script.sge>
-#!/bin/bash -l+#!/bin/bash
 #$ -V #$ -V
 #$ -N test_sge #$ -N test_sge
Ligne 210: Ligne 222:
  
 <file bash script_array.sge> <file bash script_array.sge>
-#!/bin/bash -l+#!/bin/bash 
 #$ -q all.q #$ -q all.q
-#$ -V 
-#$ -cwd 
 #$ -N test_sge #$ -N test_sge
-#$ -t 1-100 -tc 50+#$ -t 1-100 
 #$ -o $JOB_NAME.$JOB_ID.out #$ -o $JOB_NAME.$JOB_ID.out
 #$ -o $JOB_NAME.$JOB_ID.err #$ -o $JOB_NAME.$JOB_ID.err
Ligne 239: Ligne 249:
 <file bash script_openmp.sge> <file bash script_openmp.sge>
 #!/bin/bash #!/bin/bash
- 
-#$ -V 
 #$ -N test_sge #$ -N test_sge
 #$ -pe openmp 8  ## on demande 8 coeurs  #$ -pe openmp 8  ## on demande 8 coeurs 
Ligne 266: Ligne 274:
 #$ -q parallel.q #$ -q parallel.q
 #$ -pe mpi 16 #$ -pe mpi 16
- 
-#$ -V 
 #$ -N test_sge #$ -N test_sge
 #$ -o $JOB_NAME.$JOB_ID.out #$ -o $JOB_NAME.$JOB_ID.out
Ligne 295: Ligne 301:
 **Exemple** **Exemple**
 <code bash> <code bash>
-#!/bin/bash -l+#!/bin/bash 
  
-#$ -V 
 #$ -N test_sge #$ -N test_sge
 #$ -o $JOB_NAME.$JOB_ID.out #$ -o $JOB_NAME.$JOB_ID.out
- 
    
 #$ -M kamel.mazouzi@univ-fcomte.fr #$ -M kamel.mazouzi@univ-fcomte.fr
Ligne 306: Ligne 310:
    
 sleep 60 sleep 60
- 
  
 </code> </code>
Ligne 323: Ligne 326:
 </code> </code>
  
-Affichier la liste de noeud exécutant mes jobs+Affichier la liste des noeuds exécutant mes jobs
 <code bash> <code bash>
-$ qstat -f+$ qstat -g t
 </code> </code>
 +
 +Afficher l'état des instances des queues
 +
 +<code bash>
 +$ qstat -f 
 +</code>
 +
  
 Afficher l'utilisation des queues Afficher l'utilisation des queues
Ligne 397: Ligne 407:
 Pour basculer les jobs d'un utilisateur de la file courante vers une nouvelle file (newqueue) Pour basculer les jobs d'un utilisateur de la file courante vers une nouvelle file (newqueue)
  
-Exemple : basculer les jobs de l'utilisateur dupond de la file normal2h vers la file normal15d+Exemple : basculer les jobs de l'utilisateur ''dupond'' de la file ''all.q'' vers la file ''bigmem.q''
  
 <code bash> <code bash>
-$ qalter -u dupond -q normal15d+$ qalter -u dupond -q bigmem.q
 </code> </code>
  
Ligne 563: Ligne 573:
  
 ^processeur^ date d'achat ^ vitesse (GHz) ^ puissance (GFlops)/node ^ Nombre de cœurs^nombre de nœuds ^remarque^ ^processeur^ date d'achat ^ vitesse (GHz) ^ puissance (GFlops)/node ^ Nombre de cœurs^nombre de nœuds ^remarque^
-|Westmere| 2010| 2.66GHz | 82  | 12 | x | utiliser dans la file d'attente ''all.q''| +|Westmere| 2010| 2.66GHz | 255  | 12 | x | utiliser dans la file d'attente ''all.q''| 
 |Sandybridge| 2013| 2.2GHz | 281  | 16 | x | utiliser dans la file d'attente ''all.q'' et parallel.q| |Sandybridge| 2013| 2.2GHz | 281  | 16 | x | utiliser dans la file d'attente ''all.q'' et parallel.q|
 |Haswell| 2015| 2.6GHz | 665 | 16 | 20 | utiliser dans la file d'attente  parallel.q| |Haswell| 2015| 2.6GHz | 665 | 16 | 20 | utiliser dans la file d'attente  parallel.q|
Ligne 585: Ligne 595:
 <note warning>Le processeur Haswell est disponible uniquement pour les applications ''MPI'' de la file ''parallel.q''</note> <note warning>Le processeur Haswell est disponible uniquement pour les applications ''MPI'' de la file ''parallel.q''</note>
  
 +**Comment connaître le type de processeur sur un noeud ?**
 +La commande ''proctype'' permet d'afficher le type d’architecture du processeur :
 +
 +<code bash>
 +$ [user@node1-32 ~]$ proctype 
 +    -march= westmere
 +
 +</code>
  
  • sge.1475589662.txt.gz
  • Dernière modification : 2016/10/04 14:01
  • de admin