Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision
Révision précédente
smashpc [2016/02/02 22:32] – adminsmashpc [2016/02/03 17:43] (Version actuelle) – admin
Ligne 1: Ligne 1:
 ====== TP atelier SMAsHPC ====== ====== TP atelier SMAsHPC ======
  
-L'objectif de ce TP est de lancer des simulations GAMA, le modèle épidémie campagnoles, en mode batch (ligne de commande) sur le mésocentre.+L'objectif de ce TP est de lancer des simulations GAMA, le modèle épidémie campagnol, en mode batch sur le mésocentre. 
 + 
 +{{ :gama_logo.png?400|}} 
 +<note tip>Mode batch : lancer des programmes en ligne de commandes et en mode asynchrone en utilisant le gestionnaire de ressources Grid engine (SGE)  
 +</note> 
 + 
 +===== Grid Engine ===== 
 + 
 +Ordonnanceur et gestionnaire de ressources.  
 + 
 +{{ :sge_cluster.png?600 |}} 
 + 
 + En pratique : 
 +  * L’utilisateur soumet un job avec des paramètres spécifiques 
 +  * Le système de batch (GE) lancera alors le job dès que les ressources requises par l’utilisateur seront disponibles
  
  
Ligne 13: Ligne 27:
   - Extraire l'archive  <code bash>[formationmeso@mesologin1 ~]$ unzip epidemicVol.zip</code>   - Extraire l'archive  <code bash>[formationmeso@mesologin1 ~]$ unzip epidemicVol.zip</code>
   - Le répertoire devrait contenir <code bash>[formationmeso@mesologin1 ~]$ ls    - Le répertoire devrait contenir <code bash>[formationmeso@mesologin1 ~]$ ls 
-   gama.sge  doc  epidemicVol.xml  images  includes  models  workspace+   gama.sge  epidemicVol.xml  includes  models  workspace
   </code>       </code>    
            
Ligne 37: Ligne 51:
  
 <?xml version="1.0" encoding="UTF-8"?> <?xml version="1.0" encoding="UTF-8"?>
-<Simulation id="2" sourcePath="./models/epidemicVols.gaml" finalstep="100" experiment="epidemicVols"> +<Simulation id="2" sourcePath="./models/epidemicVols.gaml"  
-    <Parameters> +                   finalstep="100" experiment="epidemicVols">
-        <Parameter name="nb_burrow" type="INT" value="100" /> +
-        <Parameter name="nb_vol_per_squareMeter" type="FLOAT" value="0.1" /> +
-    </Parameters> +
-    <Outputs> +
-        <Output id="1" name="map" framerate="5" />+
          
-        <Output id="2" name="number of killed vols per fox" framerate="5" /> + <Parameters> 
-     +   <Parameter name="nb_burrow" type="INT" value="100" /> 
-        <Output id="3" name="number of scat par fox per day" framerate="5" /> +   <Parameter name="nb_vol_per_squareMeter" type="FLOAT" value="0.1" /> 
-     + </Parameters> 
-        <Output id="4" name="number of infected fox" framerate="5" /> +  
-        + <Outputs> 
-        <Output id="5" name="number of scats" framerate="5" /> +   <Output id="1" name="map" framerate="5" /> 
-     +   <Output id="2" name="number of killed vols per fox" framerate="5" /> 
-    </Outputs>+   <Output id="3" name="number of scat par fox per day" framerate="5" /> 
 +   <Output id="4" name="number of infected fox" framerate="5" />     
 +   <Output id="5" name="number of scats" framerate="5" />     
 + </Outputs>
 </Simulation> </Simulation>
  
 </file> </file>
  
-Le fichier décrit une ''simulation prey_predator'', on trouve : +Le fichier décrit une simulation ''epidemicVols'', on trouve : 
-  * Le chemin relatif vers le modèle GAMA : ''./models/Model09.gaml''+  * Le chemin relatif vers le modèle GAMA : ''./models/epidemicVols.gaml''
   * Le nombre de pas de temps à exécuter ''finalstep=1000''   * Le nombre de pas de temps à exécuter ''finalstep=1000''
-  * Les paramètres d'entrée : nombre initial de prédateurs **20**, nombre initial de proies **300** +  * Les paramètres d'entrée : nombre initial de ''nb_burrow'' **100**, nombre initial ''nb_vol_per_squareMeter'' **0.1** 
-  * Les paramètres de sortie : ''snapshot'' du graphique chaque 5 fps ?, nombre de proies et le nombre de prédateur chaque pas de temps  +  * Les paramètres de sortie : ''map'' un snapshot du graphique chaque 5 fps et d'autres valeurs comme par exemple ''number of scats''
 ====== Lancer la simulation ====== ====== Lancer la simulation ======
  
 Le fichier ''gama.sge'' est le script SGE, il contient un ensemble de paramètres SGE et la commande pour lancer GAMA en mode ligne de commande. Le fichier ''gama.sge'' est le script SGE, il contient un ensemble de paramètres SGE et la commande pour lancer GAMA en mode ligne de commande.
  
-<note tip>Généralement on demande des ressources : CPU (ici 1 coeurs) et mémoire 5G</note>+<note tip>Généralement on demande des ressources : CPU (ici 1 coeurs) et de la mémoire (6G)</note>
    
 <file bash gama.sge> <file bash gama.sge>
-#!/bin/bash -l+#!/bin/bash
  
 ####### DEBUT OPTIONS SGE ############# ####### DEBUT OPTIONS SGE #############
Ligne 82: Ligne 93:
  
 ### Nom du job, visible dans qstat ### Nom du job, visible dans qstat
-#$ -N Model09+#$ -N epidemic_votreNom
  
 ### Fichier où stocker la sortie standard  ### Fichier où stocker la sortie standard 
Ligne 94: Ligne 105:
  
 ## On lance Gama en mode batch ## On lance Gama en mode batch
-gama-headless.sh predatorPrey.xml ${JOB_NAME}_${JOB_ID}+gama-headless.sh epidemicVol.xml ${JOB_NAME}_${JOB_ID}
  
  
Ligne 102: Ligne 113:
  
 <note>Nous utilisons ${JOB_NAME}_${JOB_ID} comme répertoire de sortie, avec : \\ <note>Nous utilisons ${JOB_NAME}_${JOB_ID} comme répertoire de sortie, avec : \\
-**$JOB_NAME** : variable d'environnement SGE, elle contient le nom attribué au job : ''Model09''\\+**$JOB_NAME** : variable d'environnement SGE, elle contient le nom attribué au job : ''epidemic_kmazouzi''\\
 **$JOB_ID**  : variable d'environnement SGE, elle contient un identificateur unique\\ **$JOB_ID**  : variable d'environnement SGE, elle contient un identificateur unique\\
  
-On peut donc s'attendre à ''Model09_74099'' comme répertoire de sortie.+On peut donc s'attendre à ''epidemic_votreNom_74099'' comme répertoire de sortie.
 </note> </note>
  
Ligne 118: Ligne 129:
 **Vérifier l'état du calcul** : **Vérifier l'état du calcul** :
  
-<code bash> +<code bash>$qstat 
-[formationmeso@mesologin1 kmazouzi]$ qstat +job-ID    name      user        state submit/start at     queue         slots  
-job-ID  prior   name       user         state submit/start at     queue                          slots ja-task-ID  +----------------------------------------------------------------------------- 
------------------------------------------------------------------------------------------------------------------ +  74099  epidemic  formationmes r     07/07/2014 21:32:18 all.q@node1-15   1        
-  74099 0.51000 Model09    formationmes r     07/07/2014 21:32:18 all.q@node1-15                     1        +
  
 </code> </code>
Ligne 130: Ligne 140:
 Le répertoire de sortie contient les fichiers résultats : Le répertoire de sortie contient les fichiers résultats :
  
-  * simulation-outputs0.xml, fichier contenant le nombre de proie/prédateur en chaque pas de temps+  * simulation-outputs0.xml, fichier contenant les paramètres de sortie 
   * snapshot, répertoire contenant les images de la simulation pour chaque pas temps.    * snapshot, répertoire contenant les images de la simulation pour chaque pas temps. 
  
Ligne 137: Ligne 147:
 **Récupérer les résultats sur le poste du travail** **Récupérer les résultats sur le poste du travail**
  
-On souhaite, par exemple, récupérer le répertoire  : **Model09_123456**+On souhaite, par exemple, récupérer le répertoire  : **epidemic_123456**
  
 **1.** En utilisant un outils graphique : ''filezella'', ... **1.** En utilisant un outils graphique : ''filezella'', ...
Ligne 144: Ligne 154:
 <code bash> <code bash>
  
-$ scp -r formationmeso@mesologin1.univ-fcomte.fr:WORK/<votreNom>/<Model09_123456 .+$ scp -r formationmeso@mesologin1.univ-fcomte.fr:WORK/<votreNom>/<epidemic_123456 .
  
 </code> </code>
Ligne 150: Ligne 160:
  
  
-====== Tableaux de tâches ======    +====== Explorer plusieurs modèles ======    
  
  
Ligne 161: Ligne 171:
 </note> </note>
  
 +{{ :task.png?600 |}}
  
  
Ligne 167: Ligne 178:
 **prérequis :** Il faut préparer les paramètres pour les différentes simulations : avoir plusieurs fichier XML  **prérequis :** Il faut préparer les paramètres pour les différentes simulations : avoir plusieurs fichier XML 
  
-__**Exemple :**__ lancer 3 simulations, dans notre exemple il nous faut préparer 3 fichiers : ''predatorsPrey1.xml, predatorsPrey2.xml et predatorsPrey3.xml''+__**Exemple :**__ lancer 3 simulations, dans notre exemple il nous faut préparer 3 fichiers :''epidemicVol1.xml'',  ''epidemicVol2.xml'' et ''epidemicVol3.xml''
  
 <code bash> <code bash>
  
-[formationmeso@mesologin1 kmazouzi]$ cp predatorPrey.xml predatorPrey1.xml  +[formationmeso@mesologin1 kmazouzi]$ cp epidemicVol.xml  epidemicVol1.xml  
-[formationmeso@mesologin1 kmazouzi]$ cp predatorPrey.xml predatorPrey2.xml  +[formationmeso@mesologin1 kmazouzi]$ cp epidemicVol.xml  epidemicVol2.xml  
-[formationmeso@mesologin1 kmazouzi]$ cp predatorPrey.xml predatorPrey3.xml  +[formationmeso@mesologin1 kmazouzi]$ cp epidemicVol.xml  epidemicVol3.xml  
 </code> </code>
  
Ligne 180: Ligne 191:
   * rajouter, dans le script SGE, l'option suivante ''#$ -t 1-3'' : lancer un tableau de 3 tâches par exemple    * rajouter, dans le script SGE, l'option suivante ''#$ -t 1-3'' : lancer un tableau de 3 tâches par exemple 
   * utiliser la variable d'environnement ''$SGE_TASK_ID'' pour identifier les tâches et le répertoire de sortie   * utiliser la variable d'environnement ''$SGE_TASK_ID'' pour identifier les tâches et le répertoire de sortie
-  * modifier le script SGE pour lancer GAMA comme suite : <code>gama-headless.sh predatorPrey${SGE_TASK_ID}.xml ${JOB_NAME}_${JOB_ID}_task${SGE_TASK_ID}</code>+  * modifier le script SGE pour lancer GAMA comme suite : <code bash>gama-headless.sh epidemicVol${SGE_TASK_ID}.xml ${JOB_NAME}_${JOB_ID}_task${SGE_TASK_ID}</code>
   * enfin, lancer le script <code bash>qsub gama2.sge</code>   * enfin, lancer le script <code bash>qsub gama2.sge</code>
  
  • smashpc.1454452346.txt.gz
  • Dernière modification : 2016/02/02 22:32
  • de admin