Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision
Révision précédente
faq [2016/04/12 07:59] – [Général] adminfaq [2026/10/27 10:02] (Version actuelle) – [Optimisation] admin
Ligne 5: Ligne 5:
  
 =?==== Général ====== =?==== Général ======
 +
 +??? Que faire avec l'erreur ''no matching host key type found'' lors d'une tentative de connexion ?
 +!!! Modifier le fichier ''~/.ssh/config'' sur votre machine pour ajouter ces lignes :
 +<code>
 +Host mesoshared.univ-fcomte.fr mesologin1.univ-fcomte.fr mesologin2.univ-fcomte.fr
 +        PubkeyAcceptedAlgorithms +ssh-rsa
 +        HostkeyAlgorithms +ssh-rsa
 +</code>
 +
  
 ??? Comment modifier mon mot de passe ? ??? Comment modifier mon mot de passe ?
Ligne 10: Ligne 19:
  
  
-??? Comment faire pour connaitre l'espace disque occupé ?+??? Comment faire pour connaître l'espace disque occupé ?
 !!! !!!
   * Cette information est disponible sur le portail mésocentre : http://mesoportail.univ-fcomte.fr   * Cette information est disponible sur le portail mésocentre : http://mesoportail.univ-fcomte.fr
-  * En utilisant la commande ''meso-quota''  +  * Sur le noeud de login en utilisant la commande ''meso-quota''  
    
 =?==== Utilisation ====== =?==== Utilisation ======
  
  
-??? Sur quel cluster dois-je exécuter mes programmes ? +??? Sur quel file d'attente dois-je exécuter mes programmes ? 
 !!! !!!
-  * Pour les applications séquentielle, tableaux de tâches et applications parallèle à mémoire partagée (OpenMP) il faut utiliser le **cluster mesoseq.univ-fcomte.fr** +  * Pour les applications séquentielle, tableaux de tâches et applications parallèle à mémoire partagée (OpenMP) il faut utiliser la file : **all.q** 
-  * Pour les applications parallèles **MPI**, il faut utiliser le cluster **mesocomte.univ-fcomte.fr**+  * Pour les applications parallèles **MPI**, il faut utiliser la file **parallel.q**
   * Pour les applications graphiques, interactives il faut utiliser la machine : **mesoshared.univ-fcomte.fr**   * Pour les applications graphiques, interactives il faut utiliser la machine : **mesoshared.univ-fcomte.fr**
  
Ligne 34: Ligne 43:
 ??? Pourquoi mon job est-il en ''Eqw'' ? ??? Pourquoi mon job est-il en ''Eqw'' ?
  
-!!!  Suite à une erreur dans votre script. Vérifier notamment que ''#!/bin/bash -l'' est en première ligne du shell, penser à passer+!!!  Suite à une erreur dans votre script. Vérifier notamment que ''#!/bin/bash'' est en première ligne du shell, penser à passer
 ''dos2unix'' sur les fichiers windows. ''dos2unix'' sur les fichiers windows.
  
 Pour afficher le message d'erreur SGE : Pour afficher le message d'erreur SGE :
-<code shell>+<code bash>
 qstat -j numerodujob        qstat -j numerodujob       
 </code> </code>
Ligne 53: Ligne 62:
  
 Par exemple : Par exemple :
-<code>#$ -l h_vmem=2G</code> +<code bash>#$ -l h_vmem=2G</code> 
  
 Le job sera exécuté sera autorisé à allouer 2G de mémoire libre. Il sera tué par SGE si il dépasse cette valeur. Le job sera exécuté sera autorisé à allouer 2G de mémoire libre. Il sera tué par SGE si il dépasse cette valeur.
Ligne 61: Ligne 70:
 ??? Comment indiquer le temps d'exécution d'un job ? ??? Comment indiquer le temps d'exécution d'un job ?
 !!! En utilisant l’option ''-l h_rt'' !!! En utilisant l’option ''-l h_rt''
-  * en ligne de commande : <code>qsub -l h_rt=02:30:00 job.sge</code>+  * en ligne de commande : <code bash>qsub -l h_rt=02:30:00 job.sge</code>
   * dans le script : <code>#$ -l h_rt=02:30:00</code>   * dans le script : <code>#$ -l h_rt=02:30:00</code>
  
Ligne 70: Ligne 79:
 ??? Que se passe-t-il si le temps indiqué est trop court ou trop long ? ??? Que se passe-t-il si le temps indiqué est trop court ou trop long ?
  
-!!! Si le temps indiqué est trop court, votre job sera interrompu. S’il est trop long, vous serez pénalisé par GE qui utilise cette information pour déterminer la priorité des jobs+!!! Si le temps indiqué est trop court, votre job sera interrompu. S’il est trop long, vous serez pénalisé par SGE qui utilise cette information pour déterminer la priorité des jobs
  
-??? Comment utiliser les variables d'environnement dans mon job ? 
  
-!!! Utiliser l'option ''#$ -v variable'' pour exporter la variable dans l'environnement du job. Utiliser l'option ''#$  -V'' pour exporter toutes les variables.   
- 
-<code bash> 
-#$ -v  TOTO=valeur 
-</code> 
- 
-<code bash> 
-#$ -V  
-</code> 
  
 ??? Comment exécuter mes jobs (job1, job2 et job3) dans l'ordre ? ??? Comment exécuter mes jobs (job1, job2 et job3) dans l'ordre ?
Ligne 97: Ligne 96:
 Chaque job à un nom (job1, job2 et job3). Lorsque ''job1'' termine son exécution, job2 commence son exécution. Lorsque les deux jobs, job1 et job2, terminent leur exécution, job3 commence son exécution.   Chaque job à un nom (job1, job2 et job3). Lorsque ''job1'' termine son exécution, job2 commence son exécution. Lorsque les deux jobs, job1 et job2, terminent leur exécution, job3 commence son exécution.  
  
-??? Comment exécuter mon job sur certaines machines du cluster ? 
- 
-!!! En utilisant l'option ''-q'' ou ''-l'' 
- 
-<code bash> 
- 
-#$ -q "*@mesocomte28,*@mesocomte29" 
- 
-</code> 
- 
-Ou encore : 
- 
-<code bash> 
- 
-#$ -q "*@mesocomte28|mesocomte29" 
- 
-</code> 
- 
- 
-Avec l'option ''-l'' on peut spécifier la liste de machines ainsi : 
- 
-<code bash> 
- 
-#$ -l h="mesocomte28|mesocomte29" 
- 
-</code> 
  
 ??? Comment soumettre un job multithreadé ? ??? Comment soumettre un job multithreadé ?
Ligne 164: Ligne 137:
  
 **Lancer comsol** : **Lancer comsol** :
-<code>+<code bash>
 module load comsol # charge le module comsol module load comsol # charge le module comsol
 comsol batch -input mymodel.mph -output myresult.mph comsol batch -input mymodel.mph -output myresult.mph
Ligne 171: Ligne 144:
 **Lancer comsol avec matlab** : **Lancer comsol avec matlab** :
    
-<code>+<code bash>
 module load comsol # charge le module comsol/3.5a module load comsol # charge le module comsol/3.5a
 module load matlab # charge le module matlab module load matlab # charge le module matlab
Ligne 180: Ligne 153:
 !!! Comsol s'exécute uniquement sur des machines SMP (multi-coeurs). Il faut donc utiliser l'environnement parallèle ''openmp'' pour spécifier le nombre de coeurs et de lancer comsol avec l'otption ''-np'' !!! Comsol s'exécute uniquement sur des machines SMP (multi-coeurs). Il faut donc utiliser l'environnement parallèle ''openmp'' pour spécifier le nombre de coeurs et de lancer comsol avec l'otption ''-np''
 **Exemple : lancer comsol sur 8 coeurs** **Exemple : lancer comsol sur 8 coeurs**
-<code>+<code bash>
 #$ -pe openmp 8 #$ -pe openmp 8
 module load comsol # charge le module comsol module load comsol # charge le module comsol
Ligne 187: Ligne 160:
  
 =?==== Optimisation ====== =?==== Optimisation ======
 +??? Quelles sont les options de compilation conseillées ?
  
 +!!! Nous encourageons vivement l'utilisation du [[compilation:intel-cluster-studio| compilateur Intel]]. Les options dépendent de la nature des programmes. Dans tous les cas, Nous conseillons d'activer la vectorisation en utilisant l'option : ''-axCORE-AVX2''
  
-??? Que choisir entre 'impi_tight' et 'impi_robin' pour mon application MPI ? 
- 
-!!! Cela dépend de la granularité de l'application parallèle, ie. le rapport calcul/communication. 
-Si votre application communique souvent (faible grain) il vaut mieux utiliser ''impi_tight'', cela regroupe les instances de l'application sur la même machine. Par contre, si votre application demande beaucoup de mémoire donc forcément beaucoup de calcul (gros grain) il est recommandé d'utiliser ''impi_robin'' qui réparti l'application sur plusieurs nœuds de calcul.      
- 
- 
- 
-??? Pourquoi mon job utilisant MPI (ex : molpro) consomme beaucoup de mémoire et tend à "swapper"  ? 
- 
- 
-!!! Par défaut l'environnement parallèle ''impi_tight'' essaie de regrouper les slots demandés sur le même noeud. Ce qui explique une sur utilisation de la mémoire. Pour résoudre ce problème il faut utiliser l'environnement parallèle ''impi_robin'' qui distribué les programme sur plusieurs noeuds. 
- 
-??? Pourquoi mon job  utilisant l'environnement openmp (mémoire partagée) consomme beaucoup de mémoire et tend à "swapper"  ? 
- 
-!!! Votre application demande beaucoup de ressource mémoire. Il faut choisir des machines avec une quantité de mémoire suffisante : 
- 
-<code> 
- #$ -pe openmp 8 
- #$ -q normal15d@@mem24g  // on choisit les machines à 24g 
-</code> 
-Une autre solution consiste à spécifier la quantité de la mémoire libre : 
- 
-<code> 
- #$ -pe openmp 8 
- #$ -l mem_free=20g   
-</code> 
  
 ??? Comment choisir l'interface de communication (Ethernet, InfiniBand) en MPI ? ??? Comment choisir l'interface de communication (Ethernet, InfiniBand) en MPI ?
-!!! **Pour Open MPI** 
-  * Pour utiliser les sockets TCP (Ethernet), il faut rajouter l'option **--mca btl tcp** à //mpirun// 
-  * Pour utiliser  l'infiniband, il faut rajouter l'option **--mca btl openib** à //mpirun//  
- 
-**Exemples :** 
-<code> 
-mpirun --mca btl tcp,self .......  
-</code> 
- 
-<code> 
-mpirun --mca btl openib,self  .... 
-</code> 
  
 **Pour Intel MPI** **Pour Intel MPI**
Ligne 251: Ligne 188:
 mpirun -env I_MPI_DEVICE rdma  .... mpirun -env I_MPI_DEVICE rdma  ....
 </code> </code>
-__ + 
-**Sur le cluster lumière c'est différent :**__+ 
 +**Pour Open MPI c'est différent :**
  
 <note important>Open MPI will, by default, choose to use ''cm'' when the InfiniPath <note important>Open MPI will, by default, choose to use ''cm'' when the InfiniPath
Ligne 281: Ligne 219:
      - Portals       - Portals 
 </note> </note>
-<code>+<code bash>
  
-     shell$ mpirun --mca pml ob1 ...+$ mpirun --mca pml ob1 ...
      or      or
-     shell$ mpirun --mca pml cm ...+$ mpirun --mca pml cm ...
 </code> </code>
  
-So to force TCP to be used, you need to force the use of the ob1 PML +**So to force TCP to be used, you need to force the use of the ob1 PML 
-and then force the use of the TCP BTL. Perhaps something like this:+and then force the use of the TCP BTL. Perhaps something like this:**
  
-<code> +<code bash> 
-     mpirun --mca pml ob1 --mca btl tcp,sm,self ... +$ mpirun --mca pml ob1 --mca btl tcp,sm,self ... 
 </code> </code>
 +
 +  * Force InfiniBand: --mca pml ob1 --mca btl self,sm,openib
 +  * Force OPA: --mca pml cm  --mca mtl psm2
 +
  
  
  • faq.1460447998.txt.gz
  • Dernière modification : 2016/04/12 07:59
  • de admin