Ceci est une ancienne révision du document !
Organisation des files d'attente
Cluster Mesocomte
Nœud de soumission : mesocluster.univ-fcomte.fr
| Nom | Limite de temps | Nombre de slots | Limite slots | Limite mémoire | Type d'application |
|---|---|---|---|---|---|
| normal15d | 15j | 600 | 128 | - | application à mémoire distribuée : MPI |
| bigmem2m | - | 6 | - | - | réservée aux besoins exceptionnels en mémoire (un noeud 96Go) |
| magma | 7j | 2 | - | - | destinée à l'utilisation du logiciel MAGMA (CPU) |
| normal2h | 2h | 8 | - | - | Tests |
Cluster Lumière
Nœud de soumission : mesologin1.univ-fcomte.fr
| Nom | Limite de temps | Nombre de slots | Limite slots/user | Limite mémoire/coeur | Type d'application |
|---|---|---|---|---|---|
| all.q | 8j | 544 | - | - | Mémoire partagée : OpenMP, tableaux de tâches, séquentielles |
| mpi.q | 7j | 96 | - | - | Mémoire distribuée : MPI spécifique |
| short.q | 24h | 96 | - | - | Toutes les applications |
| tesla.q | 3j | 20 slots, 6 GPU | - | - | calculs GPGPU |
| xphi.q | 3j | 12 slots, 1 carte | - | - | calculs parallèle spécifique |
Configuration SGE
Un système de quotas et de partage équitable (fairshare) est utilisé pour s'assurer que les ressources (CPU, MEM) soient accessibles à tous les utilisateurs dans les meilleurs délais.
Les quotas
- Il existe des quotas (slots) par utilisateur qui garantissent qu'un utilisateur n'utilise plus de 20% du cluster.
- Aucun quota par laboratoire n'est en place pour le moment
- important ces quotas sont régulièrement ajustés en fonction de la charge du cluster
- On peut afficher les quotas SGE des utilisateurs connectés avec la commande
qquotatAll
Le partage équitable ("fairshare")
Le fairshare est un mécanisme surveillant l'usage des ressources dans le temps, de manière à permettre aux utilisateurs occasionnels de passer plus facilement par rapport à de gros consommateurs en ressource. Pour ce faire, les priorités de chaque job en attente sur le cluster sont ajustées à la volée, ce qui peut se traduire par deux priorités différentes pour des jobs par ailleurs identiques.
Utilisation mémoire
La mémoire et les slots sont des ressources consommables, allouées à un job une fois lancé : Pour une meilleure utilisation des machines, nous invitons donc les utilisateurs à bien estimer la mémoire.
Un ensemble d'outils ont été mis en place pour vous aider à connaître la mémoire réellement utilisée par vos calculs.
Durant l'exécution, vous pouvez visualiser la mémoire réellement consommée par vos applications :
- en ligne de commandes :
qmemview -j <jobid>
- sur le portail : https://mesoportail.univ-fcomte.fr
A la fin de l'exécution:
qacct -j <jobid>