Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision
Révision précédente
perf:xgboost [2019/07/04 15:59] – [GPU support] adminperf:xgboost [2019/07/05 14:58] (Version actuelle) – [GPU support] admin
Ligne 12: Ligne 12:
 $ ipython nbconvert --to python 3.XGBoost $ ipython nbconvert --to python 3.XGBoost
 </code> </code>
 +
 +
 +===== Results =====
 +
 +==== Multithreaded support ====
  
 <note tip>Xgboost is multithreaed. We control the number of threads by ''OMP_NUm_THREADS'' env variable <note tip>Xgboost is multithreaed. We control the number of threads by ''OMP_NUm_THREADS'' env variable
Ligne 18: Ligne 23:
 For example to for 8 cores: For example to for 8 cores:
 <code bash> <code bash>
 +$ module load lang/python/anaconda/3.7
 $ OMP_NUM_TREADS=8 time ipython 3.XGBoost.py $ OMP_NUM_TREADS=8 time ipython 3.XGBoost.py
 </code> </code>
  
-===== Results =====+ 
 + 
 ^# Threads ^Time(m)^ ^# Threads ^Time(m)^
 |1|11m32s| |1|11m32s|
Ligne 29: Ligne 37:
 |32|1m5s| |32|1m5s|
 |40|1m5s| |40|1m5s|
-|48|1m5s| +|**48**|**1m5s**| 
-|64|1m54s +|64|1m54s| 
-|72| +|72|2m13s| 
-|96|+|92|3m21s|
  
-====== GPU support ====== +<note important>**Conclusion** : Uper limit scalability is about **24 cores**</note> 
-FIXME TODO+==== GPU support ==== 
 +We will use Volta GPU node. 
 +<note tip> 
 +The package ''py-xgboost-gpu'' is installed in this node with ''conda'' 
 +</note> 
 + 
 +<code bash> 
 +$ qlogin -qvolta.q -l h_vmem=20G 
 + 
 +</code> 
 + 
 +<note important>We need to modify our program to use GPU. 
 +I just added this param ''tree_method= 'gpu_hist''' in  ''xgb_reg'' object.</note> 
 + 
 +<code bash> 
 +150 xgb_reg = xgboost.XGBRegressor(learning_rate = 0.01, 
 +151                                        max_depth = 10, 
 +152                                        random_state=42, 
 +153                                        n_estimators = 173, 
 +154                                        tree_method= 'gpu_hist', 
 +155                                        n_jobs=-1, 
 +156                                        objective = 'count:poisson') 
 + </code> 
 + 
 +We load anaconda  
 +<code bash> 
 +$ export PATH=/opt/anaconda3/bin:$PATH 
 +</code> 
 +Finaly we run our program: 
 +<code> 
 +$ time ipython 3.XGBoostGPU.py 
 +</code>  
 +<color #ed1c24> 
 +**User time is about 38seconds**</color> 
  
 +<note tip>Using Multi GPU without sucess (Still reading docs :-) )</note> 
  • perf/xgboost.1562255996.txt.gz
  • Dernière modification : 2019/07/04 15:59
  • de admin