Dernière mise à jour 13 juillet 2007

mise à jour des compilateurs et du debogueur INTEL (v10)

pour les utiliser ajouter dans le fichier « .bash_profile » (racine du compte) :

.   /opt/intel/cc/10.0.023/bin/iccvars.sh

.   /opt/intel/fc/10.0.023/bin/ifortvars.sh

.   /opt/intel/idb/10.0.023/bin/idbvars.sh

les versions antérieures (8.1) sont toujours installées

Mise à jour 12 juillet 2007

mise à jour de la librairie MKL v9.1
(BLAS, LAPACK, FFT, Solveur Sparse, ...)

chemins : /opt/intel/mkl/9.1   -   /opt/intel/mkl/9.1/lib/32

la version 7.2 est toujours installée

Mise à jour 18 avril 2007

Pour réaliser l'affichage déporté de Linux vers Windows par SSH
(sans installer Cygwin)

- utiliser Xming et SSH ou Xming et Putty

- petit guide d'installation

Pour SSH, éditer le « profiles », puis sélectionner l'onglet « tunneling »
et cocher la case « tunnel X11 connections »

Mise à jour 12 septembre 2005

- Comprendre et apprivoiser le batch (cliquer sur le lien)

Mise à jour 10 septembre 2005

- Compilation avec le compilateur C/C++ INTEL :
nom du compilateur C :   icc
nom du compilateur C++ :   icpc  (nouveauté)

- Compilation d'un programme mixte C++/Fortran :
ajouter à l'édition de liens :   -L/opt/intel_fc_81/lib/   -lifcore

Mise à jour du 8 juin 2005

- mise à jour : compilateurs Intel v8.1 (Fortran, C++), librairie MKL v7.2 et débogueur Intel
- recommandation : utilisation d'une variable d'environnement $MKLPATH pour la librairie MKL

Vue d'ensemble du matériel et des logiciels

Le cluster (gmfe3.cemif.univ-evry.fr) est actuellement constitué par :un frontal (master0) et trois nœuds de calcul (node0, node1 et node2). Chaque nœud est équipé de deux processeurs Intel Xeon à 3 Ghz et dispose de 2 Go de mémoire. Un serveur de fichiers (gmfe4.cemif.univ-evry.fr) offre 560 Go d'espace disque. Les machines sont connectées par un réseau Gigabit Ethernet.

• La distribution Red Hat Linux 9.0 est installée sur l'ensemble des machines.

• Le système de batch utilise OpenPBS.

• Compilateurs disponibles :

  • Gnu C version 3.2.3    /usr/bin/gcc

  • Gnu Fortran 77 version 3.2.3    /usr/bin/g77

  • Gnu C++ version 3.2.3    /usr/bin/g++

  • Gnu Fortran77 version 3.2.3    /usr/bin/g77

  • Intel Fortran95 version 8.1    /opt/intel_fc_81/bin/ifort

  • Intel C version 8.1    /opt/intel_cc_81/bin/icc

  • Intel C++ version 8.1    /opt/intel_cc_81/bin/icpc
    
    Il est recommandé d'utiliser les compilateurs INTEL

• Débogueurs disponibles :

  • idb (Intel)    /opt/intel_idb_81/

  • gdb (gnu)

• Autres logiciels et librairies :

  • MPICH-1.2.5 /usr/local/mpich-1.2.5

  • OpenMP (intégré aux compilateurs INTEL) parallélisation par directives

  • LamMPI-7.0 /usr/local/lam-mpi

  • OpenPBS-2.3.16 /usr/local/OpenPBS_2_3_16

  • ATLAS-3.4.1 /usr/local/ATLAS

  • LAPACK-3.0 /usr/local/LAPACK

  • MPIBLACS-1.1 /usr/local/BLACS

  • PVMBLACS-1.1 /usr/local/BLACS

  • PVM-3.4.4 /usr/local/pvm3

  • SCALAPACK-1.7 /usr/local/SCALAPACK

  • Math Kernel Library MKL72 (BLAS, LAPACK, FFT, ...) /opt/intel/mkl721

    • Pour l'édition de liens : Intel^® Math Kernel Library pour Linux User Notes

    • Documentation au format html et des exemples dans /opt/intel/mkl721/examples

    • Utilisation de la librairie :
      Définition d'une variable d'environnement dans le fichier .bash_profile (racine du compte) :
      
      export MKLPATH=/opt/intel/mkl70/lib/32
      
      Intérêt : lors de mises à jour ultérieures un seul fichier à modifier.

• MPI (Message Passing Interface):

  • MPI: The Complete Reference

  • MPICH

  • LAM/MPI

Comment utiliser le cluster et le serveur de fichiers

• L'espace disque est réparti comme suit :

Gmfe3	Gmfe4
/home (120 Go)	/home (25 Go)
/data1 (20 Go)

/data (560 Go, montage NFS)

• Espace de travail : /home sur gmfe3

• Espace de sauvegarde : /data sur gmfe4
  L'espace /home sur gmfe4 est très limité, il ne sert qu'au stockage des paramètres
  des comptes utilisateurs, il faut impérativement utiliser /data .

• Les connexions et transferts de fichiers se font par des connexions sécurisées
  (ssh et sftp par exemple). Des clients ssh et sftp pour Windows sont disponibles ici.

• Pour changer de mot de passe se connecter sur le frontal (gmfe3) et utiliser
  la commande passwd.
  ATTENTION : Une procédure automatique propagera le nouveau mot de passe à l'ensemble
  des machines. Le changement prendra effet le lendemain.

• Compiler vos programmes sur l'espace /home du frontal gmfe3

• Compilation - optimisation - déboguer

• ATTENTION : Le cluster ne s'utilise qu'en mode batch.

• Ne jamais se connecter sur les nœuds.

• La gestion des travaux est traitée par Portable Batch System (PBS).

• Manuels des principales commandes PBS :
  qsub | qstat | qdel

• La soumission des travaux en batch sur les nœuds de calcul se fait par l'intermédiaire d'un script-shell :

• Travaux séquentiels

• Travaux parallèles avec OpenMP

• Travaux parallèles avec MPI

• La commande qsub permet de soumettre un job depuis le frontal gmfe3.
  Soumission du script-shell (nommé run_test_home_sh) :
  qsub run_test_home.sh ou qsub run_test_scratch.sh
  
  [cros@gmfe3 Essai]$ qsub run_test_home.sh
  193.gmfe3.cemif.univ-evry.fr

• L'état des travaux peut être contrôlé en utilisant la commande qstat.
  
  [cros@gmfe3 Essai]$ qstat

  Job id	Name	User	Time Use	S	Queue
  192.gmfe3	SubRP	cros	0	R	One
  193.gmfe3	JobName	cros	0	Q	One

  Il y a deux jobs dans la queue (id 192 et 193), avec :

• Si l'on souhaite supprimer le job de la queue : qdel job_id
  
  [cros@gmfe3 Essai]$ qdel 193
  [cros@gmfe3 Essai]$ qstat

Job id	Name	User	Time Use	S	Queue
192.gmfe3	SubRP	cros	0	R	One

• IMPORTANT: le système NFS peut entrer en conflit avec le système de batch du système PBS.
  A l'intérieur d'un script-shell, ne pas utiliser la commande cp pour transférer les fichiers entre le frontal
  et les nœuds ou entre les nœuds et l'espace /data dans vos scripts, préférer la commande rcp.

• Gestion du batch : éviter que deux jobs tournent sur le même noeud
  alors que le reste de la machine est libre.
  Inconvénients de tourner sur le même noeud :accès au même disque, même carte réseau ...
  
  
  

• Comprendre et apprivoiser le batch

D'autres informations sur PBS

• Des détails complémentaires sur PBS pour vous aidez à écrire vos shell-script sont
  disponibles dans le PBS User's Guide.

• PBS External Reference Specification.

• PBS Administrator Guide.

• PBSPro Administrator Guide.

• PBS Internal Design Specification.

Compilateurs GNU

• GCC website

• GNU C compiler (gcc) man pages

• GNU C++ compiler (g++) man pages

• GNU Fortran77 compiler (g77) man pages

• GCC online documentation

• GDB Debugger website.

• GNU debugger (gdb) man pages

• GNU debugger (gdb) online documentation.

• Data Display Debugger GUI (ddd).

• GNU assembler (as) man pages

• GNU assembler online documentation

Compilateurs Intel

• Fortran manual pages

• C++ manual pages

• Intel Fortran95 Compiler User's Guide (Vol I).

• Intel Fortran95 Compiler User's Guide (Vol II).

• Intel Fortran Programmer's Reference Manual.

• Intel Fortran Libraries Reference Manual.

• Intel Fortran Quick Reference.

• Fortran Release Notes.

• Intel C++ Compiler User's Guide.

• C++ Release Notes.

• Debugger Manual.

• Debugger Release Notes.

Page maintenue par Jean-Michel CROS (enseignant-chercheur).