Terminaison des algorithmes itératifs parallèles asynchrones
Algorithmes parallèles asynchrones II - Implémentation
AF1386 v1 Article de référence

Terminaison des algorithmes itératifs parallèles asynchrones
Algorithmes parallèles asynchrones II - Implémentation

Auteur(s) : Pierre SPITERI, Jean-Claude MIELLOU

Date de publication : 10 oct. 2021 | Read in English

Logo Techniques de l'Ingenieur Cet article est réservé aux abonnés
Pour explorer cet article plus en profondeur Consulter l'extrait gratuit

Déjà abonné ?

Présentation

1 - Cadre mathématique d’étude

  • 1.1 - Analyse par des techniques de contraction
  • 1.2 - Analyse en utilisant le principe du maximum discret
  • 1.3 - Une approche globale : analyse par les ensembles emboités

2 - Terminaison des algorithmes itératifs parallèles asynchrones

  • 2.1 - Méthodes empiriques
  • 2.2 - Approche informatique
  • 2.3 - Approche numérique

3 - Implémentation des algorithmes itératifs parallèles asynchrones

4 - Conclusion

Sommaire

Présentation

RÉSUMÉ

L’implémentation des algorithmes itératifs parallèles asynchrones est l'objet du présent article. On abordera d’abord l’implémentation des tests d’arrêt des itérations à la fois à partir d’une approche informatique et d’une approche analyse numérique utilisant, dans ce dernier cas, soit la propriété de contraction, soit celle de convergence en ordre partiel et enfin également les ensembles emboités. Après avoir rappelé un certain nombre de notions concernant l’architecture des machines multiprocesseurs, on abordera le principe d’implémentation de ces méthodes itératives parallèles asynchrones en particulier pour les méthode de sous-domaines ; l’équilibrage de charge de ces algorithmes sera également discuté.

Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.

Lire l’article

Auteur(s)

  • Pierre SPITERI : Professeur émérite - Université de Toulouse, INP-ENSEEIHT – IRIT, Toulouse, France

  • Jean-Claude MIELLOU : Professeur honoraire - Université de Bourgogne Franche-Comté, Département de Mathématiques, Besançon, France

INTRODUCTION

Dans un premier article [AF 1 385] on a considéré la résolution de deux types de problème pseudo-linéaire. Le premier problème est un problème univoque du type

AU*+Φ(U*)=G ( 1 )

A est une matrice de dimension M , ensemble des entiers naturels, G et U sont des vecteurs de dimension M et

UΦ(U)estuneapplicationcontinuecroissante ( 2 )

Le second type de problème est multivoque car sa solution U est soumise à des contraintes inégalité du type

UminU*oubienUminU*UmaxoubienU*Umax ( 3 )

dans ce cas on est amené à résoudre le problème multivoque suivant

AU*+Ψ(U*)G0, ( 4 )

UΨ(U) est la fonction indicatrice de l’ensemble convexe K définissant les contraintes, ∂Ψ(U) est le sous-différentiel de cette fonction indicatrice et vérifie la propriété importante d’être diagonal monotone.

La matrice A étant de grande dimension, dans chaque cas, la détermination de la solution consiste à résoudre un système algébrique de grande taille. On associe alors à chacun de ces systèmes non linéaires une équation de point fixe définie formellement par

U*=F(U*) ( 5 )

cette dernière étant résolue par un algorithme parallèle asynchrone. Soit α un nombre entier naturel ; décomposons le vecteur VEM et l’application de point fixe VF(V) en α blocs de la façon suivante :

V=(V1,,Vα),F(V)=(F1(V,,Fα(V)), ( 6 )

où l’on note VIEI , le bloc-composante de V pour I{1,,α} , avec E=I=1αEI , où EI=mI , avec I=1αmI=M , est un sous-espace de E . Soient ||I les normes définies dans EI , l = 1, … , α.

Pour résoudre le problème de point fixe (5), on utilise les itérations parallèles asynchrones définies comme suit : soit U0E donné ; alors, pour tout r , U r+1 est défini récursivement par :

Ujr+1={FI(U1K1(r),,UkKk(r),,UαKα(r))siIs(r),UIrsiIs(r), ( 7 )

{r,s(r){1,,α}ets(r)0,I{1,,α},{r|Is(r)}estdénombrable, ( 8 )

et k{1,,α} ,

{r,Kk(r),0Kk(r)r,Kk(r)=rsiks(r)etlimrKk(r)=+ ( 9 )

Dans ce modèle mathématique de l’algorithme parallèle asynchrone, le parallélisme entre les processeurs est bien décrit par l’ensemble s(r) qui contient le numéro des composantes relaxées par chaque processeur de manière parallèle. De plus l’utilisation dans (7) de composantes retardées UkKk(r) provenant de relaxations disponibles au début du calcul, avec Kk(r) satisfaisant (9), permet de modéliser un comportement non déterministe et n’implique pas d’inefficacité du schéma de calcul distribué considéré. Sur le plan pratique, et pour que ces méthodes soient le plus efficace possible, on effectue des relaxations en prenant les valeurs d’interaction UkKk(r) les plus récentes disponibles calculées par les autres processeurs ; en fait ce choix s’effectue naturellement lorsque l’algorithme s’exécute sans que le programmeur n’ait à coder quoi que ce soit.

Pour analyser la convergence de ces méthodes itératives, on dispose de trois possibilités liées à des propriétés formellement distinctes

  • une propriété de contraction de l’application de point fixe F soit par rapport à une norme vectorielle soit par rapport à une norme uniforme avec poids ;

  • une propriété de convergence monotone qui est vérifiée uniquement pour le problème (1) puisque l’opérateur VA(V)=AV+Φ(V)G est une M-fonction continue surjective, c’est-à-dire hors diagonale décroissante et A(V) inverse monotone, i.e. A(V)A(U) entraîne V ≤ U, et de plus A(V) est supposée continue et surjective ;

  • les itérés successifs Ur appartiennent à des ensembles emboités Er centrés en U* .

Dans la mesure où dans la suite, on aura à utiliser l’un de ces résultats, on rappelle les critères présentés précédemment dans le premier article [AF 1 385] dans la section 1 suivante.

Logo Techniques de l'Ingenieur

Cet article est réservé aux abonnés.
Il vous reste 94 % à découvrir.

Pour explorer cet article Consulter l'extrait gratuit

Déjà abonné ?


DOI (Digital Object Identifier)

https://doi.org/10.51257/a-v1-af1386

Article inclus dans l'offre

"Mathématiques"

(170 articles)

Une base complète d’articles

Actualisée et enrichie d’articles validés par nos comités scientifiques.

Des contenus enrichis

Quiz, médias, tableaux, formules, vidéos, etc.

Des modules pratiques

Opérationnels et didactiques, pour garantir l'acquisition des compétences transverses.

Des avantages inclus

Un ensemble de services exclusifs en complément des ressources.

Voir l'offre

2. Terminaison des algorithmes itératifs parallèles asynchrones

Si la détection de convergence des itérations parallèles synchrones ne présente pas de difficultés majeures, par contre, en raison du comportement non déterministe des méthodes asynchrones, il existe dans ce cas une réelle difficulté d’implémenter des tests d’arrêt fiables des itérations. En effet le problème de terminaison des itérations parallèles asynchrones est un problème extrêmement difficile à coder car il relève à la fois des mathématiques appliquées et également de l’informatique. Sur le plan mathématique, la terminaison de telles méthodes doit se produire lorsque le vecteur itéré est suffisament proche de la solution du problème. Par ailleurs sur le plan informatique on doit actuellement tenir compte de la spécificité des architectures des machines multiprocesseurs, en particulier sur des systèmes distribués où les communications s’effectuent par passage de messages et dans ce contexte les processeurs possèdent uniquement des informations locales.

Comme nous le verrons dans le troisième article [AF 1 387] ce type d’étude est d’autant plus intéressant à traiter que les méthodes parallèles asynchrones sont très efficaces lorsqu’il y a beaucoup de synchronisations entre les processeurs, les attentes alors engendrées produisant des phases d’inactivité de ces derniers. En outre, l’utilisation de méthodes parallèles asynchrones présente un intérêt supplémentaire lorsque les communications entre les processeurs sont lentes, situation que l’on retrouve par exemple dans l’utilisation des grilles de calcul ou du cloud computing correspondant au cas où les clusters utilisés sont distants et hétérogènes.

Nota :

les grilles de calcul, le cloud computing ainsi que les clusters (ou grappes de calcul) seront présentés en détail au paragraphe ...

Logo Techniques de l'Ingenieur

Cet article est réservé aux abonnés.
Il vous reste 93 % à découvrir.

Pour explorer cet article Consulter l'extrait gratuit

Déjà abonné ?


Lecture en cours
Terminaison des algorithmes itératifs parallèles asynchrones

Article inclus dans l'offre

"Mathématiques"

(170 articles)

Une base complète d’articles

Actualisée et enrichie d’articles validés par nos comités scientifiques.

Des contenus enrichis

Quiz, médias, tableaux, formules, vidéos, etc.

Des modules pratiques

Opérationnels et didactiques, pour garantir l'acquisition des compétences transverses.

Des avantages inclus

Un ensemble de services exclusifs en complément des ressources.

Voir l'offre

Sommaire
Sommaire

BIBLIOGRAPHIE

  • (1) - ORTEGA (J.M.), RHEINBOLDT (W.C.) -   Iterative Solution of Nonlinear Equations in Several Variables.  -  Computer Science and Applied Mathematics. New-York: Academic Press (1970).

  • (2) - BERTSEKAS (D.) -   Distributed asynchronous computation of fixed points.  -  In: Math. Programming 27, p. 107-120 (1983).

  • (3) - SPITERI (P.), MIELLOU (J.-C.), EL BAZ (D.) -   Perturbation of parallel asynchronous linear iterations by floating point errors.  -  In: ETNA Electronic Transaction on Numerical Analysis 13, p. 38-55 (2002).

  • (4) - EL TARAZI (M.N.) -   Some Convergence Results for Asynchronous Algorithms.  -  In: Numerische Mathematik 39, p. 325-340 (1982).

  • (5) - MIELLOU (J.-C.), EL BAZ (D.), SPITERI (P.) -   A New Class of Asynchronous Iterative Algorithms with Order Intervals.  -  In: Mathematics of Computation 67, p. 237-255 (1998).

  • ...

1 Sites Internet

Grid’5000: https://www.grid5000.fr

Cloud Computing: https://www.wikipedia.org/wiki/cloud-computing

National Institute of Standards and Technology (NIST):

https://www.nist.gov

HAUT DE PAGE
Logo Techniques de l'Ingenieur

Cet article est réservé aux abonnés.
Il vous reste 94 % à découvrir.

Pour explorer cet article Consulter l'extrait gratuit

Déjà abonné ?


Article inclus dans l'offre

"Mathématiques"

(170 articles)

Une base complète d’articles

Actualisée et enrichie d’articles validés par nos comités scientifiques.

Des contenus enrichis

Quiz, médias, tableaux, formules, vidéos, etc.

Des modules pratiques

Opérationnels et didactiques, pour garantir l'acquisition des compétences transverses.

Des avantages inclus

Un ensemble de services exclusifs en complément des ressources.

Voir l'offre

Ressources documentaires

Algorithmes parallèles asynchrones I - Modélisation et analyse

Les algorithmes itératifs parallèles asynchrones et leurs extensions constituées par les méthodes de ...

Algorithmes parallèles asynchrones III - Application, performances

Nous nous consacrons principalement dans le présent article, d’une part, aux aspects applicatifs des ...

Comportement dynamique des systèmes à événements discrets dans l’algèbre des dioïdes

Cet article s’intéresse au comportement dynamique des systèmes à événements discrets, dans une structure ...