Bibliographie & annexes
Présentation
RÉSUMÉ
Les processeurs ne travaillant que sur des chiffres binaires, un codage est nécessaire pour représenter les différents types de nombres. Les formats entiers et flottants traités par les processeurs généralistes sont présentés avec les opérations arithmétiques de base et la manière dont elles sont implantées dans les jeux d’instructions des processeurs. Des formats plus spécifiques (virgule fixe, décimal, flottants réduits, nombres Posit) sont aussi présentés et discutés.
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l’articleABSTRACT
Since processors only operate with binary digits (bits), coding is necessary to represent the different types of numbers. Integer and Floating-point formats handled by general-purpose processors are presented along with the basic arithmetic operations and how they are implemented in the processors' instruction sets. More specific formats (fixed point, decimal, reduced floats, Posit numbers) are also presented and discussed.
Auteur(s)
-
Daniel ETIEMBLE : Ingénieur de l’INSA de Lyon - Professeur émérite à l’université Paris Saclay
INTRODUCTION
Comme les processeurs et plus généralement les systèmes électroniques digitaux opèrent uniquement sur des chiffres binaires appelées bits, le traitement des nombres nécessite un codage.
Les différentes représentations impliquent plusieurs aspects :
-
la présentation des formats ;
-
les opérations arithmétiques de base (addition, soustraction, multiplication, division) avec les problèmes éventuels de dépassement de capacité ;
-
les instructions des jeux d’instructions pour les différentes opérations, avec les variantes selon les jeux d’instructions.
Les formats entiers sur n bits représentent des nombres entiers non signés ou signés. Si les nombres positifs ont toujours la même représentation, différentes représentations des nombres négatifs ont été définies : signe et valeur absolue, complément à 1, complément à 2, cette dernière étant la seule utilisée depuis des dizaines d’années. Pour les opérations sur les entiers, le nombre de bits en sortie est différent du nombre de bits en entrée. Une addition n bits + n bits fournit un résultat sur n+1 bits et une multiplication n bits * n bits fournit un résultat sur 2n bits. Le traitement des retenues (addition) ou des n bits de poids fort (multiplication) pose des problèmes à la fois pour les instructions scalaires et pour les instructions SIMD des différents jeux d’instructions.
Les formats flottants simple précision (32 bits) et double précision (64 bits) ont été normalisés depuis le milieu des années 1980 (IEEE 754). Ils sont présentés ainsi que des formats réduits 16 bits et 8 bits plus récents, utilisés dans les réseaux de neurones profonds. Les formats flottants par bloc et les flottants décimaux sont aussi présentés. Le format Posit, proposé par J.L. Gustafson comme alternative à l’utilisation des formats flottants IEEE 754, est présenté et discuté.
Alors que les formats entiers et flottants existant depuis des dizaines d’années sont utilisés dans les processeurs généralistes, des modèles de calcul comme ceux des réseaux de neurones et les problèmes de consommation énergétique ont conduit à l’apparition de formats réduits qui peuvent être ajoutés à certains jeux d’instructions d’usage général ou implantés dans des processeurs spécialisés, des IP, des FPGA, etc.
L'expertise technique et scientifique de référence
MOTS-CLÉS
format entier format flottant format virgule fixe opérations arithmétiques BCD flottants 16 et 8 bits nombres Posit
KEYWORDS
integer format | floating point format | fixed point format | arithmetic operations | BCD | 16 and 8 bits floats | Posit numbers
DOI (Digital Object Identifier)
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(238 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Présentation
Introduction11. Remarques pour conclure
Depuis des dizaines d’années, le codage des entiers 8, 16, 32 et 64 bits et des flottants 32 bits et 64 bits est implanté dans tous les processeurs d’usage général. Le format virgule fixe est utilisé surtout dans les processeurs de traitement du signal.
Depuis une dizaine d’années, de nouveaux formats sont utilisés, résultant de deux considérations :
-
les réseaux de neurones profonds, notamment pour l’inférence, peuvent bénéficier de formats réduits, permettant de diminuer la surface des opérateurs arithmétiques et la puissance dissipée, sans perte significative de précision. Certains de ces formats, comme les flottants 16 bits (FP16, BFP16) sont implantés dans des jeux d’instructions de processeurs généralistes. Le format TF32 est implanté dans les tenseurs des GPU récents de Nvidia ;
-
de nombreuses applications utilisent des processeurs spécialisés comme les processeurs neuronaux (Google TPU, ARM), des FPGA, ou des systèmes sur puce intégrant avec un processeur généraliste des opérateurs spécialisés réalisés sous forme d’IP (Intellectual Property). FPGA, IP ou processeurs spécialisés peuvent utiliser des formats de données, entières ou flottantes, différentes des formats classiques mieux adaptés aux besoins des applications tout en réduisant surface de puce et consommation énergétique.
C’est le problème de la consommation énergétique qui a conduit et conduit à définir ces nouveaux formats de données
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(238 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Remarques pour conclure
BIBLIOGRAPHIE
-
(1) - HARRIS (D.), OBERMAN (S.), HOROWITZ (M.) - SRT Division: Architectures, Models, and Implementations (PDF) (Technical report). Stanford University, - 9 September 1998.
-
(2) - - IEEE Standard for Floating-Point Arithmetic, https://irem.univ-reunion.fr/IMG/pdf/ieee-754-2008.pdf
-
(3) - * - Intel® Advanced Vector Extensions 512 – FP16 Instruction Set for Intel® Xeon® Processor Based Products.
-
(4) - - BFloat16 processing for Neural Networks on Armv8-A, https://comunity.arm.com/arm-community-blogs/b/ai-and-ml-blog/posts/bfloat16-processing-for-neural-networks-on-armv8_2d00_a https://www.ti.com/lit/an/spra948/spra948.pdf
-
(5) - ROUHANI (R.) et al - Pushing the Limits of Narrow Precision Inferencing at Cloud Scale with Microsoft Floating Point, - 34th conference on Neural Information Processing Systems (NeuroIPS 2020à, Vancouver, Canada. https://www.microsoft.com/en-us/research/publication/pushing-the-limits-of-narrow-precision-inferencing-at-cloud-scale-with-microsoft-floating-point
-
...
DANS NOS BASES DOCUMENTAIRES
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(238 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
