Remarques pour conclure
Codage des nombres dans les ordinateurs

Depuis des dizaines d’années, le codage des entiers 8, 16, 32 et 64 bits et des flottants 32 bits et 64 bits est implanté dans tous les processeurs d’usage général. Le format virgule fixe est utilisé surtout dans les processeurs de traitement du signal.

Depuis une dizaine d’années, de nouveaux formats sont utilisés, résultant de deux considérations :

• les réseaux de neurones profonds, notamment pour l’inférence, peuvent bénéficier de formats réduits, permettant de diminuer la surface des opérateurs arithmétiques et la puissance dissipée, sans perte significative de précision. Certains de ces formats, comme les flottants 16 bits (FP16, BFP16) sont implantés dans des jeux d’instructions de processeurs généralistes. Le format TF32 est implanté dans les tenseurs des GPU récents de Nvidia ;

• ...