S'inscrire aux newsletters

Article précédent

RISC-V : un jeu d’instructions Open Source

Article de référence | Réf : H1098 v1

Supports matériels pour les réseaux de neurones profonds

Auteur(s) : Daniel ETIEMBLE

Date de publication : 10 août 2021

Article suivant

Jeux d’instructions : extensions SIMD et extensions vectorielles

Cet article fait partie de l’offre

Technologies logicielles Architectures des systèmes (223 articles en ce moment)

Cette offre vous donne accès à :

Une base complète et actualisée d'articles validés par des comités scientifiques

Un service Questions aux experts et des outils pratiques

Des Quiz interactifs pour valider la compréhension et ancrer les connaissances

ABONNEZ-VOUS

Quitter la lecture facile

RÉSUMÉ

Les applications de l’intelligence artificielle, utilisant notamment les réseaux de neurones profonds, ont conduit au développement de supports matériels pour accélérer leur exécution. Après un bref rappel des principes de ces réseaux, notamment les réseaux de neurones convolutionnels, les différents opérateurs nécessitant une accélération sont présentés. Les spécificités permettant l’utilisation d’une précision numérique réduite sont présentées, avec les formats de données correspondant. Les différentes techniques d’accélération sont présentées : ajout d’instructions, développement de composants matériels (opérateurs spécialisés à intégrer dans des systèmes sur puce, processeurs neuronaux) avec des exemples de circuits disponibles chez ARM, Intel, Google, NVidia, Xilinx.

Lire l’article

ABSTRACT

Hardware supports for Deep Neural Networks

Deep neural networks, widely used in artificial intelligence applications, have led to the development of hardware supports to accelerate their execution. After a brief review of the fundamentals of these networks, and particularly convolutional neural networks, the different operators which require acceleration are presented. The specificities allowing the use of reduced numerical precision are presented, with the corresponding data formats. The different acceleration techniques are presented: addition of instructions, development of hardware components (specialized operators to be integrated in systems-on-chip, neural processors) with examples of circuits available at ARM, Intel, Google, NVidia, Xilinx.

Auteur(s)

Daniel ETIEMBLE : Professeur émérite LRI, Université Paris Saclay

INTRODUCTION

Avec l’importance croissante des applications de l’intelligence artificielle, les réseaux de neurones profonds sont de plus en plus utilisés. Ils ont vu le développement de supports matériels et logiciels significatifs. Les grands opérateurs (Google, Microsoft, etc.) et les fournisseurs de circuits (ARM, Intel, NVidia, Xilinx) ainsi que de très nombreuses petites sociétés ou startups proposent des solutions matérielles pour accélérer l’exécution des applications utilisant des réseaux de neurones profonds. L’objectif de l’article est d’expliciter les caractéristiques de ces solutions matérielles en relation avec les grandes caractéristiques des réseaux de neurones.

Sans prétendre à une présentation théorique ou exhaustive, les principes de base des réseaux de neurones (RN) sont rappelés : structure d’un RN, structure d’un neurone, fonction d’activation ainsi que les deux phases d’utilisation d’un RN (Apprentissage et Inférence). Les réseaux de neurones sont utilisés à plusieurs niveaux : centre de données, serveurs au bord du réseau (edge devices), smartphones et composants de l’Internet des Objets (IoT) avec des contraintes de performance et de consommation énergétique différentes, conduisant à différents supports matériels.

Alors que les flottants 32 bits sont le format numérique de base pour les réseaux de neurones, les contraintes de performance et de consommation ont conduit à l’utilisation de formats entiers 8 bits et 16 bits et de formats flottants réduits (F16, BF16, TF32) qui sont présentés. Les opérateurs spécifiques des réseaux de neurones convolutionnels sont présentés : convolution, pooling, couches complètement connectées (denses).

Des exemples de supports matériels sont présentés : les instructions IA du jeu d’instructions Intel pour le calcul en entier, les cœurs tenseurs de NVidia, les processeurs neuronaux d’ARM (Ethos), d’Intel (Nirvana NPP-T), de Google (TPU) et le système sur puce Xilinx VC 1902.

Lire l’article

MOTS-CLÉS

réseaux de neurones profonds | opérateurs matriciels | précision numérique | processeurs neuronaux | accélérateurs pour systèmes sur puce

KEYWORDS

deep neural networks | hardware operators | numerical precision | neuronal processors | acceleration devices for systems-on-chip

Lire l'article

BIBLIOGRAPHIE

(1) - NIELSEN (M.) - Neural Network and Deep Learning, - http://neuralnetworksanddeeplearning.com/
(2) - TensorFlow - - https://www.tensorflow.org/
(3) - Caffe - - https://www.tensorflow.org/
(4) - PyTorch - - https://pytorch.org/
(5) - COURBARIAUX (M.), HUBARA (I.), SOUDRY (D.), EL-YANIV (R.), BENGIO (Y.) - Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or −1, - https://arxiv.org/abs/1602.02830
(6) - CHOI (J.), VENKATARAMANI (S.), SRINIVASAN (V.), GOPALAKRISHNAN (K.), WANG (Z.), CHUANG (P.) - Accurate And Efficient 2-Bit Quantized Neural Networks, - Proceedings of the 2nd SysML Conference, Palo Alto, CA, USA (2019), https://mlsys.org/Conferences/2019/doc/2019/168.pdf
...

DANS NOS BASES DOCUMENTAIRES

Lire l’article

DÉTAIL DE L'ABONNEMENT :

TOUS LES ARTICLES DE VOTRE RESSOURCE DOCUMENTAIRE

Accès aux :

Articles et leurs mises à jour

Nouveautés

Archives

Articles interactifs

Formats :

HTML illimité

Versions PDF

Site responsive (mobile)

Info parution :

Toutes les nouveautés de vos ressources documentaires par email

DES ARTICLES INTERACTIFS

Articles enrichis de quiz :

Expérience de lecture améliorée

Quiz attractifs, stimulants et variés

Compréhension et ancrage mémoriel assurés

DES SERVICES ET OUTILS PRATIQUES

Questions aux experts

Les meilleurs experts techniques
et scientifiques vous répondent

Articles Découverte

La possibilité de consulter des
articles en dehors de votre offre

Dictionnaire technique multilingue

45 000 termes en français, anglais,
espagnol et allemand

Votre site est 100% responsive,
compatible PC, mobiles et tablettes.

FORMULES

	Formule monoposte	Autres formules
Ressources documentaires
Consultation HTML des articles	Illimitée	Illimitée
Quiz d'entraînement	Illimités	Illimités
Téléchargement des versions PDF	5 / jour	Selon devis
Accès aux archives	Oui	Oui
Info parution	Oui	Oui

Services inclus
Questions aux experts (1)	4 / an	Jusqu'à 12 par an
Articles Découverte	5 / an	Jusqu'à 7 par an
Dictionnaire technique multilingue	Oui	Oui
(1) Non disponible pour les lycées, les établissements d’enseignement supérieur et autres organismes de formation.
	Formule 12 mois monoposte 2 060 € HT	Autres formules (Multiposte, pluriannuelle) DEMANDER UN DEVIS