Exemple d’application auditive et visuelle
Processeur de perception bio-inspiré : une approche neuromorphique

Cet exemple montre que pour deux modalités très différentes, l’audition et la vision, il est possible d’avoir le même mode de traitement de l’information, les représentations sémantiques exprimeront le résultat perceptif.

Le son issu du tympan est transmis à la membrane basilaire à l’intérieur de la cochlée, des cils récepteurs perçoivent la vibration et traduisent l’information en signaux neuronaux. Des cils excitateurs assurent par un bouclage la normalisation des signaux. Les cils récepteurs transmettent une représentation en fréquence et intensité au cortex (schéma très simplifié) . D’un point de vue électronique, le micro est l’analogie du tympan, pour le reste il n’y a pas aujourd’hui d’équivalent. Il faut, à partir d’un DSP, réaliser la fonction de transfert qui donne le Sonagram bien connu des spécialistes du son. La figure 18 illustre dans la partie haute, la transformation électrique du micro, puis dessous le Sonagram obtenu. Cette image est introduite dans les modules perceptifs décrits précédemment et en donne, pour la caractéristique globale, des représentations sémantiques des trois premiers formants. La caractéristique dynamique représentant la prosodie et la structurale représentant les phonèmes ne sont pas utilisées dans cet exemple pour un souci de compréhension. Ces valeurs de formant sont associées avec les mots des voyelles une première fois pour apprentissage puis exploitées en fonction de reconnaissance.

La suite de cette figure illustre la reconnaissance de forme : un cercle est converti en un carré en plusieurs étapes ; le résultat sémantique indique le cercle pour la première ligne, puis un losange pour la seconde et un carré pour les lignes suivantes. Les représentations sémantiques issues de l’aspect structural sont envoyées à la mémoire associative qui en donne la valeur sémantique.