Méthodes de coordination d’algorithmes d’apprentissage
Coopération d’algorithmes d’apprentissage par renforcement multiples

2.1 Fusion statique

Si l’on ne cherche pas à optimiser l’utilisation des ressources de calcul, mais uniquement à améliorer le comportement d’un agent, on peut systématiquement calculer les sorties de l’ensemble des systèmes d’apprentissage, et ensuite les fusionner avant de prendre une décision. L’idée est alors que les actions qui font consensus sont probablement les meilleures.

La première méthode de coordination d’algorithmes d’apprentissage a été proposée pour expliquer l’apprentissage de rats dans des tâches de navigation, avant et après lésion d’une partie du cerveau appelée l’hippocampe et connue pour être impliquée dans la localisation spatiale. Cette méthode combinait deux algorithmes d’apprentissage par renforcement sans modèle interne, utilisant des données d’entrée différentes : d’un côté, la configuration locale du labyrinthe (couloirs, intersections, culs de sac, etc.), de l’autre, une estimation de la localisation spatiale dans le référentiel du labyrinthe. L’hippocampe étant supposé être la région du cerveau en charge de l’évaluation de la localisation, sa lésion correspondrait à la désactivation de l’algorithme correspondant dans cette méthode. La combinaison des deux algorithmes était simplement réalisée en sommant les valeurs Q(o,a) associées à chaque direction possible de déplacement, avant d’effectuer la sélection de l’action. C’est une méthode...