Nouvelle publication : Investigating three types of continuous auditory feedback in visuo‑manual tracking

Investigating three types of continuous auditory feedback  in visuo‑manual tracking

Éric O. Boyer, Frédéric Bevilacqua, Patrick Susini et Sylvain Hanneton
Exp Brain Res – DOI 10.1007/s00221-016-4827-x
(electronic publication, paper soon)


The use of continuous auditory feedback for motor control and learning is still understudied and deserves more attention regarding fundamental mechanisms and applications. This paper presents the results of three experiments studying the contribution of task-error, and user-related sonification to visuo-manual tracking and assessing its benefits on sensorimotor learning. First results show that sonification can help decreasing the tracking error, as well as increasing the energy in participant’s movement. In the second experiment, when alternating feedback presence, the user-related sonification did not show feedback dependency effects, contrary to the error and task-related feedback. In the third experiment, a reduced exposure of 50% diminished the positive effect of sonification on performance, whereas the increase of the average energy with sound was still significant. In a retention test performed on the next day without auditory feedback, movement energy was still superior for the groups previously trained with the feedback. Although performance was not affected by sound, a learning effect was measurable in both sessions and the user-related group improved its performance also in the retention test. These results confirm that a continuous auditory feedback can be beneficial for movement training and also show an interesting effect of sonification on movement energy. User-related sonification can prevent feedback dependency and increase retention. Consequently, sonification of the user’s own motion appears as a promising solution to support movement learning with interactive feedback.

Keywords: Tracking · Auditory feedback · Sensorimotor learning · Sound · Interaction

Nouvelle publication : From ear to hand: the role of the auditory-motor loop in pointing to an auditory source

Boyer EO, Babayan BM, Bevilacqua F, Noisternig M, Warusfel O, Roby-Brami A, Hanneton S and Viaud-Delmon I (2013) From ear to hand: the role of the auditory-motor loop in pointing to an auditory source. Front. Comput. Neurosci. 7:26. doi: 10.3389/fncom.2013.00026


Lien vers l’article en accès libre :

Studies of the nature of the neural mechanisms involved in goal-directed movements tend to concentrate on the role of vision. We present here an attempt to address the mechanisms whereby an auditory input is transformed into a motor command. The spatial and temporal organization of hand movements were studied in normal human subjects as they pointed toward unseen auditory targets located in a horizontal plane in front of them. Positions and movements of the hand were measured by a six infrared camera tracking system. In one condition, we assessed the role of auditory information about target position in correcting the trajectory of the hand. To accomplish this, the duration of the target presentation was varied. In another condition, subjects received continuous auditory feedback of their hand movement while pointing to the auditory targets. Online auditory control of the direction of pointing movements was assessed by evaluating how subjects reacted to shifts in heard hand position. Localization errors were exacerbated by short duration of target presentation but not modified by auditory feedback of hand position. Long duration of target presentation gave rise to a higher level of accuracy and was accompanied by early automatic head orienting movements consistently related to target direction. These results highlight the efficiency of auditory feedback processing in online motor control and suggest that the auditory system takes advantages of dynamic changes of the acoustic cues due to changes in head orientation in order to process online motor control. How to design an informative acoustic feedback needs to be carefully studied to demonstrate that auditory feedback of the hand could assist the monitoring of movements directed at objects in auditory space.

Nouvelle publication : Perceptual weight judgments when viewing one’s own and others’ movements under minimalist conditions of visual presentation

Publication d’une étude absolument passionnante sur la perception du mouvement des autres.

Malika Auvray, Thomas Hoellinger, Sylvain Hanneton, Agnes Roby-Brami

Auvray M, Hoellinger T, Hanneton S, Roby-Brami A, 2011, « Perceptual weight judgments when viewing one’s own and others’ movements under minimalist conditions of visual presentation » Perception 40(9) 1081 – 1103

Abstract. Across five experiments, we investigated the parameters involved in the observation and in the execution of the action of lifting an object. The observers were shown minimal information on movements, consisting of either the working-point displacement only (ie two points representing the hand and object) or additional configural information on the kinematics of the trunk, shoulder, arm, forearm, and hand, joined by a stick diagram. Furthermore, displays showed either a participant’s own movements or those of another person, when different weights were lifted. The participants’ task was to estimate the weight of the lifted objects. The results revealed that, although overall performance was not dependent on the visual conditions (working point versus stick diagram) or ownership conditions (self versus other), the kinematic cues used to perform the task differed as a function of these conditions. In addition, the kinematic parameters relevant for action observation did not match those relevant for action execution. This was confirmed in experiments by using artificially altered movement samples, where the variations in critical kinematic variables were manipulated separately or in combination. We discuss the implications of these results for the roles of motor simulation and visual analysis in action observation

Lien vers l’article :

Nouvelle publication : The Vibe, a versatile vision-to-audition sensory substitution device

Applied Bionics and Biomechanics, Volume 7, Issue 4 September 2010 , pages 269 – 276

Authors: Sylvain Hanneton; Malika Auvray; Bartheacutelemy Durette

Lien :


We describe a sensory substitution scheme that converts a video stream into an audio stream in real-time. It was initially developed as a research tool for studying human ability to learn new ways of perceiving the world: the Vibe can give us the ability to learn a kind of ‘vision’ by audition. It converts a video stream into a continuous stereophonic audio signal that conveys information coded from the video stream. The conversion from the video stream to the audio stream uses a kind of retina with receptive fields. Each receptive field controls a sound source and the user listens to a sound that is a mixture of all these sound sources. Compared to other existing vision-to-audition sensory substitution devices, the Vibe is highly versatile in particular because it uses a set of configurable units working in parallel. In order to demonstrate the validity and interest of this method of vision to audition conversion, we give the results of an experiment involving a pointing task to targets memorised through visual perception or through their auditory conversion by the Vibe. This article is also an opportunity to precisely draw the general specifications of this scheme in order to prepare its implementation on an autonomous/mobile hardware.
Keywords: perception; learning; sensory substitution; audition; pointing

Warm-up (effet)

Le terme warm-up désigne en anglais un phénomène d’échauffement. L’effet warm-up pour l’apprentissage concerne un phénomère observé lorsque l’acquisition d’un habileté s’effectue en plusieurs sessions : les performances sont à chaque fois faible au début de chaque session et il faut quelques essais pour que l’élève retrouve un rythme d’apprentissage normal. Tout se passe comme si le mécanisme d’apprentissage nécessitait un « échauffement », comme un moteur de voiture avant une course ou un athlète avant une compétition.

Leffet warm-up

L'effet warm-up : En pointillé la courbe d'apprentissage théorique et en vert l'évolution des performances lors de chaque session. La taille de l'effet warm-up est figurée par les flèches bleues.

Transfert (d’apprentissage)

On dit qu’il y a transfert d’apprentissage d’une habileté A vers une autre habileté B lorsque le fait d’avoir appris A a des connaissances favorables sur l’apprentissage de B.

Il y a deux types de transfert :

  • antérograde, lorsque A est apprise avant B
  • rétrograde, lorsque A est apprise après B

Le transfert rétrograde se manifeste par des performances accrues dans B (habileté déjà apprise) après avoir appris A.

Ci-dessous une figure illustrant un transfert d’apprentissage antérograde :

Le transfert dapprentissage antérograde

Le transfert d'apprentissage antérograde

La courbe de droite (a) représente la courbe d’apprentissage de la tâche n°1. Si l’on compare ensuite deux groupes apprenant la tâche n°2 dont un seulement a appris la tâche n°1 alors schématiquement, le groupe n’ayant pas appris la tâche n°1 avant démarrera son apprentissage avec des performances plus faibles (courbe c) que le groupe ayant auparavant appris la tâche n°1 (courbe b).


La notion d’after-effect est lié aux expériences d’adaptation à une perturbation en psychologie expérimentale. La perturbation peut être par exemple l’application d’une microgravité (vols en apesanteur) ou le port de lunettes ou de prismes. Lors de telles expériences, le protocole expérimental est découpé en trois phases :

  • La phase de pré-test : pas de perturbation. Le pré-test sert à mesurer les performances de base du participant.
  • la phase d’adaptation (test) : le participant à l’expérience doit s’adapter à la perturbation
  • la phase de post-test : la perturbation cesse il y a retour à la situation normale

Lors que l’on mesure les performances des participants pour établir une courbe d’apprentissage, on obtient une courbe ressemblant à celle ci-dessous :

Illustration schématique montrant une courbe dapprentissage avec after-effect lors dune expérience dadaptation.

Illustration schématique montrant une courbe d'apprentissage avec after-effect lors d'une expérience d'adaptation.

L’after-effect se produit lorsque les performances du participant ne retournent pas au niveau de base (mesuré durant le pré-test) immédiatement lorsque la perturbation cesse. Il se quantifie en calculant la différence entre le dernier essai de la phase d’adaptation et le premier essai du post-test.

Verticale subjective et dépendance au champ

La dépendance au champ visuel

Définition : Le champ visuel est la zone totale dans laquelle la perception visuelle est possible
lorsque la personne regarde devant elle.

D’une manière générale, on dit qu’une personne est dépendante du champ visuel lorsque sa perception (ou d’autres facultés cognitives…) est particulièrement influencée par sa vision globale éventuellement au détriment des autres sens.

La dépendance au champ visuel peut être établie ou mesurée par des tests psychologiques comme les EFT (embedded figures test) ou psychophysiologique comme le RFT test du cadre et de la baguette (rod and frame test, mesure de la verticale subjective).

La verticale subjective
La verticale subjective est l’estimation qu’une personne peut produire, à partir des informations
sensorielles disponibles, de la verticale donnée par la direction de la gravité terrestre.

Un test RFT en ligne (animation flash)

Le test est ici :

ou bien là : rft

La tâche demandée au sujet est d’aligner la barre verte de façon à ce qu’elle soit la plus verticale possible (parallèle à la verticale gravitaire) quelque soit l’environnement qui l’entoure (présence ou absence du cadre bleu, orientation du cadre bleu). Durant les 5 premiers essais l cadre est absent de la scène visuelle. Ensuite il change aléatoirement d’orientation selon les essais.

Une petite aide rapide pour ce test:

  • pour faire tourner la verticale : les flèches droites et gauches du clavier
  • pour passer à l’essai suivant : la barre d’espace
  • pour terminer les essais : en théorie il faut cliquer sur le bouton « fin » mais ça ne marche pas. Alors faire clic droit avec la souris puis « suivant » ou « en avant »


La notion d’attracteur a été introduite dans le domaine de l’étude des systèmes dynamiques en physique. L’attracteur est une structure mathématique qui permet la description de l’évolution dans le temps d’un système dynamique.

Un système dynamique déterministe peut adopter différents comportements lors de son évolution temporelle :

  • il peut ne pas se stabiliser vers un état particulier (divergence de la trajectoire)
  • il peut converger vers un attracteur simple : un point, un cycle. Ce sont des attracteurs simples.
  • il peut ne pas se stabiliser, mais « tourner » autour d’un objet « fantôme » appelé « attracteur étrange ».

Cet attracteur est un objet autour duquel le système va tendre a évoluer mais sans forcément le « toucher ». Seuls les systèmes dynamiques adoptant un comportement chaotique peuvent se diriger vers un attracteur étrange.

Voir la théorie du chaos sur Wikipédia

Perception directe

Définition ?

Théorie, Notion liée notamment à la Théorie Ecologique de la Perception (Ecological Psycholohy).

« The theory of direct perception does not require top down processing and is similar in animals and humans. All the information needed to form a perception is available in the environment so all that is required is the ability to interpret the cues. <> »

La théorie de la perception directe suppose que la perception ne nécessite pas de processus top-down et est similaire chez l’homme et l’animal. Tout l’information requise pour construire un percept est disponible dans l’environnement de telle façon que la seule capacité nécessaire pour bien percevoir est de savoir interpréter les indices environnementaux.

Les trois principes de la perception directe :

  • Toute l’information nécessaire à une perception précise est présente dans l’environnement (All the information necessary for accurate perception is contained in the environment).
  • La perception est immédiate et spontanée (Perception is immediate and spontaneous)
  • la perception et l’action ne peuvent être séparés. La perception guide l’action et l’action génère de nouvelles information perceptives (Perception and action cannot be separated, perception guides action and action generated more new perceptual information).