Academic journal article Canadian Journal of Experimental Psychology

Multisensory Recognition of Actively Explored Objects

Academic journal article Canadian Journal of Experimental Psychology

Multisensory Recognition of Actively Explored Objects

Article excerpt

Abstract

Shape recognition can be achieved through vision or touch, raising the issue of how this information is shared across modalities. Here we provide a short review of previous findings on cross-modal object recognition and we provide new empirical data on multisensory recognition of actively explored objects. It was previously shown that, similar to vision, haptic recognition of objects fixed in space is orientation specific and that cross-modal object recognition performance was relatively efficient when these views of the objects were matched across the sensory modalities (Newell, Ernst, Tjan, & Bülthoff, 2001). For actively explored (i.e., spatially unconstrained) objects, we now found a cost in cross-modal relative to within-modal recognition performance. At first, this may seem to be in contrast to findings by Newell et al. (2001). However, a detailed video analysis of the visual and haptic exploration behaviour during learning and recognition revealed that one view of the objects was predominantly explored relative to all others. Thus, active visual and haptic exploration is not balanced across object views. The cost in recognition performance across modalities for actively explored objects could be attributed to the fact that the predominantly learned object view was not appropriately matched between learning and recognition test in the cross-modal conditions. Thus, it seems that participants naturally adopt an exploration strategy during visual and haptic object learning that involves constraining the orientation of the objects. Although this strategy ensures good within-modal performance, it is not optimal for achieving the best recognition performance across modalities.

Résumé La reconnaissance des formes peut se faire aussi bien par la vision que par le toucher, ce qui soulève la question sur la manière de partager l'information entre les modalités. Dans notre article, nous présentons un bref aperçu des résultats antérieurs sur la reconnaissance transmodale des objets ainsi que de nouvelles données empiriques sur la reconnaissance multisensorielle d'objets explorés de manière active. Il a déjà été démontré que, comme dans le cas de la vision, la reconnaissance haptique d'objets fixes dans l'espace est propre à l'orientation et que la performance de la reconnaissance transmodale des objets est relativement efficace lorsque les vues des objets sont assorties parmi les modalités sensorielles (Newell, Ernst, Tjan & Bülthoff, 2001). Dans le cas des objets activement explorés, à savoir sans contraintes dans l'espace, nous avons découvert une baisse dans les performances de reconnaissance transmodale relativement aux performances de la reconnaissance modale interne. À première vue, il peut sembler que cela contredise les découvertes de Newell et al. (2001). Toutefois, une analyse vidéo détaillée du comportement exploratoire visuel et haptique durant l'apprentissage et la reconnaissance a révélé qu'une vue des objets était avant tout explorée relativement à toutes les autres. Par conséquent, l'exploration visuelle et haptique n'est pas équilibrée parmi les vues des objets. La baisse de performance parmi les modalités dans le cas des objets explorés de manière active pourrait être attribuable au fait que la vue de l'objet le plus étudié n'était pas assortie adéquatement entre les tests d'apprentissage et de reconnaissance dans les conditions transmodales. Il semble donc que les sujets adoptent naturellement une stratégie d'exploration durant l'apprentissage visuel et haptique qui implique de limiter l'orientation de l'objet à une seule perspective. Même si cette stratégie donne de bons résultats en condition intramodale, elle ne permet pas d'obtenir le meilleur niveau de reconnaissance en condition intermodale.

Object recognition is often thought of as a purely visual task. However, this is by no means true. All the other sensory modalities, such as touch and audition, also contribute to the recognition of objects. …

Search by... Author
Show... All Results Primary Sources Peer-reviewed

Oops!

An unknown error has occurred. Please click the button below to reload the page. If the problem persists, please try again in a little while.