Outside InSight: The influence of information representation on spatial map formation of visually impaired persons

Wanneer mensen met een visuele beperking niet, of alleen met moeite, visuele informatie kunnen waarnemen, wordt de visuele informatie meestal vervangen door informatie in een andere modaliteit (bijvoorbeeld tast). Dit proces wordt sensorische substitutie genoemd.

Doel

Ons project heeft als doel de geschiktheid te testen van verschillende vormen van sensorische substitutie voor navigatie. We richten ons op navigatie: hoe vinden mensen de weg van de ene naar een andere plaats. 

Werkwijze

Hiervoor gebruiken we zowel fundamenteel hersenonderzoek als toegepast onderzoek. We maken hersenscans tijdens navigatie in een virtuele wereld en passen de resultaten toe in een echte situatie (bij het station Arnhem).

Verwachte opbrengst

Het project wil bewijs leveren voor de invloed van de modaliteit van representatie op navigatietaken en de werking van het ruimtelijk geheugen bij mensen met een visuele beperking. Dit bewijs is niet alleen van belang voor navigatie-ondersteunende technologie, maar kan ook in andere situaties worden toegepast waar mensen ruimtelijke informatie krijgen via slimme ICT-toepassingen.

Uitgebreide samenvatting

Wanneer mensen met een visuele beperking niet of alleen met moeite visuele informatie kunnen waarnemen, zoals bijvoorbeeld kaartinformatie of beeldmateriaal, wordt de visuele informatie meestal vervangen door informatie in een andere modaliteit. Visuele route-informatie op de kaart zoals pijlen worden dan bijvoorbeeld vervangen door gesproken instructies (auditief) of door een reliëfprint met voelbare richtingaanduiding (tactiel). Dit proces wordt sensorische substitutie genoemd. Ons project heeft als doel de geschiktheid te testen van verschillende vormen van sensorische substitutie voor navigatie en het vinden van de weg. Hiervoor gebruiken we zowel fundamenteel hersenonderzoek als toegepast onderzoek. Met het fundamentele hersenonderzoek willen we kijken of mensen met een visuele beperking een mentaal kaartje kunnen vormen van een omgeving. Het is al eerder aangetoond dat visuele informatie over een omgeving verwerkt wordt in de hersenen tot zo’n mentaal kaartje, en wij willen kijken hoe dit gebeurt op basis van non-visuele informatie. We maken hersenscans tijdens navigatie in een virtuele wereld en passen de inzichten over de meest geschikte modaliteit voor navigatie-ondersteuning dan toe in de echte wereld.

Wij hebben mobiliteit en navigatie als toepassingsveld gekozen omdat in voorgaand onderzoek van onszelf en anderen duidelijk naar voren kwam dat personen met een visuele beperking mobiliteit en navigeren één van de lastigste problemen in het dagelijks leven vinden. Mobiliteit en navigatievaardigheden bepalen sterk hoe zelfstandig en zelfredzaam iemand zich voelt. Vooral het vinden van de weg en het navigeren in een onbekende omgeving levert problemen op en vereist een uitvoerige training van mobiliteitstrainers. Allerlei nieuwe ‘slimme’ elektronische apparatuur, zoals smartphones, slimme brillen en slimme blindegeleidestokken, komt op dit moment op de markt die gebruikt kan worden als een hulpmiddel voor navigatie. Deze hulpmiddelen hebben multimodale (haptische, tactiele of auditieve) interfaces. Het is echter onduidelijk hoe de verschillende soorten ruimtelijke informatie die nodig zijn voor navigeren in een onbekende omgeving het beste weergegeven kan worden, zó dat de ruimtelijke informatie op de meest optimale en efficiënte manier opgeslagen kan worden in het geheugen en verwerkt kan worden in het brein.

In dit project hebben we een virtuele stad-achtige omgeving gemaakt, die we gebruiken in twee onderzoeksessies in het neuro-lab. In elke sessie staat een andere modaliteit van de interface centraal: 

• Modaliteit 1 Geluid: De traditionele interface van navigatie-apparatuur maakt gebruik van gesproken instructies en auditieve signalen, zoals waarschuwingssignalen en geluiden voor oriëntatie. Deze interface zal worden verrijkt met een stappenteller (voetstapgeluid).
• Modaliteit 2 Tactiel: Een tactiele kaart zal dienen als interface, die gemaakt wordt met een 3D printer. Op de kaart zijn de straten en verschillende locaties tactiel voelbaar.

In beide sessies kunnen deelnemers de omgeving verkennen. Met een aantal geheugentaakjes kijken we daarna of een mentaal kaartje is gevormd van de omgeving. Deze sessies vinden plaats in ons gedragslab.

Bij de ontwikkeling van de interfaces en de opzet van het onderzoek hebben we adviezen van mobiliteitstrainers van Koninklijke Visio en van mensen met een visuele beperking verwerkt. We hebben al veel ervaring opgedaan met het ontwikkelen van tactiele en haptische interfaces voor mensen met een visuele beperking in soortgelijke projecten van ons lab en in de projecten van onze partner Stichting Accessibility.

Onze resultaten van het onderzoek naar deze twee modaliteiten laten tot nu toe zien dat door het verkennen van een tactiel geprinte kaart, mensen inderdaad een mentaal kaartje kunnen vormen van deze omgeving. Het onderzoek naar de auditieve modaliteit loopt nog, maar tot nu toe lijkt de opbouw van zo’n mentaal kaartje lastiger te zijn wanneer de omgeving gepresenteerd wordt door middel van alleen geluiden. We gaan verder onderzoeken wat hierbij onderliggende processen kunnen zijn wat betreft de verwerking van ruimtelijke informatie in de hersenen.

Tot nu toe hebben we gekeken naar de vorming van een mentaal kaartje door middel van gedragsmatig onderzoek. Ons recente onderzoek aan het Donders Instituut van de Radboud Universiteit met niet-invasieve technieken (fMRI) toont aan dat het mogelijk is de opbouw van de ruimtelijke kaart daadwerkelijk in de hersenen te volgen. Een vervolgstap is om deze methodes te gebruiken om te onderzoeken hoe de deelnemers aan het onderzoek (mensen met aangeboren of later verkregen types van visuele beperkingen) hun mentale kaart opbouwen bij gebruik van de twee verschillende modaliteiten. Op deze manier zorgen we voor een objectieve maatstaf voor de effectiviteit van de verschillende modaliteiten. We onderzoeken hoeveel tijd en moeite de training komst om elke modaliteit goed te leren gebruiken voor navigatie. Ook kijken we – voor de twee modaliteiten auditief en tactiel - of ruimtelijke informatie goed wordt onthouden en hoe die ruimtelijke informatie in het geheugen vervolgens gebruikt wordt. De activiteit in het gebied waar ruimtelijke informatie wordt verwerkt, wordt gemeten bij ziende proefpersonen, bij 25 deelnemers met aangeboren visuele beperkingen en bij 25 deelnemers die op latere leeftijd een visuele beperking hebben gekregen.
 
De hersenscans tonen aan welke modaliteit het beste helpt om ruimtelijke informatie in het brein op te slaan. Deze bevindingen passen wij toe bij de ontwikkeling van een navigatie tool voor smartphones en/of andere slimme apparaten. De bedenker en de ontwikkelaar van de app GoOV hebben toegezegd om hun app beschikbaar te stellen voor uitbreiding en aanpassing op basis van onze bevindingen. Op het moment dat de app goed multimodaal en toegankelijk werkt voor mensen met een visuele beperking, zullen we de taken die we in de fMRI scanner hebben uitgevoerd herhalen in de echte wereld op en nabij het station Arnhem. Het fundamentele bewijs uit de hersenscans over de effectiviteit van verschillende modaliteiten voor het communiceren van informatie, wordt op die manier ondersteund met het praktijkbewijs uit evaluaties van gedrag in de echte wereld bij dezelfde deelnemers.

Het project levert zowel fundamenteel als praktisch bewijs voor de invloed van de modaliteit van representatie op mobiliteit en navigatietaken. Maar ook levert het bewijs over de werking van het ruimtelijk geheugen, het opbouwen van een mentale kaart van de omgeving en het vinden van de weg bij mensen met een visuele beperking. Dit bewijs is niet alleen van belang voor navigatie-ondersteunende technologie, maar kan ook in andere situaties worden toegepast waar mensen mét en zonder visuele beperking ruimtelijke informatie krijgen via slimme ICT-toepassingen.

English summary

When visually impaired persons cannot perceive visual representations of information a widely applied strategy is to substitute visual information with information by another modality (sensory substitution).

In this project we aim at providing evidence of the suitability of sensory substitution for various types of spatial and wayfinding information.

We will develop a virtual model of the real-world public space surrounding the Arnhem Centraal public transport hub, to be used in experimental sessions with three different, accessible modalities in the interface. Our recent research with non-invasive imaging techniques (fMRI) has shown that it is possible to visualize the development of spatial maps in the human brain, using a virtual environment for performing tasks.

The findings from the fMRI scans will demonstrate which modality offers the best support for building a spatial mental map. The project will provide evidence concerning the influence of the representation modality on the activation of spatial memory and formation of a mental map of the environment during wayfinding and navigation in visually impaired persons.