The returns from Health Care Efficiency Research in the Netherlands

Met deze studie wordt beoogd een bijdrage te leveren aan de systematische analyse van het DO01-04 programma op basis van een methode die de maatschappelijke waarde van individuele doelmatigheidsstudies in kaart brengt. De methode is gebaseerd op het zogenaamde 'payback framework' (gericht op het in kaart brengen van de resultaten van onderzoek) dat reeds in o.a. Engeland wordt toegepast. Aan de hand van dossieronderzoek en een vragenlijst aan penvoerders van alle 43 gehonoreerde DO studies is een inventarisatie gemaakt van de resultaten van 34 doelmatigheidsstudies. Vervolgens is de impact van 26 studies, die reeds een eindverslag hadden ingediend, beoordeeld door 10 experts aan de hand van een ontwikkelde scoringsexercitie. Vervolgens zijn 5 studies geselecteerd voor een casestudy analyse. Daarvoor is additioneel dossieronderzoek uitgevoerd en is een aantal sleutelactoren geïnterviewd. Deze studies zijn vervolgens opnieuw beoordeeld door de experts, waarbij de scoring plaatsvond op basis van gedetailleerde informatie. De 34 DO studies resulteerden reeds in een diversiteit aan 'payback', verdeeld over de verschillende 'payback' categorieën: A. Knowledge Production (bijv. meer dan 101 peer reviewed publicaties) B. Research Benefits (bijv. meer dan 25 promovendi) C. Informing Policy (bijv. een referentie in 4 richtlijnen)* D. Changing Health Practice (bijv. implementatie van een nieuwe behandeling op het gebied van longkanker)* E. Broader Impacts on Health (in het algemeen ontbrak bewijs om resultaten aan te wijzen)* (* - vaak was de studie nog maar net afgerond, waardoor lange termijn resultaten nog niet zichtbaar waren) De experts die de resultaten van de 26 afgeronde studies hebben beoordeeld, vonden de scoringsexercitie moeilijk, onduidelijk of beide. Als gevolg hiervan is tijdens een expert meeting vooral gesproken over de methodologische aspecten van de exercitie, zoals de operationalisatie van de scoringsmogelijkheden. Tevens is gebleken dat aan de hand van een casestudy analyse inzichtelijk kan worden gemaakt hoe en waarom 'payback' tot stand komt. Op basis van deze bevindingen kunnen we concluderen dat: - Het meten van de impact van DO studies, direct na afronding van het onderzoek, problematisch is. Het is waarschijnlijk het beste om 3-5 jaar te wachten met het meten van de impact op beleid en praktijk, terwijl publicaties, aantal promovendi etc. eerder in kaart kunnen worden gebracht. - Als scoring van DO studies relevant wordt geacht, de methode voor impactmeting van DO onderzoek zal moeten worden aangepast. Het betreft met name de operationalisatie van de schalen waarmee wordt gescoord, (hoeveelheid) relevante informatie en de scoringsexercitie. Communicatie naar experts en het coördineren van expert opinies staat daarbij centraal. - Het meten en monitoren van de impact van gerelateerde projecten waardevol kan zijn. Het meten van de impact van onderzoek gefinancierd door Ontwikkelingsgeneeskunde is van belang om de maatschappelijke waarde van doelmatigheidsonderzoek evalueren en te monitoren. Tevens zal het samenbrengen van resultaten van gerelateerde projecten waarschijnlijk resulteren in een grotere impact in vergelijking met de impact van individuele studies. Op basis van de conclusies doen we de volgende aanbevelingen waarmee ZonMw zich een oordeel vormen over hoe het in de toekomst de impact van onderzoek kan meten, eventueel op een meer routinematige basis. Vervolgens kan dit ZonMw's onderzoek- en aanbestedingstrategieën verbeteren: 1. ZonMw zou het doel/de doelen voor impactmeting moeten bepalen, waardoor duidelijkheid ontstaat over het meten van 'payback' en de daarvoor geschikte methoden. 2. ZonMw zou afhankelijk van het doel moeten bepalen welke methode(n) gebruikt moet(en) worden om de 'payback' van DO studies te meten. 3. Als ZonMw kiest voor het systematisch kwantificeren van de 'payback' van verschillende soorten onderzoek, dan zou de scoringsexercitie moeten worden verbeterd: - Ontwikkel