Mobiele menu

Disease models used for decisions on expensive drugs: a new instrument to enable structured model assessment.

Projectomschrijving

Voor nieuwe medische behandelingen geeft een kosten-effectiviteitsanalyse inzicht in de verhouding tussen extra kosten en gezondheidswinst. Vaak worden hierbij simulatiemodellen gebruikt om de lange-termijneffecten te schatten.

Resultaten

Het huidige project heeft geresulteerd in een instrument voor modelvalidatie: AdViSHE. Hiermee kunnen ontwikkelaars van beslismodellen inzichtelijk maken welke validatietesten zijn uitgevoerd op hun model, en wat daarvan de uitkomsten waren. De tool is inzetbaar in vergoedingsdossiers, zodat beoordelaars en belanghebbenden beter en sneller inzicht krijgen in de validatiestatus van de gebruikte modellen en de uitkomsten. Daarnaast ook in wetenschappelijke publicaties over kosten-effectiviteit en modellen, waar het reviewers als lezers kan helpen.
De tool bevordert de transparantie van simulatiemodellen in kosten-effectiviteitsonderzoek. Uiteindelijk kan dit tot betere kwaliteit leiden van deze modellen, omdat de ontwikkelaars rekening houden met strengere validiteitseisen.

Dit project kent een vervolg in het project: 1520020501 (VIMP to support implementation of AdViSHE, an instrument for Assessment of the Validation Status of Health Economic decision models)

Producten

Titel: W2: A NEW VALIDATION-ASSESSMENT TOOL FOR HEALTH-ECONOMIC DECISION MODELS
Auteur: Discussion Leaders: Pepijn Vemer, George Van Voorn, Isaac Corro Ramos, Josephine A. Mauskopf
Link: http://www.ispor.org/Event/ProgramList/
Titel: ADVISHE: A NEW TOOL TO REPORT VALIDATION OF HEALTH-ECONOMIC DECISION MODELS
Titel: Operational Validation of Health Economic Decision Analytic Models
Auteur: I. Corro Ramos; T.Feenstra; P. Vemer; G.A.K. van Voorn; M.J. Al
Titel: AdViSHE: A Validation-Assessment Tool of Health-Economic Models for Decision Makers and Model Users
Auteur: P. Vemer, I. Corro Ramos, G. A. K. van Voorn, M. J. Al, T. L. Feenstra
Magazine: PharmacoEconomics)
Titel: Improving Model Validation in Health Technology Assessment.
Auteur: Vemer, P., Krabbe, P. F. M., Van Voorn, G. A. K., Ramos, C., Al, M. J. & Feenstra, T. L
Magazine: Value in Health
Link: http://www.valueinhealthjournal.com
Titel: The Missing Stakeholder Group: Why Patients Should be Involved in Health Economic Modelling
Auteur: George A. K. van Voorn1 • Pepijn Vemer2,3 • Dominique Hamerlijnck4 • Isaac Corro Ramos5 • Geertruida J. Teunissen4,6 • Maiwenn Al5 • Talitha L. Feenstra3,7
Magazine: Applied Health Economics and Health Policy
Titel: Improving model validation in HTA: comments on the guidelines of the ISPOR-SMDM Modeling Good Research Practices Task Force
Auteur: Pepijn Vemer, MSc, George A.K. van Voorn, PhD, Isaac Corro Ramos, PhD, Paul F.M. Krabbe, PhD, Maiwenn J. Al, PhD, Talitha L. Feenstra, PhD
Magazine: Value in Health

Verslagen


Eindverslag

Het ZorgInstituut Nederland baseert advies over vergoeding van medicijnen onder meer op een schatting van de doelmatigheid. Fabrikanten moeten een kosteneffectiviteitsanalyse (KEA) uitvoeren voor die geneesmiddelen waarvan wordt geclaimd dat ze een nieuwe behandeling bieden (“therapeutische meerwaarde”). Daarbij gebruiken ze vaak simulatiemodellen om de gevolgen op de lange termijn schatten. Ook in andere toepassingsgebieden van kosteneffectiviteitsanalyses, zoals preventie en zorgonderzoek, worden vaak gezondheidseconomische beslismodellen gebruikt om de gegevens bijelkaar te brengen en zonodig te extrapoleren.
Uiteraard moet zo’n KEA-model valide zijn. Bestaande richtlijnen voor modelvalidatie voldoen echter niet en nadere selectie en aanscherping is nodig. Daarom is in dit project een instrument ontwikkeld voor modelvalidatie speciaal voor KEA-modellen. Daarnaast is onderzoek gedaan naar wanneer en hoe belanghebbenden en dan vooral patiënten beter dan nu het geval is te betrekken in het proces van modelontwikkeling.
Het nieuwe instrument bestaat uit een selectie van validatietesten die modelontwikkelaars kunnen gebruiken om aan modelgebruikers te rapporteren over de validatiestatus van hun model. Ze laten zien welke testen zijn uitgevoerd en wat de resultaten daarvan waren. Hiermee wordt dubbel werk voorkomen en verbetert de transparantie van beslissingen gebaseerd op KEA-modellen.

Computersimulatie modellen in de besluitvorming over dure geneesmiddelen: een nieuw instrument voor gestructureerde model beoordeling.

Het College voor Zorgverzekeringen (CVZ) baseert advies over vergoeding deels op informatie over de doelmatigheid. Fabrikanten moeten voor geneesmiddelen die therapeutische meerwaarde claimen een kosteneffectiviteitsanalyse (KEA) uitvoeren.
Met een computer simulatie model kunnen onderzoekers de gegevens uit diverse klinische studies combineren en/of de gevolgen op de lange termijn schatten. Uiteraard moet zo’n model valide zijn. Bestaande richtlijnen voor modelvalidatie voldoen echter niet. Daarom is nadere selectie en aanscherping nodig van de validatietesten.
In dit project ontwikkelen we een instrument voor modelbeoordeling specifiek gericht op KEA-modellen. Dit instrument kan bijvoorbeeld worden gebruikt door indieners van farmacoecomische dossiers om model-beoordelaars zoals het College van Zorgverzekeringen (CVZ) te informeren. Het instrument zal bestaan uit: 1 een selectie van validatietesten (checklist), en 2 een “stakeholder” perceptie meting, om de mening van belanghebbenden over het model en de uitkomsten te bepalen.
Hiermee verbetert de rapportage van uitgevoerde model validatie testen. Bovendien komt er zicht op het oordeel van belanghebbenden.

Inmiddels is een groslijst van validatietechnieken samengesteld. Met behulp van een internationaal panel van experts wordt elke techniek nu beoordeeld op relevantie, formulering en definitie. De tweede ronde van dit Delphi panel is in december 2013 geweest.

Samenvatting van de aanvraag

About one third of the drug reimbursement applications in the Netherlands claim more effectiveness than existing treatments and therefore require a cost-effectiveness analysis (CEA) as part of the reimbursement dossier. The fast majority of such applications use a health economic decision model (HE model), in the form of a computer simulation model. More generally, many cost effectiveness studies use models to combine information from different sources and/or to extrapolate from a specific study to the setting that is relevant for the decision at hand. An obvious requirement for model-based CEAs to be used in (reimbursement) decisions is that the models are valid. Guidelines exist on model validation, but have limitations. First, they often present ideals rather than feasible acceptability criteria. Second, guidelines are written to support model development, not model judgment. Finally, the recommendations are necessarily general and not geared towards validating HE models. In CEA practice, modelers have to balance rigor with feasibility; validation information is needed to support expert review of finished models; and the major interest is the validity regarding CEA outcomes. The current proposal enhances the possibilities for decision makers and their advisors to transparently and consistently evaluate model based CEA results by developing a model assessment tool. The tool consists of a checklist of validation tests relevant for HE models and an assessment of stakeholder perception. The checklist asks for performance criteria or opt out explanation and is to be filled out by the model developers to help reviewers assess the model, while stakeholder perception informs further appraisal of the model and its outcomes. The research strategy is to have a Delphi panel selection of validation tests from a broad inventory based on guidelines from several disciplines. Stakeholder perception assessment is to be developed adapting existing user experience tools. The entire tool will be tested on example models and discussed in a workshop to improve it further. The project group contains expertise on HE models, quality assessment of models, the statistics of validation tests, and the use of expert opinion. Furthermore, several members have practical experience with reimbursement and/or involving stakeholders, to ensure that the project can be successfully performed. The new tool improves the model review process by providing a clear overview of validation efforts performed and their results in relation to the model’s aim, that is, to support a decision regarding cost effectiveness. Dutch/Nederlands De Nederlandse besluitvorming over vergoeding van geneesmiddelen die therapeutische meerwaarde claimen vereist onder andere een kosteneffectiviteitsanalyse (KEA). De overgrote meerderheid van deze analyses gebruikt een computer simulatie model. Met dergelijke modellen kunnen onderzoekers de gegevens uit diverse klinische studies combineren en/of extrapoleren vanuit de specifieke setting van een bepaalde klinische studie. Goed onderbouwde besluitvorming op basis van dit type KEAs vereist dat het gebruikte model valide is. Bestaande richtlijnen voor modelvalidatie geven onvoldoende houvast. Meestal schetsen ze een ideaalbeeld zonder minimale vereisten voor een acceptabel model. Ze zijn vooral bedoeld voor gebruik tijdens de ontwikkeling van een model. Ten slotte dient validatie rekening te houden met het specifieke doel van het model, in dit geval een KEA en met de perceptie van stakeholders. Daartoe is nadere selectie en aanscherping nodig van de validatietesten. Dat gebeurt onvoldoende in de huidige standaarden voor farmacoeconomisch onderzoek en mede daardoor komt het zelden voor dat de validatie inzichtelijk wordt gerapporteerd in bijvoorbeeld vergoedingsdossiers. Het huidige voorstel omvat het ontwikkelen van een instrument voor modelbeoordeling specifiek gericht op ondersteuning van KEA om deze situatie te verbeteren. Dit instrument kan onder andere worden gebruikt door indieners van farmacoecomische dossiers om model-beoordelaars te informeren. Het instrument bestaat uit twee onderdelen: 1 een selectie van validatietesten (checklist), en 2 een nieuw te ontwikkelen “stakeholder” perceptie meting, om de mening van belanghebbenden over het model en de uitkomsten te bepalen. Een Delphi panel zal de testen voor de checklist selecteren. Deze worden aangevuld met concrete criteria voor de testresultaten. Na voorbeeldtoepassingen wordt het instrument verder verbeterd. De projectgroep is multidisciplinair en omvat expertise in KEA, modellering, statistiek, kwaliteitscontrole en expert raadpleging. Vertegenwoordigers van patiënten en CVZ zullen adviseren over praktische relevantie. Met het nieuwe instrument kunnen indieners helder inzicht geven in uitgevoerde model validatie testen en de uitkomsten daarvan ten behoeve van consistente en transparante beoordeling van op modellen gebaseerde KEA resultaten.

Onderwerpen

Kenmerken

Projectnummer:
152002050
Looptijd: 100%
Looptijd: 100 %
2013
2015
Onderdeel van programma:
Gerelateerde subsidieronde:
Projectleider en penvoerder:
Dr. T.L. Feenstra
Verantwoordelijke organisatie:
Universitair Medisch Centrum Groningen