Onderzoek naar de validiteit en betrouwbaarheid van het Actuarieel Risicotaxatie Instrument voor Jeugdbescherming (ARIJ)
Projectomschrijving
Het goed inschatten van (het risico op) een onveilige opvoedingssituatie is van groot belang om kinderen te kunnen beschermen.
Actuarieel Risicotaxatie Instrument voor Jeugdbescherming (ARIJ)
De ARIJ bestaat uit een veiligheidstaxatie, een risicotaxatie en een dynamisch risicoprofiel waarmee aanknopingspunten worden verkregen voor interventie en waarmee verandering in risico kan worden vastgesteld.
Het onderzoek
In dit onderzoek zijn de betrouwbaarheid en validiteit van de ARIJ onderzocht bij verschillende jeugdzorginstanties. Op basis van de resultaten van de verschillende deelstudies is de ARIJ verbeterd en is een nieuwe versie van het instrument ontwikkeld. Met deze versie kan de huidige en toekomstige onveiligheid van kinderen goed worden ingeschat en daarmee kunnen gezinnen beter worden toegeleid naar passende hulpverlening waardoor kinderen naar verwachting eerder veilig zijn en het risico op onveiligheid in de opvoedingssituatie afneemt.
Verslagen
Eindverslag
Professionals werkzaam in de jeugdbescherming moeten vaak moeilijke en complexe beslissingen nemen over de uithuisplaatsing van kinderen. Het gaat hierbij om vragen als: Is de situatie zo ernstig dat direct handelen nodig is, en is uithuisplaatsing te voorkomen met ambulante interventies? Essentieel bij deze vragen is een goede inschatting van de mate waarin de opvoedingscapaciteiten van de ouders en de behoeften van het kind uit balans zijn, oftewel de mate waarin sprake is van een onveilige opvoedingssituatie. Echter, de ontwikkeling en validatie van instrumenten om een dergelijke inschatting te maken staan wereldwijd nog in de kinderschoenen. Vaak worden hiervoor klinische instrumenten gebruikt, terwijl onderzoek consequent laat zien dat actuariële instrumenten beter presteren.
In Nederland werd tot voor kort grootschalig gebruikgemaakt van de LIRIK, maar onderzoeken hebben laten zien dat de betrouwbaarheid en de predictieve validiteit van de LIRIK onvoldoende zijn. Het was dan ook urgent dat een alternatief instrument beschikbaar kwam voor de jeugdzorg waarmee op valide en betrouwbare wijze de directe en toekomstige onveiligheid van kinderen kan worden ingeschat. Tegen deze achtergrond is de ARIJ ontwikkeld door de UvA en Jeugdbescherming Regio Amsterdam. De ARIJ bestaat uit een veiligheidstaxatie, een risicotaxatie en een dynamisch risicoprofiel waarmee vooruitgang kan worden gemonitord en aanknopingspunten worden verkregen voor interventie. In de praktijk is veel vraag naar de ARIJ en inmiddels wordt deze in heel Nederland veelvuldig gebruikt. Daarom was het hoofddoel van het huidige project om de validiteit en betrouwbaarheid van de ARIJ-Veiligheidstaxatie (ARIJ-VT) en de ARIJ-Risicotaxatie (ARIJ-RT) te onderzoeken en indien mogelijk te verbeteren.
Om dit doel te bereiken werden de volgende deelstudies uitgevoerd. Ten eerste werd de betrouwbaarheid van de ARIJ-VT en ARIJ-RT onderzocht door casussen te laten beoordelen op meerdere momenten en door professionals van verschillende organisaties. Ten tweede werd zowel de inhoudsvaliditeit als de concurrente validiteit van de ARIJ-VT onderzocht middels literatuuronderzoek, interviews met gebruikers en deskundigen, en oordelen van expertpanels. Tot slot werd de predictieve validiteit van de ARIJ-RT prospectief onderzocht bij 3.681 casussen die beoordeeld waren door professionals van jeugdhulp, wijkteams, specialistische jeugd-ggz, en jeugdbescherming. Hierbij werd ook onderzocht of de predictieve validiteit kon worden verbeterd door het laten meewegen van de experimentele items en het aanpassen van de risico-indeling.
Op basis van de resultaten van deze studies zijn nieuwe versies van de ARIJ-VT en de ARIJ-RT ontwikkeld. De ARIJ-VT is verbeterd door deze uit te breiden met meer valide mogelijke bedreigingen van de directe kindveiligheid. De volgende bedreigingen van de directe kindveiligheid zijn toegevoegd aan het instrument: ernstige emotionele mishandeling, schade toegebracht door anderen (waartegen de opvoeder het kind niet kan beschermen), psychiatrische problematiek van de opvoeder, en psychiatrische problemen van het kind waardoor het kind zichzelf in direct gevaar brengt. Daarnaast zijn de instructies van het instrument uitgebreid met een definitie van directe kindveiligheid, en een instructie over welke aspecten meegewogen kunnen worden om de ernst van de bedreiging te beoordelen. Ook de uitkomsten van de ARIJ-VT werden aangepast om verwarring over consequenties van de uitkomst te voorkomen. Tot slot werden de items en beschrijvingen herschreven om de leesbaarheid te vergroten en de inhoud te verduidelijken.
De ARIJ-RT werd verbeterd door nieuwe valide risicofactoren aan de risico-indeling toe te voegen. Bovendien werd de risico-indeling alleen nog gebaseerd op de somvariabele van de risicofactoren, zodat de risico-indeling breder toepasbaar werd voor verschillende organisaties in de jeugdzorg. Dit is belangrijk omdat veel organisaties die aan verschillende do
Op dit moment zijn geen gevalideerde instrumenten beschikbaar die kunnen worden ingezet ter ondersteuning van een beslissing over uithuisplaatsing. Het gaat hierbij om vragen als: In hoeverre zijn opvoedingscapaciteiten van ouders en ontwikkelingsbehoeften van de jeugdige uit balans; Is de situatie zo ernstig dat direct handelen nodig is, en; Is uithuisplaatsing te voorkomen door de inzet van ambulante interventies? Essentieel bij deze vragen is een goede inschatting van de mate waarin de opvoedingscapaciteiten van de ouders en de behoeften van het kind uit balans zijn oftewel de mate waarin sprake is van een onveilige opvoedingssituatie. De ontwikkeling en validatie van instrumenten om een dergelijke inschatting te maken staan wereldwijd nog in de kinderschoenen. Er wordt veelvuldig gebruik gemaakt van klinische instrumenten, terwijl onderzoek consequent laat zien dat actuariële instrumenten beter presteren. In Nederland wordt grootschalig gebruik gemaakt van de LIRIK, maar recente onderzoeken laten zien dat de betrouwbaarheid en de predictieve validiteit van de LIRIK zeer laag zijn. Het is dan ook urgent dat een alternatief instrument beschikbaar komt voor de jeugdzorg waarmee op valide en betrouwbare wijze de huidige en toekomstige onveiligheid van kinderen kan worden ingeschat ter ondersteuning van de beslissing tot uithuisplaatsing.
Tegen deze achtergrond is recentelijk de ARIJ (Actuarieel Risicotaxatie Instrument voor Jeugdbescherming) ontwikkeld door de UvA en Jeugdbescherming Regio Amsterdam (JBRA). De ARIJ bestaat uit (a) een veiligheidstaxatie, (b) een risicotaxatie en (c) een dynamisch risicoprofiel waarmee vooruitgang kan worden gemonitord en aanknopingspunten worden verkregen voor interventie. De ARIJ is een veelbelovend instrument omdat (a) het actuarieel is, (b) de praktijk erg positief is, en (c) de resultaten van een eerste valideringsonderzoek lijken te wijzen op een significant betere betrouwbaarheid en predictieve validiteit van de ARIJ ten opzichte van de LIRIK. Het risicotaxatie-onderdeel van de ARIJ is ontwikkeld op basis van de LIRIK, met als belangrijk verschil dat de items in de ARIJ op een vaststaande (empirisch bepaalde) manier worden gewogen en gecombineerd tot een risico-inschatting, terwijl met de LIRIK een professional zelf bepaalt hoe zwaar hij factoren weegt en combineert in een eindoordeel. Daarnaast is een aantal experimentele items aan de ARIJ toegevoegd waarvan uit verschillende reviews is gebleken dat deze sterk samenhangen met toekomstige onveiligheid. In de praktijk is veel vraag naar de ARIJ en daarom is het hoofddoel van het huidige project om de predictieve validiteit van de ARIJ te onderzoeken bij gebruik in de dagelijkse praktijk door verschillende jeugdzorginstanties. Een tweede doel is te onderzoeken in hoeverre de predictieve validiteit van de ARIJ kan worden verbeterd door het laten meewegen van de experimentele items. Ondanks dat de ARIJ beter lijkt te presteren dan de LIRIK en vergelijkbaar presteert met andere risicotaxatie-instrumenten die wereldwijd worden ingezet, is de predictieve validiteit van de ARIJ matig en dient te worden verbeterd.
Om de ARIJ te verbeteren worden de volgende deelstudies uitgevoerd. Ten eerste wordt de betrouwbaarheid van de ARIJ veiligheidstaxatie en risicotaxatie onderzocht door casussen te laten beoordelen op meerdere momenten en door meerdere professionals (studie 1). Ten tweede de inhoudsvaliditeit van de veiligheidstaxatie van de ARIJ onderzocht middels literatuuronderzoek en interviews met gebruikers en deskundigen (studie 2a). Ten derde wordt de convergente validiteit van de veiligheidstaxatie onderzocht op basis van oordelen van expertpanels (studie 2b). Tot slot wordt de predictieve validiteit van de risicotaxatie van de ARIJ prospectief onderzocht bij circa 2.900 casussen van JBRA, SPIRIT, HVO-Querido en Altra (studie 3). Hierbij wordt ook onderzocht in hoeverre de predictieve validiteit kan worden verbeterd door het laten meewegen van
Samenvatting van de aanvraag
De Richtlijn Uithuisplaatsing is ontwikkeld om professionals te helpen systematisch een beslissing over uithuisplaatsing te nemen. Het gaat hierbij om vragen als: In hoeverre zijn opvoedingscapaciteiten van ouders en ontwikkelingsbehoeften van de jeugdige uit balans; Is de situatie zo ernstig dat direct handelen nodig is, en; Is uithuisplaatsing te voorkomen door de inzet van ambulante interventies? Essentieel bij deze vragen is een goede inschatting van de mate waarin de opvoedingscapaciteiten van de ouders en de behoeften van het kind uit balans zijn oftewel de mate waarin sprake is van een onveilige opvoedingssituatie. De ontwikkeling en validatie van instrumenten om een dergelijke inschatting te maken staan echter wereldwijd nog in de kinderschoenen. Er wordt veelvuldig gebruik gemaakt van klinische instrumenten, terwijl onderzoek consequent laat zien dat actuariële instrumenten beter presteren[1-10]. In Nederland wordt grootschalig gebruik gemaakt van de LIRIK, maar recente onderzoeken laten zien dat de betrouwbaarheid en de predictieve validiteit van de LIRIK zo laag zijn dat de inschatting van het risico op toekomstige onveiligheid niet beter is dan een inschatting op basis van ‘toeval’[11-12]. Dit leidt tot veel verkeerde inschattingen, hetgeen kan resulteren in blijvende onveiligheid of onterechte uithuisplaatsingen. Het is dan ook urgent dat een alternatief instrument beschikbaar komt voor de jeugdzorg waarmee op valide en betrouwbare wijze de huidige en toekomstige onveiligheid van kinderen kan worden ingeschat ter ondersteuning van de beslissing tot uithuisplaatsing. Tegen deze achtergrond is recentelijk de ARIJ ontwikkeld door de UvA en JBRA[12-14]. De ARIJ bestaat uit (a) een veiligheidstaxatie, (b) een risicotaxatie en (c) een dynamisch risicoprofiel waarmee vooruitgang kan worden gemonitord en aanknopingspunten worden verkregen voor interventie. De ARIJ is een veelbelovend instrument omdat (a) het actuarieel is, (b) de praktijk erg positief is, en (c) de resultaten van een eerste valideringsonderzoek lijken te wijzen op een significant betere betrouwbaarheid[15] en predictieve validiteit[13]van de ARIJ ten opzichte van de LIRIK. Het risicotaxatie-onderdeel van de ARIJ is ontwikkeld op basis van de LIRIK, met als belangrijk verschil dat de items in de ARIJ op een vaststaande (empirisch bepaalde) manier worden gewogen en gecombineerd tot een risico-inschatting, terwijl met de LIRIK een professional zelf bepaalt hoe zwaar hij factoren weegt en combineert in een eindoordeel. Daarnaast is een aantal experimentele items aan de ARIJ toegevoegd waarvan uit verschillende reviews is gebleken dat deze sterk samenhangen met toekomstige onveiligheid. De ARIJ wordt inmiddels ingezet door JBRA, SPIRIT, HVO-Querido en Altra Jeugdhulp. Daarnaast hebben veel andere instellingen aangegeven met de ARIJ te willen gaan werken, waaronder verschillende Gecertificeerde Instellingen, zorgaanbieders, ouder-kind-teams en wijkteams, alsmede Veilig Thuis Nederland. Gezien de grote vraag uit de praktijk naar de ARIJ is het belangrijk de predictieve validiteit van de ARIJ te onderzoeken bij gebruik in de dagelijkse praktijk door verschillende jeugdzorginstanties. Daarnaast is het belangrijk te onderzoeken in hoeverre de predictieve validiteit van de ARIJ kan worden verbeterd door het laten meewegen van de experimentele items. Ondanks dat de ARIJ beter lijkt te presteren dan de LIRIK en vergelijkbaar presteert met andere risicotaxatie-instrumenten die wereldwijd worden ingezet[29,39-41], is de predictieve validiteit van de ARIJ matig en dient te worden verbeterd. De inhoudsvaliditeit van de veiligheidstaxatie van de ARIJ wordt onderzocht middels literatuuronderzoek en interviews met deskundigen en de concurrente validiteit op basis van oordelen van een expertpanel. De predictieve validiteit van de risicotaxatie van de ARIJ wordt prospectief onderzocht bij circa 2.900 casussen van JBRA, SPIRIT, HVO-Querido, Altra Jeugdhulp en BJZ Limburg. Hierbij wordt ook onderzocht in hoeverre de predictieve validiteit kan worden verbeterd door het laten meewegen van de experimentele items. De betrouwbaarheid van de ARIJ wordt onderzocht door casussen te laten beoordelen op meerdere momenten en door meerdere professionals. Op basis van de resultaten van dit project zal de weging van de items (inclusief experimentele items) worden geoptimaliseerd en zullen mogelijk nieuwe experimentele items worden toegevoegd. De validiteit zal hierna opnieuw moeten worden onderzocht in vervolgonderzoek. De ARIJ is een belangrijke aanvulling op de Richtlijn Uithuisplaatsing om risico’s zo goed en uniform mogelijk in te schatten. Naar verwachting zal gebruik van de ARIJ leiden tot betere risico- en veiligheidstaxatie en een betere toeleiding naar passende interventies waardoor kinderen eerder veilig zijn, gezinnen beter worden toegeleid naar passende interventies en er minder onnodige uithuisplaatsingen zijn.