Kwaliteitszorg Onderzoek 2.0

Donderdag 11 december 2014

Discussie over het BKO 2.0 in het NNK te Utrecht

De eerste ronde

De eerste ronde in het stelsel van kwaliteitszorg rond Onderzoek in het Hoger Beroepsonderwijs (HBO), zoals vastgelegd in het zogenoemde Brancheprotocol Kwaliteitszorg Onderzoek (BKO) 2009-2015, nadert haar einde. De Vereniging Hogescholen beraadt zich momenteel over de inrichting van de volgende fase. We vragen ons nu af:

• Wat zijn de opbrengsten van deze eerste ronde geweest?
• Heeft de op ontwikkeling en verbetering gerichte aanpak gewerkt, of zijn er zwaardere middelen nodig?
• Komt de verbinding met het onderwijs goed in het vizier als onderzoek en onderwijs in verschillende kwaliteitszorgstelsels worden beoordeeld.

Vandaag hebben we als Platform HBO van het Nederlands Netwerk voor Kwaliteitsmanagement een landelijke bijeenkomst in het Vergadercentrum van de Domstad Academie te Utrecht waarin we vooruitblikken op de contouren van een nieuw stelsel, ten behoeve van de tweede ronde.

De hogescholen zijn het hier nog niet over eens. De scenario’s die momenteel in de Vereniging Hogescholen aan de orde zijn, passeren vanmiddag de revue. Dit biedt een mooie kans voor de hier aanwezige kwaliteitszorg- en andere beleidsmedewerkers om hierover van gedachten te wisselen, en om te benoemen wat in onze ogen de belangrijke elementen in dit nieuwe stelsel zijn.

Inleiding

Netwerkvoorzitter Paul Nieuwenhuis heet de ruim 30 deelnemers van deze netwerkbijeenkomst hartelijk welkom, schetst in grote lijnen de ontwikkelingen en introduceert de drie sprekers van vandaag. Eerste spreker is Hans Koolmees, de secretaris van de Validatiecommissie Kwaliteitszorg Onderzoek (VKO). Hij zal het voorstel presenteren zoals dat nu in de Vereniging Hogescholen ter discussie ligt. Dit voorstel is voorbereid door een werkgroep, waarvan ook kwaliteitszorgmedewerkers (óók van ons NNK-platform HBO) van hogescholen deel uitmaakten.  

Voorgeschiedenis

Hans Koolmees begint met een overzicht van de voorgeschiedenis vanaf 2009, over de landelijke stichting, het Brancheprotocol, de afspraken met het Ministerie, de tussentijdse evaluatie en over het aanpassingsadvies dat daarop volgde. Eerder in 2014 is een werkgroep geïnstalleerd namens de Bestuurscommissie Onderzoek, die in oktober 2014 een open bestuurscommissievergadering heeft georganiseerd, waarin de gerezen bezwaren met elkaar zijn besproken.

Daarna gaat Hans in op de resultaten van de tussentijdse evaluatie. De wens is tijdens die evaluatie uitgesproken om in de nabije toekomst met betrekking tot de validatie nog niet accreditatiegericht te gaan werken, maar eerst nog de tijd te nemen om tot nader order ontwikkelingsgericht te werken.

Vervolgens noemt Koolmees de belangrijkste ervaringen tot nu toe; onder andere over wat er tot op heden is bereikt. Zo zie je bijvoorbeeld dat het praktijkgericht onderzoek inmiddels een relevante positie krijgt in de Nederlandse kennisinfrastructuur en dat het ook steeds meer wordt herkend en erkend. Tevens blijkt dat de verbinding met bedrijven en kennisinstellingen inmiddels is versterkt.

Doorontwikkeling

Er zijn echter zeker ook nog een aantal punten ter verbetering en innovatie. In het algemeen kun je stellen dat we meer focus en meer massa behoeven. De kwaliteitszorgsystematiek omtrent onderzoek is vaak nog te complex en er is nog onvoldoende afstemming tussen verschillende kwaliteitszorginstrumenten.

Validaties worden tot op heden veelal nog als belastend ervaren, wat vooral geldt voor die hogescholen die laat zijn begonnen met de voorbereiding van de validaties. De beleidsdocumenten kunnen beter op elkaar worden afgestemd, en ook nog worden ingebed in de PDCA-cyclus. Hans waarschuwt voor al te veel bureaucratisering in dezen. Bij hogescholen hebben de validaties de kwaliteitszorg van onderzoek in een stroomversnelling gebracht, zeker ook in die gevallen waar ook nog sprake was van hervalidatie.

Binnen hogescholen komen de systematische (ook cluster-)visitaties voor onderzoek langzamerhand op gang. Indicatoren blijken noodzakelijk te zijn; die zijn overigens nog in ontwikkeling. Hogescholen zouden meer aandacht moeten besteden aan de kwaliteit en de impact van het onderzoek.

Op het gebied van het Management Informatie Systeem van hogescholen zijn absoluut ook nog verbeteringen noodzakelijk.

Op basis van een evaluatie bij twaalf hogescholen zijn er enkele adviezen geformuleerd voor een nieuw BKO. Insteek is dat de lat omhoog moet, met name in de context van het beleid van de hogeschool in het algemeen en van de onderzoekseenheid in het bijzonder. Gekeken zal nog worden hoe de omvang van de hogeschool hierin kan worden meegenomen, zodat tot een aanvaardbare last kan worden gekomen.

Ten behoeve van visitaties moet nog werk worden gemaakt van de indicatoren. Ook zal er meer aandacht moeten komen voor de kwaliteit van het onderzoek en voor de interne kwaliteitszorg binnen de onderzoekseenheid. De kwaliteitszorgsystematiek moet onafhankelijk zijn van de ontwikkelfase van onderzoek.
Ten aanzien van het jaarlijkse monitoringssysteem van de ontwikkeling en resultaten van onderzoek aan hogescholen wordt in het nieuwe voostel gesteld dat deze dient te worden gehandhaafd.

Hans Koolmees vindt trouwens dat er wel wat meer bestuurlijke aandacht binnen hogescholen zou mogen komen voor het thema Validaties.

In de toekomst zullen de indicatoren zich vooral moeten gaan richten op de outputfactoren omtrent het onderzoek van de hogeschool.

BKO 2015-2021

Het BKO zal vooral gericht zijn op verantwoording, verbetering en sturing.

Bij validaties zal vooral ook worden gekeken naar de consistente samenhang tussen beleid & instrumenten enerzijds en de instrumenten onderling anderzijds.

Tijdens onderzoeksvisitaties zal de nadruk voortaan vooral komen te liggen op visie en doelen, op organisatie, formele kwaliteit en op impact. Hogescholen krijgen als overgangsmaatregel tot aan 2016 zelf de keus om nog met de oude of met de nieuwe systematiek te werken.

Vervolgens noemt Hans Koolmees eerst de nieuwe standaarden voor visitaties, en daarna de van toepassing zijnde indicatoren. De gekozen keuze-indicatoren mogen zowel kwantitatief als kwalitatief van aard zijn. De veranderingen in het nieuwe stelsel zitten vooral in de standaarden.

Koolmees sluit af met een overzicht van de eerste reacties die binnen zijn gekomen op de huidige plannen. Er is aan de ene kant wel veel waardering voor de grote lijnen van het nieuwe BKO, maar er zijn toch ook nog wel enkele kanttekeningen geplaatst, over bijvoorbeeld nut & noodzaak van de validatie, over de bureaucratie, over de vierpuntsbeoordeling bij de onderzoeksvisitaties, en bij het binaire oordeel bij de validatie. Tot aan de zomervakantie 2015 zal een werkgroep van de bestuurscommissie nog nader kijken naar deze bezwaren. Dat moet vóór de komende zomervakantie klaar zijn.

Na deze presentatie volgt een plenaire discussie over gestelde vragen, gegeven antwoorden en over de reacties daarop.

BKO: Vernieuwing of verbetering of ….?

Na de pauze volgt een tweede presentatie, van Gerdien Vegter en Frank Vonk, beiden als beleidsmedewerker onderzoek werkzaam bij de Hogeschool van Arnhem en Nijmegen (HAN). Zij zullen op grond van hun ervaringen die ze in de eerste ronde opdeden reageren op het voorliggende voorstel.

De HAN heeft een kwaliteitssysteem voor het onderzoek, dat door de VKO positief is beoordeeld en  als goed voorbeeld voor andere hogescholen is genoemd. In hun presentatie vragen Gerdien en Frank zich af wat de sterke punten van hun systeem zijn, of het nieuwe voorstel hen verder zal helpen, en welke effecten op de huidige hogeschoolpraktijk zij daarvan verwachten. En wat zou volgens hen in het nieuwe stelsel bijvoorbeeld scherper aan de orde mogen en kunnen komen?

Frank verzorgt de inleiding en Gerdien legt daarna uit hoe het Onderzoek en de (interne) Kwaliteitszorg(systematiek) daarvan bij de HAN zijn georganiseerd. Daarop volgt een overzicht van de items uit het Kwaliteitszorgkader Onderzoek van de HAN. Zo maakt stakeholdersonderzoek deel uit van het kwaliteitszorgsysteem-onderzoek bij de HAN.

De HAN heeft zelf gezorgd voor de interne definiëring van de beoordeling op de vierpuntsschaal van onvoldoende, voldoende, goed en excellent. Daarna komt de kwaliteitscyclus aan de orde. Bij de beoordeling door Hobéon Certificering in deze ontwikkelfase wordt binnen de HAN alleen gewerkt met de oordelen Voldoende en Goed. De grond voor deze oordelen wordt op het beamerscherm getoond.

Bij de HAN kan nog wel een ontwikkelstap worden gemaakt bij het systematisch evalueren, zoals dat al wel gebeurt op de kwaliteit van het onderwijs. Bij onderzoek is dat ook gewenst; echter nog geen gebruik, maar wel beoogd.
Daarnaast vragen Gerdien en Frank zich af hoe de BKO omgaat met kwaliteitszorg van Centres of Expertise.

Paul Nieuwenhuis sluit na dit programma-onderdeel deze netwerkbijeenkomst af;  blikt even terug op de inhoud, de opbrengst en op de follow up van de presentaties, en bedankt tenslotte de drie sprekers voor hun inbreng.