Peer review als kwaliteitsinstrument in het hbo

Donderdag 8 februari 2018

De eerste presentatie wordt verzorgd door Peter Noordhoek

Peer review als kwaliteitsinstrument
De netwerkbijeenkomst van ons HBO-platform van het Landelijk Netwerk Kwaliteitsmanagement in het Cursus- en Vergadercentrum Domstad te Utrecht gaat vandaag over ‘Peer review’. Al enige tijd horen we in het hoger beroepsonderwijs veel over ‘peer review als kwaliteitsinstrument’. Dat roept onder andere de volgende twee vragen op:

• Welke voordelen en risico’s heeft peer review als kwaliteitsinstrument in het HBO? en 
• Welke competenties vraagt peer review van de hierbij betrokken professionals?

1. Voordelen en risico’s van peer review als kwaliteitsinstrument in het HBO
De eerste vraag wordt behandeld door spreker Peter Noordhoek, directeur van het adviesbureau Northedge. Peter ziet peer review als de belangrijkste ‘kwaliteitsinterventie’ om het vertrouwen in en binnen een sector op een hoger plan te krijgen.
Hij rondt op dit moment zijn proefschrift af onder de titel 'Trusting associations'. Daarbij gaat het zowel om de meest optimale vorm van peer review als om de acceptatie ervan.

• De aanloop om tot peer review over te gaan, loopt langs de weg van de vertrouwensvraag, via de kwaliteitsvraag, naar de instrumentvraag.
• In het wetenschappelijk onderwijs en - steeds meer - ook in het hoger beroepsonderwijs (HBO) spelen de peer reviews zich af op professioneel nivo.
• Verenigingen van beroepsgroepen zijn een in Nederland (nog) niet goed bekend, en vaak nog ondergewaardeerd fenomeen.
• Bij een handdruk geleid je elkaars ogen om oogcontact te maken. Bij het starten van een audit kan de kennismakingshanddruk al leiden tot een (eerste) intuïtief oordeel. Realiseer je wel dat dat eerste oordeel een vooroordeel kan zijn, dus de komende audit-dag ga je (dan) gebruiken om je (voor)oordeel te verifiëren, te toetsen. Wees je dus als auditor altijd bewust van je aanvankelijke vooroordeel.
• Als de leden van een (bijvoorbeeld beroeps-)groep niet in staat zijn om gezamenlijk te komen tot een eigen normenkader, heb je geen verantwoorde basis voor een goede audit. Je moet dan immers tijdens de lopende audit nog je eigen beoordelingskader opstellen, waarop je vervolgens gaat toetsen en beoordelen.
• Je kunt naar het auditen kijken als op een continuüm tussen enerzijds de 'coachende verbeteraudit' en anderzijds de 'beoordelende, selecterende audit'.
• Beroepsgroepen zijn veelal niet in staat om beroepsgroepsleden uit hun vakvereniging te zetten. Het is gebruikelijk dat er dan eerst nog iets aan de geconstateerde problematiek wordt gedaan, bijvoorbeeld door een individueel herstel, of met behulp van herstelassistentie door en van collega’s.
• Het maakt wel degelijk verschil of een peer review wordt uitgevoerd door experts of door gelijk gekwalificeerde collega’s. Bij peer review is sprake van horizontale toetsing, met gelijkwaardigen als auditor en auditee. In de onderlinge relatie – vooral met gelijkwaardige collega-auditoren - ontstaat al snel vertrouwen, en dan zie je dat de auditee al spoedig leeg gaat lopen, en daarin heel veel (soms teveel) gaat vertellen.

2. Gewenste competenties van professionals bij peer review
De tweede vraag wordt vandaag beantwoord door Lieve Desplenter van de Nederlands-Vlaamse Accreditatieorganisatie (NVAO). Zij staat aan de basis van het train the trainer-programma van beoogde voorzitters van visitatiepanels van opleidingsbeoordelingen. Daarnaast heeft zij samen met een collega van de NVAO de trainingen in Nederland en Vlaanderen ontwikkeld voor ITK-panelleden (Instellingstoets Kwaliteitszorg). Zij informeert ons over wat vanuit NVAO-perspectief gezien wordt als de essentiële competenties die panelleden moeten bezitten om een goede peer review te (kunnen) verrichten en waarom de NVAO deze competenties centraal stelt.
Ze begint met een inleiding over de BaMa-structuur (Bachelor/Master), en wijst daarna op het daarin gewenste onderling vertrouwen in elkaars onderwijs en diploma’s, mede om aan te geven dat een en ander niet vrijblijvend is, want de standaarden op Europees nivo liggen (daaarom) vast.
Zo moet bijvoorbeeld peer review worden uitgevoerd door een commissie van externe, gezaghebbende, onafhankelijke deskundigen, waarbij overigens ook een student-lid deel uit maakt van het panel. We zijn er op dit moment van overtuigd dat er geen beter systeem is dan de peer review met deskundigen uit onder andere: het betreffende vakgebied, uit het onderwijs, uit het werkveld en overigens ook internationaal georiënteerd.

Peer review, …. Waartoe?
Het toetsen van de onderwijskwaliteit gebeurt ten dienst van de accreditatie, waardoor de deugdelijkheid van de opleiding in het hoger onderwijs Europees-breed (h)erkend wordt.
Er ontstaat hier en nu een discussie over de vraag in hoeverre een peer review nog onafhankelijk kan plaatsvinden als je voor deze peer review je naaste collega-experts nodig hebt, waarmee je in allerlei andere verbanden ook al vakmatige contacten onderhoudt en samenwerkt. Vooral bij nogal specifieke master-opleidingen en bij gespecialiseerde lectoraten speelt dit verantwoordingsvraagstuk een rol.
Als je daarentegen dan in de breedte op zoek gaat naar auditoren onder docenten van collega-hogescholen, kom je in de discussie met de evaluatieburo’s en/of met de NVAO al snel terecht bij een heel andere vraag met betrekking tot een ander selectiecriterium, namelijk of die voorgedragen panelleden wel gezaghebbend zijn.
Peer review is geen exacte wetenschap.
Collegiale toetsing mag nog wel beginnen bij de eerste, veelal subjectieve, meningen, maar als je alle subjectieve meningen van meer auditorenteamleden naast elkaar legt, kun je ten finale prima komen tot een overall eindoordeel met een onbevangen, onpartijdige, niet vooringenomen en zakelijke mate van objectiviteit.

De tweede presentatie wordt verzorgd door Lieve Desplenter (NVAO)

Peer review, …. Hoe?
Je moet als auditor uitgaan van een positieve grondhouding, van de context van de opleiding, beginnend met desk research, gevolgd door het in gesprek gaan met de opleiding, om daarna dan goed onderbouwd te oordelen en adviseren.
Dat vraagt voor wat betreft kwaliteiten en competenties in elk geval:

• Een juiste mindset, uitgaand van de doelstellingen, de doelgroep, de (didactische) keuzes van de opleiding; met een kritisch-waarderende grondhouding, met oog voor perspectieven, voor de spelende belangen, gevoeligheden, en voor schaalgrootte.
• Een adequate attitude: onpartijdig, onbevangen, niet vooringenomen, zakelijk, met een gezonde dosis nieuwsgierigheid, toegankelijk, open en benaderbaar, discreet en positief ingesteld,
• Onderzoeksvaardigheden: (zelf)reflectievaardigheden, analysevaardigheden, observatievaardigheden en beoordelingsvaardigheden, en
• Communicatievaardigheden: bijvoorbeeld de juiste vragen ook juist stellen; zorgend voor een shift in denken, verrassend, niet alleen het hoofd raken, verbinding creëren, uitnodigende vragen om door te laten vertellen, en waarderende vragen.

Afsluitend collegiaal gesprek
Nadat Peter Noordhoek en Lieve Desplenter een inleiding op hun vraag hebben verzorgd, gaan zij met elkaar en met de deelnemers in de goed gevulde zaal in gesprek over beide vragen. Hierbij onderzoeken we ook de mogelijkheden en de beperkingen die peer review biedt als kwaliteitsinstrument in het HBO.
Enkele zaken die in dit plenaire groepsgesprek aan de orde komen:

• Beoordelingsonderzoek voor acceptatie van panelleden is bij de NVAO voornamelijk des research, waarbij incidenteel toch ook nog wel eens wordt gebeld met een kandidaat-panellid om meer achtergrondinformatie.
• Een vraag die vanmiddag wordt gesteld, is bijvoorbeeld of je bij visitaties wellicht bij het – politiek al geopperde - schrappen van de beoordelingen ‘Goed’ en ‘Excellent’ de benadering van peer review los moeten laten, om dan voor de nog resterende beoordelingen 'Onvoldoende' of 'Voldoende' alleen nog panelleden in te zetten die goed het onderscheid kunnen en dienen aan te geven tussen onvoldoende en voldoende, en om dan de peer reviewers alleen nog bij eigen interne audit in hogescholen in te zetten ten behoeve van het verkrijgen van (door)ontwikkeladviezen.
• In Nederland schuiven we met onze opeenvolgende accreditatiestelsel-generaties op van ‘beoordeling ter selectie’ naar ‘beoordeling ter advies’. Peer review in het huidige Nederlandse accreditatiestelsel is daarin als een tussenfase te beschouwen.
• Wat er in het stelsel tot nu allemaal al is veranderd; de beoordeling op de vier NVAO-standaarden blijft in alle ontwikkelingen nog steeds overeind.
• Kwaliteitsbeoordelingscriteria schuiven in deze jaren in verschillende branches steeds meer op naar contractueel vastgelegde verplichtingen.
• Ook bij peer review houd je spanning op het auditproces, zolang er nog een beoordeling aan is gekoppeld.