Richtlijn korte praktijkbeoordeling

Tijdschrift voor Medisch Onderwijs, Oct 2010

De opdracht tot het ontwerpen van een In VIVO Richtlijn korte praktijkbeoordeling (KPB) is verleend aan de In VIVO kernteams van Utrecht en Nijmegen. De Richtlijn is ontworpen door een kleine projectgroep, bestaande uit prof. dr. Olle ten Cate (UMC Utrecht) en drs. Lia Fluit (UMC St Radboud Nijmegen) met medewerking, in het bijzonder voor het literatuuronderzoek, van Femke ten Velde en Anneke Sterkenburg (UMC Utrecht), Els Pelgrim en Laura Spinnewijn (UMC St Radboud Nijmegen). De tekst is vervolgens becommentarieerd door de In VIVO kernteams van de Onderwijs- en Opleidingsregio (OOR) Utrecht en de OOR Nijmegen, door het Projectteam In VIVO en door de Reviewcommissie Richtlijnen van de NVMO.

A PDF file should load here. If you do not see its contents the file may be temporarily unavailable at the journal website or you do not have a PDF plug-in installed and enabled in your browser.

Alternatively, you can download the file locally and open with any standalone PDF reader:

https://link.springer.com/content/pdf/10.1007%2Fs12507-010-0101-6.pdf

Richtlijn korte praktijkbeoordeling

Th.J. ten Cate C.R.M.G. Fluit - Voorwoord De opdracht tot het ontwerpen van een In VIVO Richtlijn korte praktijkbeoordeling (KPB) is verleend aan de In VIVO kernteams van Utrecht en Nijmegen. De Richtlijn is ontworpen door een kleine projectgroep, bestaande uit prof. dr. Olle ten Cate (UMC Utrecht) en drs. Lia Fluit (UMC St Radboud Nijmegen) met medewerking, in het bijzonder voor het literatuuronderzoek, van Femke ten Velde en Anneke Sterkenburg (UMC Utrecht), Els Pelgrim en Laura Spinnewijn (UMC St Radboud Nijmegen). De tekst is vervolgens becommentarieerd door de In VIVO kernteams van de Onderwijs- en Opleidingsregio (OOR) Utrecht en de OOR Nijmegen, door het Projectteam In VIVO en door de Reviewcommissie Richtlijnen van de NVMO. De projectgroep heeft zich voor het opstellen van deze Richtlijn gebaseerd op de nationale en internationale literatuur, op een inventarisatie van bestaande toepassingen van de KPB in Nederland en op eigen ervaringen en gesprekken met betrokkenen bij het gebruik van de KPB. Status van de Richtlijn Deze Richtlijn is bedoeld als hulp bij het omgaan met KPBs, en is zoveel mogelijk gebaseerd op argumentatie uit de literatuur en de praktijk. Omdat in Nederland het werken met KPBs pas enkele jaren gebruikelijk is, is het noodzakelijk de Richtlijn ook in de toekomst verder te blijven ontwikkelen. Er is een wisselwerking tussen de status van deze Richtlijn en de modernisering van de beoordelingsprocedures in de vervolgopleidingen. De modernisering van deze opleidingen is een dynamisch proces dat niet af is bij de vaststelling van de nieuwe curricula. Dat geldt ook voor de wijze van het beoordelen van de artsen in opleiding tot specialist (aios). Wij hopen dat in de toekomst deze Richtlijn de verdere ontwikkeling en verfijning van procedures, in het bijzonder de toepassingen van de KPB, zal faciliteren. Het eerste deel is de feitelijke richtlijn; het tweede deel van dit document vormt de verantwoording. Het format is ontleend aan de standaarden van het Nederlands Huisartsen Genootschap (NHG). Definitie en eisen van de KNMG In het kaderbesluit van het Centraal College Medische Specialismen (CCMS) 2009 staat de KPB omschreven als een instrument om gestructureerde feedback te geven op een taak die in de praktische setting wordt uitgevoerd. Voorbeelden van een KPB zijn een (poli)klinisch consult, een technische ingreep, het omgaan met medewerkers, multidisciplinair overleg (MDO) en het beoordelen van een biopt of beeldopname. Vanaf 1 januari 2011 moeten bij iedere aios minimaal tien KPBs per jaar worden afgenomen. Deze KPBs worden verzameld in het portfolio van de aios. Ieder specialisme heeft een eigen opleidingsplan waarin vastgelegd is wanneer en op welke wijze de KPB wordt ingezet. Een aantal opleidingen heeft een eigen KPB formulier of meerdere KPB formulieren voor verschillende situaties opgenomen in het opleidingsplan, andere hanteren een standaardformulier. Er is reglementair echter vrijheid in het ontwerp en toepassing van de KPB. Deze Richtlijn is bedoeld als houvast in het ontwerp en de toepassing. De KPB heeft vijf kenmerken en kan daarmee gedefinieerd worden als een: directe observatie van het optreden van een aios, in een natuurlijke werksituatie in de (patinten)zorg, gedurende vijf tot vijftien minuten, gevolgd door een korte schriftelijke vastlegging van het oordeel, en direct gevolgd door een kort feed backgesprek. Doel en functie van de korte praktijkbeoordeling Het doel van de KPB is het kunnen beoordelen wat een aios in een specifieke werksituatie kan. De combinatie van de vijf kenmerken onderscheidt de KPB van andere beoordelingen, zoals bij examensituaties, bij simulaties, bij schriftelijke toetsingen en bij multisource feedback. De KPB is bij uitstek een instrument om op het hoogste van de vier niveaus van Miller (knows, knows how, shows how, en does) een beeld te krijgen van de aios op basis waarvan feedback gegeven kan worden over diens competentie. Het geeft snapshots uit de praktijk en heeft vooral waarde indien er meerdere KPBs worden uitgevoerd bij dezelfde aios. De KPB maakt gebruik van een formulier met verschillende competentiedomeinen waarop de aios beoordeeld kan worden. De KPB is ontleend aan de miniCEX (Mini Clinical Evaluation Exercise), begin jaren negentig ontwikkeld in Amerika door internisten en gericht op het in de praktijk observeren en beoordelen van vaardigheden van aios. De KPB heeft primair een formatief doel: ze geeft de aios informatie en feedback over zowel sterke punten als verbeterpunten ten aanzien van de klinische competentie. Maar meerdere KPBs kunnen samen ook een summatief doel dienen, vooral in combinatie met informatie uit kennistoetsen, multisource feedback, scores op Critically Appraised Topic (CAT) procedures, Objective Structured Assessment of Technical Skills (OSATS) scores en uit andere bronnen, gericht op het nemen van beslissingen over de opleidingsvoortgang. Het baseren van summatieve beslissingen op uitsluitend KPBs is echter af te raden, zeker bij ongetrainde beoordelaars, vanwege de beperkte betrouwbaarheid. Situaties waarvoor de korte praktijkbeoordeling geschikt is Bij een KPB wordt de aios beoordeeld op het handelen in de dagelijkse praktijk: hier moet competentie blijken. Het kan om uiteenlopende activiteiten gaan, zoals een klinisch consult bij opname of poli, een zaalvisite, een technische verrichting en functieonderzoek, een technische handeling binnen de OK, een patintpresentatie bij het ochtendrapport of overdracht, specifieke gesprekken met patinten of familie, een intercollegiaal overleg, het voorzitten van mono- of multidisciplinair overleg of een andere activiteit, etc. De dienst biedt vaak goede mogelijkheden om een KPB af te nemen. De methode leent zich voor de koppeling van korte observaties aan die elementen die voor de opleiding als kritische activiteiten zijn aangemerkt, c.q. aan wat ook wel wordt genoemd entrustable professional activities, activiteiten die op een bepaald moment tijdens de opleiding aan een aios voor zelfstandige uitvoering moeten kunnen worden toevertrouwd. Deze activiteiten zijn vaak patintgebonden en kunnen geschikt zijn voor een KPB. Het CCMS kaderbesluit van 2009 noemt ook het beoordelen van een technische ingreep geschikt voor de KPB. Hiervoor is door een aantal verenigingen ook een OSATS formulier in gebruik genomen. Voor het gebruik van OSATS in de praktijk is een aparte Richtlijn ontwikkeld. De principes van het beoordelen van een technische handeling verschillen echter niet wezenlijk met die van andere praktijksituaties. In zijn algemeenheid geldt dat alle situaties, waarin door korte, directe observaties een goed beeld kan worden gekregen van de kwaliteit van handelen, zich in beginsel lenen voor een KPB. Betrouwbaarheid, validiteit en aantal korte praktijkbeoordelingen De validiteit van KPBs wordt in het algemeen als goed beschouwd, omdat ze de werkelijkheid optimaal benadert. De betrouwbaarheid van een score op n enkele KPB is laag; om enigszins betrouwbare uitspraken te kunnen doen zijn dus meerdere oordelen nodig. Uit onderzoek komt niet eenduidig naar voren hoeveel KPBs hiervoor nodig zijn; dit varieert in de literatuur van zeven tot vijftig per jaar. De minimumeis in het kaderbesluit van de CCMS van tien per jaar kan beschouwd worden als ondergrens voor een betrouwbaar en valide oordeel over de aios, mits de procedure zorgvuldig is gehanteerd. Welke competenties worden beoordeeld met een korte praktijkbeoordeling? Met een KPB worden competenties van de aios beoordeeld. Welke competenties dat zijn is mede afhankelijk van de situatie waarin een KPB wordt afgenomen. De diversiteit in beoordelingssituaties en te beoordelen activiteiten hebben geleid tot het ontstaan van uiteenlopende KPB formulieren. Er is niet n correct KPB formulier. De KPB is veeleer een methode, waarvoor verschillende formulieren ontworpen kunnen worden. In Tabel 2 (zie deel II -Achtergronden bij deze Richtlijn) zijn acht situaties en ruim vijftig vaardigheden, c.q. aspecten van een competentie in verscheidene klinische praktijksituaties weergegeven. Selecties hieruit kunnen in verschillende varianten van het KPB formulier worden opgenomen. Een koppeling van deze aspecten aan de CanMEDS (Canadian Medical Education Directions for Specialists) competentiegebieden op het formulier wordt aangeraden. Het is belangrijk niet teveel te willen bespreken na een KPB. Mede gezien de beperkte tijd voor de feedback is het raadzaam om per KPB de beoordeling en de feedback tot maximaal drie competentieaspecten te beperken. De beoordelaars Opleiders, superviserende stafleden en afdelingshoofden kunnen bij een KPB als beoordelaar fungeren. Belangrijk is dat een aios door verschillende beoordelaars wordt beoordeeld. Clinici verschillen onderling en juist dat kan leerzaam zijn voor de aios. Het trainen van beoordelaars vergroot de betrouwbaarheid van het beoordelen. Ook een ouderejaars aios kan een KPB invullen. De Medisch Specialisten Registratie Commissie (MSRC) zal een aios mogelijk niet als beoordelaar erkennen, maar wel als de beoordeling gesuperviseerd wordt. Dit biedt de aios de mogelijkheid te oefenen in het intercollegiaal beoordelen en in het feedback geven, hetgeen past bij het competentiegebied kennis en wetenschap. Praktische aspecten KPBs zijn geschikt gedurende de gehele vervolgopleiding n voor het klinische gedeelte van de basisartsopleiding. Het is een korte observatie die minimaal vijf maar meestal tien tot vijftien minuten duurt waarna feedback plaatsvindt. In de regel wordt vooraf afgesproken dat een KPB wordt afgenomen, maar een KPB kan ook spontaan afgenomen worden als daartoe aanleiding is. In de praktijk kan het verstandig zijn de KPB in te plannen in het rooster en maximaal een half uur te reserveren voor de KPB, mede afhankelijk van de soort KPB. De aios, het staflid en soms ook de patint moeten goed op de hoogte zijn van de procedure. Het staflid kan het best buiten het gezichtsveld van de patint blijven; een video- of webcamopname is een goed alternatief. Voordelen hiervan zijn dat de beoordeling op een flexibel moment kan geschieden en ook dat de aios zichzelf kan terugzien. Het geven van constructieve feedback is een vaardigheid waarvoor training nuttig is. De zogeheten Pendleton regels (wat gaat goed, wat kan beter) vormen geen gouden standaard, maar zijn wel een geschikt houvast voor het geven van feedback. Goede feedback is voorts specifiek, persoonlijk en wordt onder veilige omstandigheden verstrekt, met vermijden van onnodig gezichtsverlies. Het formulier Er bestaan veel varianten van het KPB formulier, vooral omdat situaties die voor een KPB geschikt zijn per opleiding en binnen opleidingen verschillen. Ook persoonlijke voorkeuren voor de KPB procedure spelen een rol. Minimaal bevat ieder KPB formulier een identificatie/naam van de aios en de beoordelaar, datum, setting of situatieaanduiding, lijst met te beoordelen aspecten van het handelen, en ruimte voor schriftelijke feedback, in het bijzonder voor suggesties voor verdere ontwikkeling. Optioneel zijn scoringsopties met schaalwaarden, opleidingsstadium van de aios, type patint of type handeling, toelichting per beoordelingsaspect, instructie voor invulling van het formulier en plaats voor een handtekening van beoordelaar en aios. Relatie tot portfolio, voortgangsgesprek en bekwaamverklaringen De functie van KPBs voor bekwaamverklaringen voor specifieke professionele activiteiten in de opleiding en voor gebruik in het portfolio, is beschreven in twee afzonderlijke Richtlijnen, verschenen als supplement 2 en 3 bij het Tijdschrift voor Medisch Onderwijs. Stafleden en aios kunnen situaties kiezen voor een KPB die zich lenen voor een beoordeling of herbeoordeling van aandachtspunten en verbeterpunten die in een portfolio zijn vastgelegd. Het portfolio vormt de basis voor de verplichte voortgangsgesprekken tijdens de opleiding. Invoering van korte praktijkbeoordelingen als systeem en training van klinische staf Voor een succesvolle uitvoering van de KPB methode is het bewust benutten van diverse praktijksituaties om een KPB af te nemen van belang. Dat betekent een actieve houding van zowel de aios als het opleidingsteam, een goede planning van opleidingsactiviteiten, goede informatievoorziening naar alle betrokkenen en training van klinische staf en aios. De KPB vereist vaardigheid in observatie, in beoordeling en in feedbackverstrekking, waarvoor training sterk wordt geadviseerd. Achtergronden bij de Richtlijn korte praktijkbeoordeling 1. Inleiding en context De beoordeling van artsen in opleiding tot specialist (aios) is grofweg te verdelen in drie benaderingen, te vertalen in drie vragen: Wat weet de aios? Het antwoord op deze vraag is goed te ontlenen aan de resultaten van (allerlei vormen van) kennistoetsing, zoals een schriftelijke of computergestuurde toetsing, van een voortgangsmeting of van een mondelinge kennismeting zoals chartstimulated recall (naar aanleiding van patintendossiers) en case-based discussion.1 Wat kan de aios? Voor deze vraag leent zich de directe observatie van het handelen. Dat kan in de dagelijkse praktijk via KPBs en in gearrangeerde omstandigheden met simulatietechnieken zoals de Objective Structured Clinical Examination (OSCE) en de Objective Structured Assessment of Tech nical Skills (OSATS*).1 Ook het beoorde len van producten zoals een status, protocol of wetenschappelijk verslag valt hieronder. In de snijdende beroepen kan een product overlappen met een vaardigheid, indien sprake is van een beoordeelbaar resultaat van een ingreep. Aan de OSATS is een afzonderlijke Richtlijn gewijd die in dit supplement is opgenomen.2 Hoe functioneert de aios als professional in de praktijk? Deze vraag wordt het best beantwoord via evaluatie van het functioneren over een periode in het verleden vanuit meerdere bronnen. Hiervoor is een multisource feedback procedure nuttig. Ook hieraan is een andere Richtlijn gewijd.3 De KPB is direct ontleend aan de zogeheten Mini Clinical Evaluation Exercise (miniCEX), ontwikkeld bij de American Board of Internal Medicine (ABIM). De systematische beoordeling van klinische competenties bij aios is vanaf 1972 in de VS op gang gekomen nadat de ABIM het mondelinge examen had afgeschaft.4 De Clinical Evaluation Exercise (CEX) werd gentroduceerd als nieuw evaluatiesysteem.5 Hierbij observeert de supervisor een aios bij een uitgebreid patintcontact van begin tot eind en geeft hierover feedback in een gestructureerd examen van ongeveer twee uur. De betrouwbaarheid en validiteit van de CEX bleken laag te zijn.6-9 Na 25 jaar werd deze aanpak daarom herzien. De miniCEX gaat uit van multipele korte beoordelingsmomenten van klinische consulten op de werkvloer. De methode is flexibel omdat diverse patintgebonden klinische situaties als beoordelingsmoment kunnen fungeren, de toepassing per keer weinig tijd vergt en de beoordelingssituatie natuurgetrouwer is dan bij een lang patintenexamen. * In de Nederlandse context wordt de term OSATS niet gebruikt voor een objectief gestructureerde assessment, maar voor observatie van technisch handelen in de praktijk. Er is voor deze Richtlijn systematisch gezocht naar literatuur over KPB methoden, onder verschillende benamingen. Hiervoor zijn de zoekmachines Pubmed en Cochrane gebruikt, met trefwoorden miniCEX, CEX, Workplace-based assessment, internationale termen voor aios, gecombineerd met de KPB aspecten, en ingeperkt tot de medische vervolgopleidingen. Dit leverde in Pubmed 376 en in Cochrane 434 artikelen op. Vervolgens werd op titel, abstract en tekst gescreend. Na ontdubbeling bleken 32 artikelen bruikbaar. Gaandeweg werd nieuwe literatuur toegevoegd via extra searches met nieuwe termen, opgedaan in de initile search. Daarnaast werden van relevante artikelen gerelateerde verwijzingen gescreend en werd gebruik gemaakt van de Pubmeds service MyNCBI om nieuwe artikelen binnen de opgegeven zoekstrategie te signaleren. Tenslotte zijn relevante publicaties die in de periode van schrijven (2008-2010) verschenen handmatig toegevoegd. 2. Definitie en eisen van de KNMG Een KPB bestaat uit een observatie van een specifieke werksituatie gedurende vijf tot vijftien minuten, gevolgd door feedback die schriftelijk wordt vastgelegd en mondeling wordt toegelicht. Hiermee onderscheidt de KPB zich van andere beoordelingen, zoals bij examensituaties, bij simulaties, bij schriftelijke toetsingen en bij multisource feedback. De KPB is bij uitstek een instrument om op niveau vier van Miller (knows, knows how, shows how, en does) de competentie van de aios op de werkvloer steekproefsgewijs te beoordelen.10 De KPB is een snapshot of steekproef uit de praktijk en heeft vooral waarde indien er meerdere KPBs worden uitgevoerd bij dezelfde aios. Het is dus niet een verslag van een periode (zoals een werkdag of langer, een dienst, een poli-ochtend, e.d.), of van een product (zoals een status). De term KPB wordt in de praktijk zowel gebruikt voor de beoordelingsprocedure als ook ter aanduiding van een ingevuld KPB formulier. Samenvattend kent de KPB vijf kenmerken, en kan daarmee gedefinieerd worden als een: directe observatie van het optreden van een aios, in een natuurlijke werksituatie in de (patinten)zorg, gedurende vijf tot vijftien minuten, gevolgd door een korte schriftelijke vastlegging van het oordeel, en direct gevolgd door een kort feedbackgesprek. Bij de KPB maakt men altijd gebruik van een formulier. Er zijn in korte tijd in Nederland veel varianten ontworpen van het basisformulier dat afgeleid is van het model uit de VS dat als voorbeeld heeft gediend. Om van een KPB te kunnen spreken zijn enkele kenmerken noodzakelijk aanwezig en enkele kenmerken optioneel. Vaste kenmerken van ieder KPB formulier zijn: Identificatie/naam van de aios Identificatie/naam van de beoordelaar Datum Setting of situatieaanduiding Lijst met te beoordelen aspecten van het handelen Ruimte voor schriftelijke feedback, in het bijzonder voor suggesties voor verdere ontwikkeling Optionele kenmerken van het KPB formulier zijn: Scoringsopties met schaalwaarden Opleidingsstadium van de aios Type patint of type handeling Toelichting per beoordelingsaspect Instructie voor invulling van het formulier Plaats voor een handtekening van beoordelaar en aios In 2004 werd de Korte Klinische Beoordeling of KKB, een directe vertaling van het prototype van de miniCEX,11 in Nederland door het Centraal College voor Medische Specialismen (CCMS) in een Kaderbesluit opgenomen en verplicht gesteld als instrument voor de beoordeling van aios.12 In 2007 werd de term KPB vastgelegd in het CCMS protocol over toetsen en beoordelen van aios.13 De naamsverandering van KKB naar KPB weerspiegelt de opvatting dat de methode niet slechts geschikt is voor de beoordeling van de aios bij een patintgebonden klinisch consult, maar voor ieder observeerbaar moment waarop de aios relevant klinisch werk in de praktijk verricht. In het Kaderbesluit CCMS van 2009, artikel B11, is opgenomen dat in iedere opleiding bij iedere aios tenminste tien maal per jaar een KPB wordt uitgevoerd.14 3. Doel en functie van de korte praktijkbeoordeling De KPB behoort tot de groeiende familie van workplace assessment methoden, instrumenten om klinische competenties op de werkplaats te beoordelen, waarvan onlangs een uitstekend overzicht is verschenen.15 Hoewel de KPB mede is ontwikkeld om de betrouwbaarheid van eindoordelen over aios te vergroten, is de algemene opvatting thans dat de KPB vooral een onderwijsfunctie heeft en informatie aan de aios moet verschaffen over de voortgang. KPBs hebben in de eerste plaats dus een formatief doel, c.q. het doel om van de beoordeling iets te leren, waarbij verbetering van het handelen op de voorgrond staat.16 Dit doel wordt bij een KPB bereikt doordat aan drie basisprincipes voor formatieve beoordelingen voldaan wordt: a) er wordt beoordeeld wat men wil weten; b) de feedback wordt direct gegeven en c) de beoordelingen worden zo ingezet dat de beoordeelde in de richting van de gewenste uitkomst gestuurd kan worden. Van belang is dat de KPB verweven wordt met zowel de opleidingsdoelen als met de klinische praktijk.16-17 Dit is belangrijk omdat toetsing het leergedrag stuurt. Als een aios op een valide manier wordt beoordeeld in de praktijk zal diens leergedrag zich richten op het zo goed mogelijk handelen in die praktijksituatie. Zo wordt leren voor het beoordelingsmoment gelijk aan leren om een betere arts of specialist te worden.18-19 Competentie is vooral goed te beoordelen bij samengestelde taken, waarbij het nodig is om zowel kennis, vaardigheid, probleemoplossend vermogen als attitude bij elkaar te brengen.17 20 De KPBs kunnen behalve een formatief soms ook een summatief doel dienen. De termen formatief (ontwikkelingsgericht) en summatief (gericht op beslissingen) worden vaak als strikt gescheiden gezien. In de praktijk is er eerder sprake van een glijdende schaal, van een terloopse opmerking met het karakter van een tip tot een beslissing over slagen voor of stopzetten van de gehele opleiding. Hoe zwaarder de consequenties zijn, des te belangrijker is de betrouwbaarheid van het oordeel. Als uit een serie KPBs een duidelijke progressie naar voren komt, kan afhankelijk van andere informatie, bijvoorbeeld uit kennistoetsen, uit multisource feedback, uit de scores op CAT procedures en uit OSATS scores, tot een verantwoorde summatieve beoordeling besloten worden. Samengevat hebben KPBs in de eerste plaats een formatieve functie, waarin feedback voorop staat, en een algemene educatieve functie, doordat observatie wordt afgedwongen. Tenslotte is de belangrijkste functie van de KPB misschien wel dat er observatie in de praktijk geschiedt, hetgeen vaak niet of nauwelijks spontaan gebeurt.21 4. Situaties waarvoor de korte praktijkbeoordeling geschikt is Bij een KPB wordt de aios beoordeeld op het handelen in de dagelijkse praktijk.16 Het kan om uiteenlopende activiteiten gaan: een lichamelijk onderzoek of een deel daarvan, een anamnese, een slechtnieuwsgesprek, een technische handeling, een ingreep of operatie, een presentatie tijdens een ochtendrapport of tijdens de overdracht, een referaat of een andere activiteit. De methode leent zich voor de koppeling van korte observaties aan die elementen die voor de opleiding als kritische activiteiten zijn aangemerkt, c.q. aan wat wel wordt genoemd entrustable professional activities, of aan kritische beroepssituaties: activiteiten die op een bepaald moment tijdens de opleiding aan een aios voor zelfstandige uitvoering moeten kunnen worden toevertrouwd.22 Observatie van een technische verrichting, van een presentatie of van het leiden van een vergadering, van het spreken met de familie van een patint, al of niet na overlijden, en van het uitvoeren van onderwijs, zijn voorbeelden van activiteiten die observeerbaar zijn en daarom geschikt voor de KPB, mits er een toepasselijk formulier is. Het CCMS kaderbesluit van 2009 noemt de volgende situaties geschikt voor de KPB: het (poli-)klinische consult, een technische ingreep, het omgaan met medewerkers, het multidisciplinair overleg (MDO) en het beoordelen van een biopt of beeldopname. Alle gevallen waarin door korte, directe observaties een goed beeld kan worden gekregen van de kwaliteit van handelen lenen zich in beginsel voor een KPB. Of omgaan met medewerkers daarvoor geschikt is moet betwijfeld worden, omdat een momentopname hiervoor waarschijnlijk een onevenwichtig beeld geeft. Multisource feedback procedures zijn daarvoor geschikter. De toepassing van de mini-CEX is voor klinische situaties met verschillende categorien patinten beschreven. Onderscheid is wel gemaakt tussen opgenomen patinten, ambulante patinten op de poli en patinten op de Spoedeisende Eerste Hulp (SEH). Ook wordt soms een onderscheid gemaakt tussen nieuwe en controlepatinten.4 23-25 De KPB is oorspronkelijk bedoeld als observatie-instrument voor het klinisch consult. Er zijn echter veel meer situaties waarin de KPB kan worden toegepast, hoewel niet iedere situatie zich leent voor de observatie van alle relevante competenties. In Tabel 1 zijn acht praktijksituaties aangegeven die geschikt zijn voor een KPB, gekoppeld aan de CanMEDS gebieden. Per situatie is het uiteraard niet altijd mogelijk om al deze aspecten te observeren, maar de tabel geeft houvast over de mogelijke te beoordelen competenties. Er is onder verschillende benamingen gepubliceerd over uiteenlopende varianten op de KPB die vermeldenswaard zijn: De Minicard is een variant op de miniCEX met vier groepen van beoordelingsaspecten met elk drie items:26 anamnese (communicatie, data collectie/medische kennis en professioneel gedrag), lichamelijk onderzoek (medische kennis/lichamelijk onderzoek als diagnosticum, interpretatie van het lichamelijk onderzoek en professioneel gedrag), beoordeling van bevindingen (mondeling verslag, redenering en plan van aanpak), en plan/begeleiding/houding (communicatie, medische kennis en professionaliteit). Het In-Training Evaluation Report (ITER), de verplichte workplace beoordeling die in de Canadese vervolgopleidingen al sinds medio jaren zeventig bestaat.27 Veel voorbeelden zijn op het internet eenvoudig terug te vinden. Het formulier lijkt op dat van de KPB, maar is in het gebruik wezenlijk verschillend. De ITER betreft het oordeel over het functioneren gedurende een periode. De ITER heeft een summatief karakter en moet worden vastgelegd voor de Royal College of Physicians and Surgeons of Canada. De Professionalism Mini Evaluation Exercise (P-mex) is een voorbeeld van een KPB, gericht op n competentiedomein. Het formulier kent vierentwintig items en meet vier eigenschappen van professionaliteit in korte observaties in uiteenlopende situaties.28 De Ophthalmic Clinical Evaluation Exercise (OCEX) heeft de ACGMEcompetenties uit de VS als leidraad; de competenties patintenzorg, professionaliteit, communicatievaardigheden en medische kennis zijn opgenomen op het beoordelingsformulier.29-30 Er worden vier aspecten onderscheiden: anamnese, lichamelijk onderzoek, communicatie/professionaliteit en casuspresentatie. Per aspect worden zes tot twaalf concrete items genoemd die beoordeeld worden. De Objective Structured Assessment of Technical Skills (OSATS) wordt in Nederland gebruikt voor de beoordeling van een technische vaardigheid in de praktijk, in het bijzonder tijdens operaties.31 Deze procedure is in feite een KPB, zij het dat de duur van de observatie veel langer kan zijn dan de tien tot vijftien minuten uit de definitie van de KPB. Strikt genomen is de term OSATS niet juist. De OSATS is een in Toronto ontwikkelde stationstoets met simulatietechnieken voor de beoordeling van technische vaardigheden en is daarom objective en structured.32 De Nederlandse OSATS is niet vooraf gestructureerd, maar is een beoordeling in de praktijk, die een meer subjectief karakter heeft en waarvan de psychometrische kenmerken vanzelfsprekend minder sterk zijn dan de echte OSATS.33 In het Engels wordt Direct Observation of Procedural Skills (DOPS) wel gehanteerd voor een op vaardigheden ge richte KPB.16 Omdat in Nederland de OSATS een belangrijke, in het Kaderbesluit CCMS vastgelegde, procedure is voor de snijdende vakken is er een beknopte afzonderlijke In VIVO Richtlijn aan gewijd die in relatie tot de onderhavige Richtlijn moet worden gelezen. Veel van de achtergrondinformatie van de KPB Richtlijn is ook van toepassing voor de OSATS Richtlijn.2 De Global Rating Assessment of Skills in Intraocular Surgery (GRASIS) is een beoordelingsformulier dat speciaal is ontwikkeld voor directe observatie bij oogoperaties.34 Hierbij wordt op een vijfpuntsschaal antwoord gegeven op specifieke aandachtspunten zoals omgang met instrumenten, kennis van procedure, gebruik van de niet-dominante hand, omgang met (oog)weefsel, etc. Het is te beschouwen als een oogheelkundige variant op het OSATS formulier. In de anesthesie zijn KPBs beschreven voor specifieke situaties zoals het aanleggen van een epiduraalcatheter, een pre-operatief consult, een spoedinductie en een ronde op de Intensive Care Unit (ICU).35 In de dermatologie is de KPB beschreven voor het beoordelen van een patch test36 en in de chirurgie voor cholecystectomien.37 De Objective Structured Assessment of Laparoscopic Salpingectomy (OSA-LS) is beschreven als een methode met een onderverdeling in algemene vaardigheden en specifieke vaardigheden.38 De scoringssystemen voor deze technische vaardigheden kennen soms twee lijsten, n met punten voor technische zaken waaraan de aios voldaan moet hebben en n met fout-punten.37 Een systematische en onderwijskundig verantwoorde, alternatieve benadering is om het dagelijks werk van het specialisme te analyseren, de kritische activiteiten te identificeren die in de loop van de opleiding moeten kunnen worden toevertrouwd aan de aios en vervolgens voor de belangrijkste hiervan een KPB formulier te ontwerpen.39 5. Betrouwbaarheid, validiteit en aantal korte praktijkbeoordelingen De KPB wordt beschouwd als een valide beoordelingsmethode validiteit in de zin van authenticiteit met een beperkte betrouwbaarheid, afhankelijk van het aantal KPBs waarop een oordeel is gebaseerd en van de zorgvuldigheid waarmee de KPBs zijn ingevuld. Summatief beoordelen met KPBs stelt hoge psychometrische eisen, die niet altijd makkelijk zijn te vervullen. Beoordelingen zijn onder meer afhankelijk van opleiders en opleidingen en kunnen per opleidingssituatie wezenlijk verschillen.16 Om deze reden zijn meerdere KPB beoordelingen door getrainde beoordelaars nodig voor een betrouwbare beslissing over voldoende of onvoldoende. De KPB is een minder betrouwbare beoordelingsmethode dan examinering met simulatietechnieken.40 Een directe praktijkobservatie heeft echter ook duidelijke voordelen: het is gemakkelijker te organiseren en goedkoper en de beoordeling is meer valide in de zin van authentiek.41 Simulatiepatinten of -hulpmiddelen zijn niet altijd voorhanden. Minstens zo belangrijk is dat echte patinten in echte situaties zorgen Tabel 1. CanMEDS competentiegebieden en situaties voor de KPB. Klinisch consult bij opname of poli Zaalvisite Technische verrichting en functieonderzoek Technisch handelen binnen de OK (OSATS) Patintpresentatie bij rapport of overdracht Specifieke gesprekken met patinten of familie* Intercollegiale consultatie Voeren van mono- of multidisciplinair overleg** voor dynamiek. Patinten met echte gevoelens, echte pijn en echte karakters geven de aios een veel breder en meer valide spectrum van mogelijke handelingen, waarbij het brede competentiebegrip beter wordt benaderd. Betrouwbaarheid De betrouwbaarheid is de mate waarin een meting of beoordeling reproduceerbaar is, c.q. bestand is tegen verstoringen die de meting benvloeden. Een betrouwbare KPB moet eenzelfde uitslag opleveren bij een direct herhaalde uitvoering. Bij de vraag hoe reproduceerbaar KPB uitslagen zijn, moet de uitslag eerst worden gedefinieerd. Er zijn in principe drie soorten uitslagen: scores op individuele items, een overall score die soms is toegevoegd en feedbackopmerkingen. Daarnaast is voor de uitslag belangrijk wat de norm is waartegen de scoring wordt afgezet. Die kan a) absoluut zijn, dat wil zeggen een vergelijking zijn met een uiteindelijk te bereiken niveau, b) relatief zijn, dat wil zeggen een vergelijking betreffen met het gewenste of verwachte opleidingsstadium waarin de aios zich bevindt, c.q. een vergelijking met collega-aio betreffen, of c) een ontwikkelingsnormering betreffen, dat wil zeggen een vergelijking met vorige KPBs bij dezelfde aios. De betrouwbaarheid is niet zozeer afhankelijk van welke normering wordt gehanteerd, maar wel van de vraag of alle beoordelaars dezelfde normering gebruiken en of ze de KPB conscintieus invullen. De kans is groot dat een tweede afname van een KPB bij eenzelfde aios niet precies gelijk is, zeker als de KPB wordt afgenomen door een ander staflid. Scores zullen verschillen en feedbackopmerkingen zullen verschillen. Dat kan zeer waardevol zijn omdat de aios veel kan leren van verschillende beoordelaars, maar in termen van betrouwbaarheid (reproduceerbaarheid) voldoet n KPB niet om een harde uitspraak te doen over de competentie van de aios. De reproduceerbaarheid van scores op individuele items en van feedbackopmerkingen op de KPB is dus laag; die van een overall-score of van een somscore is iets hoger. Ook somscores zijn niet altijd voldoende betrouwbaar voor een summatief oordeel. Het is ook de vraag of een gemiddeld oordeel nuttig is, omdat juist het onderscheid tussen de items waardevol is: een aios is misschien goed in organisatie en in efficintie, maar niet in communicatieve vaardigheden. Er gaat dus ook waardevolle informatie verloren bij middeling van scores.20 Open opmerkingen en feedbackadviezen weerspiegelen de observaties van de clinicus die erbij staat; die kunnen anders zijn dan de observatie van een andere clinicus. Opmerkingen worden vaak waardevoller gevonden dan scores. Of ze ook betrouwbaarder zijn is moeilijk te zeggen. Uitrekenen daarvan is lastig, omdat ze daarvoor eerst gecategoriseerd en getransformeerd moeten worden naar een score, hetgeen eigenlijk nooit gebeurt. De betrouwbaarheid van een score op een bepaald aspect die gebaseerd is op meerdere KPBs is evident beter dan die van enkelvoudige KPBs. Dat komt doordat ruis, door toevallige omstandigheden of door het verschil tussen personen, over meerdere metingen uitmiddelt; de gemiddelde score komt bij de toename van het aantal metingen steeds dichter bij de score die de waarheid weerspiegelt (de ware vaardigheid). Hoeveel metingen nodig zijn voor een betrouwbare uitspraak over de competentie hangt af van het gewicht dat men hecht aan de nauwkeurigheid van die uitspraak. Zijn de consequenties groot, dan moet hij nauwkeurig zijn en dan zijn er veel metingen nodig. Wordt er alleen feedback verwacht, dan zijn de eisen veel minder hoog. Dan is n KPB al waardevol. Men kan concluderen dat KPBs alln niet geschikt zijn om een harde uitspraak te doen die ernstige consequenties heeft voor de voortgang van de opleiding, ook niet als er tien KPBs zijn afgenomen. Daarvoor is altijd meer informatie nodig. Daar komt bij dat de kwaliteit van een serie KPBs afhankelijk is van de kwaliteit van de afzonderlijke KPBs ervan. KPBs die slordig worden ingevuld of te gunstig worden ingevuld om een aios ter wille te zijn, verstoren het algemene beeld dat ontstaat. Training van stafleden in het toepassen van KPBs kan de betrouwbaarheid belangrijk verbeteren, maar voorzichtigheid blijft geboden. Aantal korte praktijkbeoordelingen voor een betrouwbaar oordeel Cronbachs alpha (range 0.0 1.0) wordt dikwijls gebruikt om de betrouwbaarheid van toetsen mee te schatten. Bij schriftelijke studietoetsen wordt een alpha van 0.80 meestal als minimumcriterium gehanteerd voor betrouwbaarheid, hoewel deze vaak lager ligt. Voor de mini-CEX zijn veel afnames vereist voor een redelijke alpha; Norcini noemt vier tot veertien;4 Durning et al. vonden een goede betrouwbaarheid bij zeven KPBs.23 Alves de Lima et al. vonden lagere betrouwbaarheden en schatten dat tot vijftig KPBs nodig zijn voor betrouwbare summatieve uitspraken.19 Williams et al. schatten in hun review dat een minimumaantal van zeven tot elf KPBs genoeg is om een betrouwbaar oordeel te vellen over de overall clinical competence, en dat het dubbele nodig is om een betrouwbaar beeld van specifieke competenties te krijgen.42 De tien KPBs per jaar die het CCMS in Nederland vereist, lijkt een redelijk aantal om bij een normaal functionerende aios de competentieontwikkeling te kunnen volgen. Als er twijfels bestaan over de competentie van een aios, dan is het aan te bevelen dit aantal te vergroten. Het aantal beoordelaars is mede bepalend voor de betrouwbaarheid van het oordeel dat gebaseerd is op de somscore van een serie KPBs en het is daarom van belang om zoveel mogelijk verschillende beoordelaars in te schakelen.43 Contextspecificiteit Een belangrijke waarneming uit onderzoek is dat medische competentie contextspecifiek is. Artsen die goed een bepaalde aandoening kunnen diagnosticeren zijn niet per definitie kundig in het diagnosticeren van andere (zelfs gerelateerde) aandoeningen.42 Het is daarom verstandig om observatiemomenten te spreiden over verschillende situaties, ziektebeelden en typen patinten. Dat verkleint de contextspecificiteit van de scores. Wat men wil is dat, indien een aios voor een aantal KPBs een voldoende beoordeling heeft gekregen, men mag aannemen dat hij of zij in andere praktijksituaties ook adequaat handelt. Anders gezegd: het oordeel moet te generaliseren zijn. Interbeoordelaarbetrouwbaarheid Beoordelingen kunnen per beoordelaar aanzienlijk verschillen. Twee factoren lijken hiervoor verantwoordelijk. Ten eerste vinden verschillende beoordelaars verschillende dingen belangrijk; ten tweede verschillen de verwachtingen die beoordelaars vooraf hebben van een aios. Uit onderzoek van Margolis et al. blijkt dat de strengheid van de beoordelaar meer invloed heeft op het cijfer dan de aios zelf.43 Er worden ook hoge correlaties tussen items gevonden: als het ene item streng wordt beoordeeld, dan wordt het andere dat ook. Dat is een halo-effect. Norcini et al. vonden dat de interbeoordelaarbetrouwbaarheid van de mini-CEX noch door de setting (opgenomen patinten, patinten bij de polikliniek of SEH) noch door de typen patinten (nieuwe of controlepatinten) sterk benvloed wordt.44 Uit recenter onderzoek bleek echter wel dat beoordelaars compenseren voor de moeilijkheidsgraad van de casus.45 De betrouwbaarheid en objectiviteit kan vergroot worden door gebruik te maken van gerichte video-opnames. Bij gynaecologische laparoscopien38 en laparoscopische cholecyctectomien37 werd alleen het operatiegebied in beeld gebracht, waardoor de aios onherkenbaar was. De objectiviteit werd hiermee vergroot. In de kliniek is er vaak weinig onderlinge afstemming tussen stafleden over beoordelingscriteria. De ene opleider geeft een voldoende omdat hij iets goeds heeft gezien terwijl een ander dat wellicht ook vond maar een onvoldoende scoort omdat het niet volledig was. Verder scoren sommige opleiders een wat chaotische anamnese als een onvoldoende anamnese, terwijl anderen dit rekenen onder organisatie/ efficintie omdat het zoveel tijd kost. Een training vooraf kan dit verschil in ieder geval reduceren. Er zijn auteurs die kritiek hebben op de traditionele benadering van betrouwbaarheid als interne consistentie en interbeoordelaarsovereenstemming bij dit soort beoordelingen, juist omdat experts moeten kunnen verschillen van inzicht.46-47 Schuwirth en Van der Vleuten stellen de vraag of die diversiteit zo erg is en of men dus wel moet streven naar homogeniteit onder de beoordelaars.20 De werkelijkheid is ook divers. Patinten en collegas zijn verschillend en denken en doen niet gelijk. Dat vergt ook van de aios flexibiliteit; hij/zij moet leren om het beste te halen uit beoordelingen en feedback van een grote diversiteit van beoordelaars. Dat staat ver af van de wens tot gestandaardiseerde beoordelingen, waarin iedereen gelijk wordt behandeld, alsof het een schriftelijk examen betreft. Competentie kan ook worden gezien als een wisselwerking tussen het individu en de omgeving en betreft dan de vraag hoe goed de aios in deze omgeving met deze collegas kan werken.47-48 Validiteit De inhoudsvaliditeit wordt bepaald door de aspecten die op het KPB formulier staan, en dus beoordeeld worden, en door de vraag of deze dekkend zijn voor wat er gemeten moet worden. Daarnaast is de zorgvuldigheid waarmee er beoordeeld wordt van groot belang. Dat benvloedt de betrouwbaarheid maar ook de validiteit, omdat er systematische vertekening kan optreden. Albanese heeft gewezen op het gevaar dat de toenemende n-op-n beoordelingen op de klinische werkvloer de normen van onderwijs compromitteren.49 -50 Er worden namelijk vaak te gunstige beoordelingen gegeven. Gemakzucht bij de beoordeling leidt snel tot te hoge scores. Dat pleziert de aios en vaak ook de beoordelaar, maar maskeert zwakte. Een te positieve documentatie, vooral als het een serie KPBs met handtekeningen van beoordelaars betreft, maakt het de opleider later zeer moeilijk om werkelijke problemen aan de orde te stellen. Het is ook daarom essentieel dat beoordelaars goed genstrueerd en getraind worden en conscintieus te werk gaan. Als via KPB resultaten een beeld ontstaat van de wijze waarop de competentie van een aios in de loop van de tijd toeneemt, pleit dit voor de constructvaliditeit. Blijkbaar wordt er dan iets gemeten (een construct) waarvan je verwacht dat het toeneemt en dat wordt dan gevonden. Holmboe et al. concludeerden dat stafleden over het algemeen goed het onderscheid kunnen maken tussen een onvoldoende, voldoende en een goede prestatie.41 Zij lieten veertig stafleden naar videos kijken waarin aios duidelijk verschillende prestatieniveaus lieten zien. Hoewel het juiste beoordelingsniveau significant vaker werd gekozen, hetgeen pleit voor de constructvaliditeit, was de spreiding wel groot. Durning et al. vonden steun voor de predictieve en convergerende validiteit van de KPB door hoge correlaties met andere maten voor klinische competentie.23 6. Welke competenties worden beoordeeld met een korte praktijkbeoordeling? Diversiteit in settings en te beoordelen activiteiten hebben geleid tot het ontstaan van uiteenlopende KPB formulieren. Oorspronkelijk bestond de mini-CEX uit vijf items: anamnese, lichamelijk onderzoek, klinische beoordeling, omgang/professioneel handelen en een totaalindruk.1 4 23 In de meeste beschrijvingen van de miniCEX gaat het om een formulier met zeven items: anamnese, lichamelijk onderzoek, omgang/professioneel handelen, klinische beoordeling, begeleiding, organisatie/efficintie en een overall competence.18 19 24 51 De KKB (Korte Klinische Beoordeling) zoals die oorspronkelijk in Nederland werd gentroduceerd, en waarschijnlijk thans het meest wordt gebruikt, bevat de items anamnese, lichamelijk onderzoek, professioneel handelen, probleemanalyse en klinisch redeneren, vervolgonderzoek en begeleiding, communicatie met de patint en tot slot organisatie en efficintie. Mede op basis van de literatuur en de beschrijving van KPB formulieren in nieuwe opleidingsplannen voor de vervolgopleidingen52 is in Tabel 2 een overzicht gegeven van ruim vijftig beoordelingsaspecten die opgenomen zouden kunnen worden in KPB formulieren in de meest voorkomende praktijksituaties. De lijst is niet limitatief; sommige specialismen zullen situaties kunnen formuleren waarvoor een KPB formulier met nog andere beoordelingsaspecten nuttig is. Het is aan te raden om niet alle mogelijke beoordelingsaspecten op n KPB formulier op te nemen, maar alleen die aspecten die voor een bepaalde praktijksituatie relevant zijn. Een KPB beoogt geen volledigheid. Anderzijds wordt het ook zeer onoverzichtelijk als er gewerkt wordt met zeer veel verschillende formulieren. Een beperkt aantal verschillende formulieren (niet meer dan drie of vier) per opleiding wordt aangeraden. Deze formulieren moeten dan algemeen toepasbaar zijn voor meerdere situaties. Een formulier voor technische verrichtingen moet voor alle relevante technische verrichtingen geschikt zijn. De consequentie kan zijn dat sommige items niet altijd kunnen worden ingevuld. Voor de formatieve doeleinden waarvoor de KPB vooral geschikt is, is dat geen enkel bezwaar. Dat ligt anders wat betreft sterk summatieve doeleinden. Dan is inhoudsvaliditeit van het oordeel belangrijk en is het gewenst om volledige, zorgvuldig ingevulde formulieren te hebben. Als richtlijn kan dienen dat drie tot maximaal zeven aspecten worden opgenomen op een KPB formulier. De relatie tussen beoordelingsaspecten en CanMEDS competentiegebieden roept soms ook vragen op. Het is zinvol om waar dat mogelijk is de CanMEDS competentiegebieden als kader te vermelden op het formulier zoals in Tabel 3 is aangegeven. De beoordelingsaspecten moeten goed begrepen worden door de beoordelaars. Het voert te ver om bij alle mogelijke beoordelingsaspecten in deze Richtlijn een definitie of beschrijving te geven. Op veel formulieren staat separaat (ernaast of op de achterkant) een korte definitie van elk aspect. Dat is aan te raden, en verdient de voorkeur boven het opnemen van een beTabel 2. Beoordelingsaspecten bij de meest voorkomende praktijksituaties waarvoor de KPB inzetbaar is. Patintpresentatie bij rapport of overdracht Voorbereiding Ordening diagnostische gegevens (anamnese, onderzoek, diagnostiek) Probleemstelling; hoofd- en bijzaken Differentile diagnose Behandelplan, prognose, complicaties Decursus Relevante vakkennis Opbouw voordracht Spreken (taal, stijl, dictie) en houding Kwaliteit visuele hulpmiddelen Tempo en tijdsbewaking Specifieke gesprekken met patinten of familie Organisatie en voorbereiding Professionele distantie en betrokkenheid Omgaan met sterke emoties Communicatie met patint en familie Voorzitten mono- of multidisciplinair overleg Organisatie vooraf Leiding nemen Vergader- en discussietechniek Formulering probleemstelling en prioritering hoofd- en bijzaken Discussiesamenvatting maken Actieplan formuleren Intercollegiaal overleg Beknopte, heldere vraagstelling formuleren Communicatie met collegas Formulering van voorstellen en adviezen Professionele intercollegiale opstelling Tabel 3. Voorbeeld van KPB items met het CanMEDS raamwerk als basis. Medisch Handelen Blijk van kennis en vaardigheid bij deze activiteit Communicatie met patint, collegas of anderen Samenwerking met assistentie tijdens deze activiteit 4 5 6 7 8 9 10 Organisatie en efficintie bij deze activiteit Kennis en wetenschap De kennisoverdracht tijdens deze activiteit Maatschappelijk handelen Begrip van de bredere maatschappelijke, juridische en gezondheidszorgcontext bij deze activiteit Integriteit en ethische opstelling bij deze activiteit schrijving op het formulier. Dat leidt tot een niet makkelijk leesbare uitleg in kleine letters die in de praktijk van de tien minuten observatie toch niet gelezen wordt. Heldere trefwoorden zijn daarom aan te raden. Als een uitleg gewenst is, is training met aanvullende uitleg een goede optie. Zoals eerder is aangegeven moet de KPB primair als feedbackinstrument worden gebruikt. Ongenformeerde of niet getrainde beoordelaars neigen nogal eens de KPB als examen te zien. Dat is een verkeerde toepassing. Een ander verschijnsel is dat aios KPBs verzamelen en een keus maken welke in het portfolio worden opgenomen. Zwakke KPBs zouden zo achterwege kunnen blijven. In beide gevallen is een open, eerlijk en veilig opleidingsklimaat het antwoord. Dan hoeft er geen angst te bestaan dat de KPB wordt misbruikt. 7. De beoordelaars Opleiders, superviserende stafleden en afdelingshoofden kunnen bij een KPB als beoordelaar fungeren. Belangrijk is dat een aios door verschillende beoordelaars wordt beoordeeld. Clinici verschillen onderling en juist dat kan leerzaam zijn voor de aios. Training van beoordelaars vergroot de betrouwbaarheid van het beoordelen. Ook kan een ouderejaars aios een KPB uitvoeren. De MSRC zal een aios mogelijk niet als beoordelaar erkennen, maar wel als de beoordeling gesuperviseerd wordt. De aios kan dan oefenen in het intercollegiaal beoordelen en feedback geven. Dat past bij het competentiegebied kennis en wetenschap. Intercollegiale beoordeling binnen de beroepsgroep is van groot belang en het is daarom een zinvolle gedachte dat aios hier in de opleiding al in getraind wordt. Voor specifieke vaardigheden kunnen ook niet-medici soms goede beoordelaars zijn, zoals ervaren verpleegkundigen of physician assistants. 8. Praktische aspecten Wanneer in de opleiding KPBs zijn geschikt in alle opleidingsjaren in de vervolgopleiding en ook in de klinische fase van de medische basisopleiding. De situaties waarin aios worden beoordeeld kunnen echter verschillen. Larsen et al. pleiten er in de chirurgische opleiding voor om later in de opleiding toenemend complexe situaties voor observatie op te nemen,38 een advies dat ook voor andere specialismen waardevol lijkt. Tijdsduur De tijd die nodig is om te observeren is in het algemeen afhankelijk van de situatie die geobserveerd wordt en van het doel dat men voor ogen heeft. De adviestijd voor een KPB observatie is tien tot vijftien minuten. Voor de feedback kan vijf tot tien minuten gerekend worden. Onderzoek laat echter zien dat, ondanks de uitleg die gegeven wordt met betrekking tot de tijd, de gemiddelde beoordeling langer duurt. Bij onderzoek (n=388) kwam het gemiddelde op 31.5 minuten.4 Vooral als niet de nadruk wordt gelegd op de tijdsbeperking van een beoordeling, blijkt hier meer tijd aan op te gaan. In ander onderzoek, waarbij was aangegeven dat de beoordelingen in totaal tussen de vijftien en twintig minuten mochten duren, werd voor de observatie een gemiddelde van achttien minuten gevonden (SD 12.1 min.) en voor het feedbackgesprek gemiddeld 7.6 minuten (SD 5.3 min).45 Sommige methoden hebben bewust een langere observatietijd. De Ophthalmic Clinical Evaluation Exercise bij een nieuwe patint duurt dertig tot vijfenveertig minuten29-30 en de OSATS soms zo lang als de uitgevoerde operatie. Voor de Palliative Care Clinical Evaluation Exercise wordt gemiddeld 49.5 minuten uitgetrokken (SD 24.1).53 Een kwart van de tijd is voor de voorbespreking tussen aios en opleider, de helft voor de observatie en een kwart voor de feedback. Bij KPBs waarbij de observator van nature aanwezig is, zoals bij het ochtendrapport en de overdracht, en bij operaties, kan de observatie langer zijn dan de gedefinieerde vijf tot vijftien minuten. Er zijn ook KPBs van korte duur. Een voorbeeld is de Minicard procedure waarin vier tot acht minuten geobserveerd wordt.26 De langere observatietijd lijkt vaak te zijn ingegeven door de angst niet volledig of objectief te zijn bij de beoordeling. Het is echter beter om meer korte observaties uit te voeren dan een enkele lange observatie. Het lijkt soms tegen-intutief voor opleiders dat een reeks korte subjectieve beoordelingen bijdraagt aan een objectief oordeel. Toch is dat meer het geval dan een lange intensieve en gedetailleerde observatie. Er worden vaak hoge intercorrelaties voor items op het beoordelingsformulier gevonden.43 54 Omdat er kennelijk een halo effect bestaat wordt een kort beoordelingsformulier aangeraden. Beoordelaars maken weinig onderscheid tussen de verschillende competenties bij de beoordeling en lijken het verspilling van tijd en moeite te vinden om een lange vragenlijst in te vullen.42 Het moment is vaak kort en de aios is in de regel het meest gebaat bij een beperkt aantal tips voor ontwikkeling. Uitvoering van de observatie Irby en Wilkerson noemen drie simpele uitvoeringsvoorwaarden voor succesvolle korte observaties in het klinisch onderwijs: 1) de aios moet weten met welk doel de observatie plaatsvindt en de procedure kennen, 2) de aios moet de patint uitleggen waarom een staflid komt meekijken en 3) het staflid moet buiten het gezichtsveld van de patint blijven.55 Het staflid moet min of meer geruisloos kunnen komen en gaan, zonder het contact te verstoren. Dat neemt niet weg dat ook de patint genformeerd moet worden en moet kunnen weigeren.56 De beoordelaar moet voorts voorbereid zijn op de focus van deze observatie, zorgen dat hij of zij niet gestoord kan worden en moet zelf ook in geen geval het contact tussen aios en patint interrumperen.15 Toenemend wordt gebruik gemaakt van video-observatie voor KPBs. Dit heeft verscheidene voordelen: de beoordelaar kan op een voor hem of haar geschikt moment de beoordeling uitvoeren, de video kan teruggespoeld worden om de beoordeling te valideren, de feedback wordt veel krachtiger als de aios zichzelf kan zien, de aios kan ook voorafgaand aan de feedbackfragmenten selecteren voor de bespreking, bijvoorbeeld een waarover hij of zij tevreden is en een waarover hij of zij minder tevreden is. Dit is op zich al een reflectie- en leermoment. Behalve dat er uiteraard geschikte apparatuur moet zijn is het wel van belang te voorzien in een standaard toestemmingsprocedure en belofte tot wissen. Hoewel met moderne webcamtechniek veel van de oorspronkelijke bezwaren tegen videoopnames zijn opgeheven, zijn er wel enkele aandachtspunten. De privacy van de geobserveerden moet bewaakt worden, de KPB kan soms niet direct afgehandeld worden en er moet voor een bespreking gezocht (gespoeld) worden naar een geschikt fragment, hetgeen enerzijds leerzaam is, maar anderzijds ook tijdrovend. Als poliruimtes met goed ingestelde vaste cameras worden ingericht, er in een standaard toestemmingsprocedure en belofte tot wissen is voorzien en digitale video via een netwerk op de computer van de supervisor kan worden bekeken, wegen de voordelen zeker tegen de nadelen op. Uitvoering van de feedback Het geven van feedback is een vaardigheid die eenvoudig lijkt maar vaak lastig is.57 Feedback in het klinisch onderwijs is niet hetzelfde als het geven van commentaar, omdat bij feedback met een opleidingsdoel het effect ervan op de verbetering van vaardigheden en gedrag voorop staat. Zonder dit doel zou eigenlijk niet van feedback gesproken moeten worden.58 Dat in het algemeen negatieve feedback lastig is om te geven, beschrijven ook Norcini en Burch.16 Een valkuil voor de beoordelaar die de aios kent is dat men in plaats van louter de geobserveerde verrichting of handeling te beoordelen, men ook de intenties van de aios gaat interpreteren. Dit is niet de bedoeling. De beoordelaar zou primair feedback moeten geven over wat hij of zij waarneemt. Goede feedback is specifiek, persoonlijk en wordt gegeven in een veilige setting. Er zijn diverse specifieke methoden om feedback te geven. Bekend is de methode volgens de regels van Pendleton,59 waarin achtereenvolgens aan de aios wordt gevraagd wat er goed ging, waarna de observator aangeeft in welk opzicht de handeling goed werd uitgevoerd. Daarna volgt de vraag wat de aios een volgende keer beter of anders zou willen doen en hoe, waarna als afsluiting de verbeterpunten van de observator volgen. Starten met positieve observaties is belangrijk om de aios te tonen dat het gaat om een positief te labelen interventie. Het streven is dat de aios graag wil gaan horen wat er beter kan. Holmboe et al. vonden in een onderzoek van 107 feedbacksessies dat 80% hiervan een duidelijke aanbeveling voor de aios bevatte.24 In 61% van de gevallen vroeg de beoordelaar aan de aios om te reageren op de feedback, en in maar 34% vroeg de beoordelaar naar een zelfbeoordeling van de aios. Een actieplan werd na de beoordeling in slechts 8% van de gevallen door aios en beoordelaar opgesteld. De onderzoekers concludeerden dan ook dat er in de praktijk te weinig gebruik wordt gemaakt van het geven van goede feedback in al zijn verschillende facetten. Het is verstandig om feedback direct na de observatie te laten plaatsvinden. Daarmee wordt voorkomen dat aspecten van de observatie vergeten worden en daarmee de feedback minder accuraat is.42 9. Het formulier Er zijn veel typen KPB formulieren in omloop. Dit is mede afhankelijk van het vakgebied waarin ze gebruikt worden. Zeker voor disciplines als radiologie en medische microbiologie zijn aanpassingen nodig. In het laatste vak is bijvoorbeeld het telefonisch consult een kritische activiteit waarvoor een KPB zeer zinvol is maar uiteraard een ander formulier vergt. Soms zijn er sterke voorkeuren van individuele opleiders, bijvoorbeeld over de vraag of er veel of weinig ruimte voor opmerkingen moet zijn, en zelfs of er berhaupt scores moeten worden gegeven. Er is eigenlijk weinig evidentie voor n type formulier, maar een fundamentele vraag is wel of men scores van aios wil vergelijken over meerdere observatiemomenten, bijvoorbeeld om betrouwbaarheden te berekenen of om trends te signaleren. Dan zijn scores op een uniform formulier zeker nuttig. De literatuur geeft voorbeelden van formulieren16 60-62 maar er zijn zeker veel meer varianten in praktijk. Bij de vraag wat een goed formulier is spelen behalve psychometrische kwaliteiten, zoals de te gebruiken schaal, ook praktische zaken mee. Het formulier moet aantrekkelijk zijn om snel in te vullen. De hoeveelheid tekst moet beperkt en to the point zijn. Trefwoorden voor items moeten direct begrijpelijk zijn, de uitnodiging tot het schrijven van punten van feedback moet dwingend maar vriendelijk zijn. Zoals mondelinge feedback volgens Pendleton positieve en verbeterpunten bevat, kan het verstandig zijn aparte omkaderde ruimtes in het formulier op te nemen met als opdracht noem een of twee sterke punten respectievelijk noem een of twee punten voor verdere ontwikkeling. Formuleringen kunnen soms weerstand oproepen. Kies liever niet voor: wat ging goed en wat ging slecht. Zelfs het woord verbeterpunten kan minder uitnodigen tot tips dan punten voor verdere ontwikkeling omdat deze laatste formulering niet iets negatiefs hoeft te impliceren. Dat maakt het makkelijker om bij goede aios toch een tip te geven. Laat het formulier bij voorkeur niet anoniem invullen, maar ondertekenen en dateren door de observator. Uiteraard is het niet verstandig als iedereen die KPBs afneemt eigen formulieren ontwerpt. Dat beperkt de vergelijkbaarheid over locaties en disciplines. Er zijn momenteel veel verschillen tussen disciplines. Het is in ieder geval wenselijk om binnen een opleidingscluster gelijke formulieren te gebruiken. In Nederland wordt de KPB nog pas enkele jaren gebruikt en het is zeer wel denkbaar dat er na verloop van tijd een zekere uniformering zal optreden. Alhoewel de KPB in de regel nog een papieren formulier is, zien we dat ze steeds vaker digitaal wordt uitgevoerd, als onderdeel van een elektronisch portfolio.63 Voorwaarde is wel dat er een PC aanwezig moet zijn in de ruimte waarin geobserveerd wordt. KPB methoden met behulp van mobiele elektronica, zoals een PDA of een gentegreerde mobiele telefoon met zakcomputer, waarbij men niet meer afhankelijk is van de aanwezigheid van een PC, zijn in opkomst.64 De elektronische uitvoering betekent niet alleen minder papieren rompslomp, maar ook de mogelijkheid om gegevens van achtereenvolgende KPBs met elkaar te combineren en zicht te krijgen in competentieontwikkeling. Checklists en schalen Ringsted et al. vonden dat een gedragsgebaseerde checklist beter werkt dan globale beoordelingen. Zij onderzochten dit bij aios anesthesie.35 In 25 opleidingsziekenhuizen in Denemarken beoordeelden 32 beoordelaars vier verschillende videos van verschillende handelingen. De helft beoordeelde de videos met een checklist, de andere helft moest drie globale items scoren. De auteurs concludeerden 1) dat beoordelaars de voorkeur geven aan een checklist, 2) dat zij hogere beoordelingen geven met de checklist dan met het globale beoordelingsformulier, 3) dat fouten van de aios op de checklist vaker teruggezien werden dan bij het globale beoordelingsformulier en 4) dat de interbeoordelaarsovereenstemming gering is, ongeacht het type beoordelingsformulier. Beoordelaars blijven mild, of ze fouten van aios nu wel of niet opmerken. Ook andere auteurs menen dat checklists zorgen dat beoordelaars eerder op specifieke punten gaan letten, waarbij fouten eerder gesignaleerd worden.16 23 42 Dit zou, naast meer passende feedback, voor een hogere interbeoordelaarbetrouwbaarheid zorgen. Iedere belangrijke variant op de KPB hanteert een eigen schaalverdeling. De mini-CEX heeft van origine een negenpuntsschaal. In de meeste gevallen wordt hierbij de volgende onderverdeling gemaakt: 1-3 = onvoldoende, 4-6 = voldoende en 7-9 = goed. Soms wordt er nog een extra onderverdeling gemaakt waarbij 4 marginaal betekent en 5-6 voldoende. Bij elk item staat ook het kopje insufficint contact to judge of not observed. Het is evident dat een negenpuntsschaal, met 5 als laagste voldoende, niet past in de Nederlandse context, omdat iedereen is opgegroeid met tienpuntsschalen. De P-mex en de OCEX hanteren een vierpuntsschaal (1 = does not meet expectations, 2 = meets some expectations, 3 = meets all expectations, 4 = exceeds expectations) plus not applicable.28-29 Ringsteds globale schaal gebruikt vijf waarden: clear fail, borderline fail, borderline pass, clear pass, excellent en een aanduiding of de aios gezakt of geslaagd is.35 Soms worden op een vijfpuntsschaal alleen labels gegeven aan 1, 3 en 5 zoals bij de GRASIS, de OSA-LT en de OSATS.2 34 38 De Minicard kent vier schaalpunten: excellent, goed, marginaal, slecht. De Minicard en de Mini-CEX zijn wel vergeleken op hun onderscheidend vermogen naar onvoldoende en voldoende handelingen (als anamnese of lichamelijk onderzoek). De Minicard bleek beter te discrimineren. Bij gebruik in de praktijk bleek dat de Minicard tot strengere oordelen leidde.26 De ITER kent meerdere schalen, waaronder 14 items en een tienpuntsschaal, onderverdeeld in vijf omschreven beoordelingen: unacceptabel, insufficient, marginal, good en excellent.27 Op een apart blad staat beschreven wat voor elk item als onacceptabel en wat als excellent wordt gezien. Veel ITER varianten kennen echter drie waarden: below expectation, meets expectation en exceeds expectation.65 Een andere benadering is om voor items verschillende wegingen toe te kennen.37 Het correct plaatsen van een fundusklem bij laparoscopie is twee punten waard terwijl andere handelingen acht punten opleveren. Voor fouten worden verschillende aantallen punten afgetrokken: leverschade zonder bloeding is min n punt, met bloeding min vijf punten. Cook et al. vonden dat bij de mini-CEX met een negenpuntsschaal een beter onderscheid te maken viel tussen onvoldoende, voldoende en goed dan met een vijfpuntsschaal, waarschijnlijk omdat beoordelaars extremen op de schaal graag vermijden.45 Williams et al. raden in hun review om die reden een schaal aan van minimaal vijf, zes of zeven punten.42 Een schaal waarbij naast een getal ook onderscheid gemaakt moet worden tussen een onvoldoende, voldoende of goed, of iets soortgelijks, raden zij af. Extra categorien zouden de beoordeling lastiger maken. Wat wel gehanteerd wordt is drie categorien waarbinnen steeds twee of drie scores vallen. Een schaal die loopt van 4 tot 10 kan gehanteerd worden in de Nederlandse context. Lager dan 4 zal niet worden gescoord. In een dergelijke schaal is 7 de middenwaarde die ook als een beginselstandaard van adequaat functioneren gehanteerd kan worden. Scores 4 en 5 kunnen worden beschouwd als lager dan verwacht; 9 en 10 als hoger dan verwacht. Waarden 6, 7 en 8 vallen dan alle binnen het verwachte niveau. Een dergelijke schaalverdeling kan aangeraden worden.65 Normering Er zijn in principe vier benaderingen van de vraag waarmee bij de invulling van het KPB formulier de vaardigheid van de aios moet worden vergeleken: 1) een score ten opzichte van een beoogd eindresultaat, 2) een score ten opzichte van het opleidingsstadium waarin de aios zich bevindt, 3) een score ten opzichte van een peergroep van andere aios en 4) een score ten opzichte van de eigen ontwikkeling. Indien geen afspraken zijn gemaakt over normering hanteren beoordelaars soms verschillende normen, die niet expliciet zijn. Op het eerste gezicht lijkt een normering ten opzichte van het gewenste eindresultaat, dat wil zeggen een absolute normering, logisch. Men wil immers laten zien hoe de aios scoort in vergelijking met een standaard en men verwacht ook dat er een stijgende lijn te zien zal zijn. In de praktijk echter valt het beoordelaars moeilijk om consequent eerstejaars aios onvoldoende scores geven. Men wil, terecht, graag inspanning belonen en de aios waarderen ten opzichte van het verwachte niveau. Om deze reden zijn de normen below, meets, en exceeds expectation, c.q. onder verwacht niveau, op verwacht niveau en boven verwacht niveau, met andere woorden een relatieve normering, vaak een beter hanteerbare normering.65 Relatief wil dan zeggen ten opzichte van wat men in dit opleidingsstadium verwacht. Dat is een goed verdedigbare benadering. Tenslotte wil men soms ook aios belonen voor de individuele vooruitgang die gemaakt is, ongeacht het werkelijke niveau. Daar moet voorzichtiger mee worden omgegaan, omdat het vergelijken van aios op die manier lastig wordt. In zon geval is het verstandig om de waardering voor individuele vooruitgang vooral in de opmerkingen naar voren te laten komen en minder in de scores. 10. Relatie tot portfolio, voortgangsgesprek en bekwaamverklaringen De KPB wordt gedocumenteerd omdat er een overzicht moet ontstaan van het functioneren van de aios door de tijd. Het kader waarin dat moet plaatsvinden is het portfolio. Daarin vormt de set van KPBs, minimaal tien per jaar, een van de centrale onderdelen. De Richtlijn Interpretatie en gebruik van toetsresultaten in het portfolio gaat hier nader op in.66 Bij de voortgangsgesprekken vormen de KPBs vervolgens essentile achtergrondinformatie. Vooral trends over de KPBs heen zijn de moeite waard om te bepreken. Ook over voortgangsgesprekken zal een richtlijn verschijnen. De KPB kan bijdragen aan de informatie waarop een bekwaamverklaring voor een specifieke professionele activiteit kan worden afgegeven. Er zijn voorbeelden in de literatuur waar dit met een variant van de KPB geschiedt. Larson et al. beschrijven hoe voor verschillende operaties een Operative Performance Rating System (OPRS) kan worden gehanteerd waarvoor specifieke beoordelingsformulieren bestaan.38 De OPRS is niet alleen bedoeld om de aios chirurgie te evalueren, maar ook om deze te certificeren. Voor certificering dient elke procedure tenminste drie maal geobserveerd te worden door tenminste twee verschillende beoordelaars. De aios die drie keer achtereen uitsluitend de cijfers 4 en 5 (op een vijfpuntsschaal) heeft gekregen, krijgt een bekwaamverklaring. Achtergronden van de bekwaamverklaring zijn voor de Nederlandse context beschreven in de Richtlijn Bekwaamverklaringen in de specialistenopleiding.67 11. Invoering van korte praktijkbeoordelingen als systeem en training van klinische staf Norcini en Burch noemen drie vereisten bij de invoering van KPBs: a) een goede planning van observatiemomenten en feedbackgesprekken, b) een goede informatievoorziening aan stafleden en aios over doel en werkwijze en c) een voortdurende herinnering aan het systeem en de waarde van formatieve beoordeling om verwatering te voorkomen.16 Planning van KPBs is een kwetsbaar punt. Hoe minder sturing hierin optreedt, hoe lastiger het wordt om aan de eisen te voldoen. Tijd is vaak een probleem en soms een excuus voor het feit dat KPBs niet worden uitgevoerd.42 Er zijn poliklinische afdelingen waarin eens per week een staflid een uur wordt vrijgeroosterd om achtereenvolgens drie of vier KPBs te doen bij verschillende aios op de poli. Ook aios moeten gewend raken aan regelmatige observaties. Er zijn indicaties dat het leereffect pas ontstaat als deze gewenning de angst wegneemt die ontstaat bij incidentele aanwezigheid van een senior staflid met een scoringsformulier.68 Informatievoorziening, en in het bijzonder training van stafleden, is nodig om vertrouwd te raken met de KPB als methode, met de normering die gehanteerd wordt en met het voeren van korte feed backgesprekken.24 In alle Nederlandse Onderwijs- en Opleidingsregios (OORs) worden dergelijke trainingen aangeboden. Holmboe et al. vonden dat getrainde stafleden strenger beoordeelden dan ongetrainde stafleden, ongeacht de accuratesse. Getrainde beoordelaars gaven aios die onvoldoende vaardigheden bezaten, ook eerder daadwerkelijk een onvoldoende score. Daarnaast vond men dat stafleden zich meer op hun gemak voelen om te beoordelen indien zij getraind zijn.24 Anderen rapporteren echter minder effect van training,42 69 of voornamelijk een effect op zelfvertrouwen in het uitvoeren van de beoordeling.69 Een frame of reference training wordt aangeraden voor het leren uitvoeren van KPBs.15 Deze training omvat zeven stappen: 1) bespreking van, en het bereiken van consensus over de aspecten van competentie die belangrijk zijn om te observeren, 2) definiren wat als optimaal gedrag beschouwd kan worden, 3) definiren wat als net voldoende gedrag beschouwd kan worden, 4) observeren van een klinisch contact, bij voorkeur via video, 5) beoordelen van het contact op een schaal met ankerwaarden, 6) vergelijken en bespreken van de gegeven oordelen, 7) diepergaande bespreking van discrepanties in oordelen. 12. Evaluatie en herziening van deze Richtlijn Deze Richtlijn weerspiegelt een dynamische praktijk van beoordelingen en feedback in de klinische opleidingen. Volgens het Kaderbesluit CCMS 2009 moet in 2011 de KPB in alle opleidingen standaard zijn ingevoerd. Dat impliceert dat er sprake is van een zeer grootschalige ontwikkeling die ongetwijfeld in de komende jaren tot nieuwe inzichten zal leiden. Daarnaast staan ook internationaal het onderzoek en de ontwikkeling niet stil. Het is een van de zich het sterkst ontwikkelende terreinen van de medische onderwijskunde. Daarom wordt aanbevolen deze opleidingsrichtlijn over circa vijf jaar opnieuw tegen het licht te houden. Correspondentieadres: Prof. dr. Th.J. ten Cate, Expertisecentrum voor Onderwijs en Opleiding, UMC Utrecht, postbus 85500, 3508 GA Utrecht. E-mail: Belangenconflict: geen gemeld Financile ondersteuning: geen gemeld Gehanteerde afkortingen American Board of Internal Medicine Accreditation Council for Graduate Medical Education (USA) Arts in opleiding tot specialist American Board of Internal Medicine Canadian Medical Education Directions for Specialists Critically Appraised Topic Centraal College Medische Specialismen (thans opgenomen in CGS: College Geneeskundige Specialismen) Clinical Evaluation Exercise Direct Observation of Procedural Skills Global Rating Assessment of Skills in Intraocular Surgery In-Training Evaluation Report Korte praktijkbeoordeling Multidisciplinair overleg Mini Clinical Evaluation Exercise Medisch Specialisten Registratie Commissie Nederlands Huisartsen Genootschap Ophthalmic Clinical Exercise Onderwijs- en Opleidingsregio Operative Performance Rating System Objective Structured Assessment of Laparoscopic Salpingectomy Objective Structured Assessment of Technical Skills Objective Structured Clinical Examination Professionalism Mini Evaluation Exercise Spoedeisende Eerste Hulp Voorbeelden van formulieren ten behoeve van de korte praktijkbeoordeling Centraal College Medische Specialismen Handleiding voor gebruik van de KKB De Korte Klinische Beoordeling (KKB) richt zich op de competenties van de arts in opleiding tot specialist (aios) in patintencontacten. Ze kan eenvoudig worden toegepast door stafleden als onderdeel van de dagelijkse routine en is geschikt voor de beoordeling van aios in diverse klinische settings. De KKB is een kortdurende observatie (10 minuten) van een aios-patint contact. De combinatie van meerdere KKBs geeft inzicht in het handelen van de aios. De KKB kan geregeld (iedere paar maanden) worden toegepast op de afdeling (zaal of IC/CCU), op de poli, op de Spoedeisende Hulp of elders, zoals tijdens opname of ontslag. Als beoordelaars kunnen optreden: superviserende stafleden, afdelingshoofden, opleiders en ouderejaars aios. Van iedere beoordeling wordt een kopie verstrekt aan de aios. Het origineel gaat naar de opleider. Toelichting bij de beoordeelde competenties 1. Anamnese Stimuleert de patint tot het meedelen van de ziektegeschiedenis; stelt adequaat vragen en geeft adequaat aanwijzingen om de noodzakelijke informatie te verkrijgen; reageert adequaat op emotie en nonverbale signalen. 2. Lichamelijk onderzoek Houdt een logische en efficinte volgorde aan; kiest een goed evenwicht tussen algemeen en hypothesegericht onderzoek; informeert de patint; is attent op de belasting voor de patint en diens gne. 3. Professioneel handelen Toont respect, betrokkenheid en empathie en genereert vertrouwen; reageert adequaat op ongemak en gne, en op de behoefte aan privacy en informatie. 4. Probleemanalyse, klinisch redeneren Adequaat en selectief gebruik van diagnostische procedures en laboratoriumonderzoek met goede afweging van risicos en opbrengst. 5. Vervolgonderzoek en begeleiding Formuleert evidence based indicaties voor vervolgonderzoek en behandeling, bepaalt adequaat noodzakelijke begeleiding, eventueel van andere professionals. 6. Communicatie met de patint Verklaart in voor de patint begrijpelijke bewoordingen de indicaties voor onderzoek en behandeling, vraagt om instemming waar nodig, overlegt over het beleid. 7. Organisatie en efficintie Organiseert adequaat, bewaakt de tijd, is beknopt. Korte Klinische Beoordeling (KKB) Patint/probleem/diagnose: Plaats: poli afdeling SEH Patint: Leeftijd: __ Sexe: __ nieuw Complexiteit beeld: gering matig Focus: gegevensverzameling diagnostiek 1. Anamnese 1 2 onvoldoende 3 2. Lichamelijk onderzoek 1 2 3 / onvoldoende 3. Professioneel handelen 1 2 3 / onvoldoende 4. Probleemanalyse, klinisch redeneren 1 2 3 / 4 5 onvoldoende matig 5. Vervolgonderzoek en begeleiding 1 2 3 / 4 onvoldoende 5 6. Communicatie met de patint 1 2 3 / 4 onvoldoende 7. Organisatie en efficintie Tevredenheid beoordelaar met deze KKB: Tevredenheid aios met deze KKB: Paraaf beoordelaar: adviesgesprek gering 1 2 3 4 groot gering 1 2 3 4 groot UMC Groningen Korte Praktijk Beoordeling Focus van het contact Medisch handelen i.e.z. Complexiteit: laag / normaal / hoog Lichamelijk onderzoeken Wat kan er beter? Wat kan er beter? Handtekening gezien AIOS: Complexiteit: laag / normaal / hoog Beindigt het contact C. UMC Utrecht


This is a preview of a remote PDF: https://link.springer.com/content/pdf/10.1007%2Fs12507-010-0101-6.pdf

Prof. dr. Th.J ten Cate, Drs. C.R.M.G. Fluit. Richtlijn korte praktijkbeoordeling, Tijdschrift voor Medisch Onderwijs, 2010, 105-134, DOI: 10.1007/s12507-010-0101-6