Zertifizierungsprüfungen für medizinische Fachgebiete, die gemäß den Ottawa-Qualitätskriterien untersucht wurden: eine systematische Überprüfung

Jun 13, 2024

BMC Medical Education Band 23, Artikelnummer: 619 (2023) Diesen Artikel zitieren

1 Altmetrisch

Details zu den Metriken

Zertifizierungsprüfungen für medizinische Fachgebiete sind anspruchsvolle summative Beurteilungen, mit denen festgestellt wird, welche Ärzte über die erforderlichen Fähigkeiten, Kenntnisse und Einstellungen verfügen, um Patienten unabhängig zu behandeln. Solche Prüfungen sind für die Patientensicherheit, den beruflichen Aufstieg der Kandidaten und die Rechenschaftspflicht gegenüber der Öffentlichkeit von entscheidender Bedeutung, unterscheiden sich jedoch je nach medizinischem Fachgebiet und Land erheblich. Daher ist es von größter Bedeutung, dass die Qualität der Spezialzertifizierungsprüfungen in der wissenschaftlichen Literatur untersucht wird.

In dieser systematischen Literaturrecherche haben wir das PICOS-Framework verwendet und in sieben Datenbanken nach Artikeln zu Prüfungen zur medizinischen Facharztzertifizierung gesucht, die zwischen 2000 und 2020 in englischer Sprache veröffentlicht wurden, und dabei verschiedene Suchbegriffsvarianten verwendet. Die Beiträge wurden von zwei Forschern unabhängig voneinander gesichtet und hinsichtlich ihrer methodischen Qualität und Relevanz für diese Überprüfung bewertet. Schließlich wurden sie nach Land, medizinischem Fachgebiet und den folgenden sieben Ottawa-Kriterien für eine gute Bewertung kategorisiert: Gültigkeit, Zuverlässigkeit, Äquivalenz, Durchführbarkeit, Akzeptanz, katalytische und pädagogische Wirkung.

Nach der Entfernung von Duplikaten wurden 2852 Arbeiten auf Aufnahme überprüft, von denen 66 alle relevanten Kriterien erfüllten. Über 43 verschiedene Prüfungen und mehr als 28 verschiedene Fachgebiete aus 18 Gerichtsbarkeiten wurden untersucht. Rund 77 % aller förderfähigen Beiträge stammten aus englischsprachigen Ländern, wobei sich 55 % der Veröffentlichungen nur auf das Vereinigte Königreich und die USA konzentrierten. Die Allgemeinmedizin war das am häufigsten untersuchte Fachgebiet unter den Zertifizierungsprüfungen, wobei die britische Prüfung für Allgemeinmedizin besonders ausführlich analysiert wurde. Die Beiträge erhielten im Qualitätsscore durchschnittlich 4,2/6 Punkte. In den teilnahmeberechtigten Studien wurden im Durchschnitt 2,1/7 Ottawa-Kriterien analysiert, wobei die am häufigsten untersuchten Kriterien Zuverlässigkeit, Validität und Akzeptanz waren.

Die vorliegende systematische Übersicht zeigt eine wachsende Zahl von Studien, die Zertifizierungsprüfungen für medizinische Fachgebiete im Laufe der Zeit analysieren und ein breiteres Spektrum an medizinischen Fachgebieten, Ländern und Ottawa-Kriterien abdecken. Aufgrund ihrer Abhängigkeit von mehreren Bewertungsmethoden und Datenpunkten deuten Aspekte der programmatischen Bewertung auf einen vielversprechenden Weg für die Entwicklung von Zertifizierungsprüfungen für medizinische Fachgebiete hin, die alle sieben Ottawa-Kriterien erfüllen. Um diese Ergebnisse zu bestätigen, sind weitere Untersuchungen erforderlich, insbesondere Analysen von außerhalb der Anglosphäre abgehaltenen Prüfungen sowie Studien, in denen ganze Zertifizierungsprüfungen analysiert oder mehrere Prüfungsmethoden verglichen werden.

Peer-Review-Berichte

Patienten verlassen sich für eine sichere und wirksame medizinische Versorgung auf Ärzte, dennoch sind vermeidbare unerwünschte Ereignisse nach wie vor weit verbreitet [1]. Wie können solche Ereignisse vermieden werden? Eine Antwort liegt in professionellen Beurteilungen. Bevor Ärzte selbstständig, z. B. in ihrer eigenen Privatpraxis, als Arzt praktizieren dürfen, müssen sie eine Postgraduiertenprüfung bestehen, die darauf abzielt, die Fähigkeiten, Kenntnisse und Einstellungen zu prüfen, die für das von ihnen gewählte medizinische Fachgebiet relevant sind. Solche Facharztprüfungen werden in vielen Ländern schon seit langem eingesetzt, unterscheiden sich jedoch stark in der Umsetzung. In der Vergangenheit reichte oft eine einfache mündliche Prüfung durch einen älteren Kollegen aus [2], aber neuere Erkenntnisse belegen die Wirksamkeit der „Triangulation“, eines vielschichtigeren Ansatzes, der Bewertungsmethoden wie Multiple-Choice-Fragen (MCQs) und objektive strukturierte klinische Untersuchungen (OSCEs) umfasst ) [3].

Die Terminologie der Fachprüfungen unterscheidet sich erheblich von Land zu Land, selbst in der von Experten begutachteten Literatur, die für ein weltweites Publikum veröffentlicht wird [4]. „Fachärztliche Beurteilung“, „Board Examen“, „Postgraduate Certification Process“, „Specialty Certificate Examen“ und die daraus resultierenden Akronyme werden häufig verwendet. Die für die Organisation der Prüfungen zuständigen Institutionen variieren je nach Land und medizinischem Fachgebiet, ebenso wie die erforderlichen Fähigkeiten, Kenntnisse und die erforderliche Ausbildungszeit sowie die Privilegien, die einem erfolgreichen Kandidaten gewährt werden [2].

In diesem Artikel definieren wir eine medizinische „Facharztzertifizierungsprüfung“ als eine anspruchsvolle zusammenfassende Beurteilung eines Kandidaten, die nach Abschluss einer postgradualen Ausbildung, beispielsweise einer Facharztausbildung, stattfindet, die für den beruflichen Aufstieg unerlässlich ist und – nach erfolgreichem Abschluss – dem Kandidaten normalerweise ermöglicht als selbständiger Facharzt Patienten zu behandeln. In den USA entscheiden sich 87 % der Ärzte für eine Zertifizierung, obwohl die Zertifizierung freiwillig ist [5]. Beispiele für Facharztprüfungen sind das britische „Royal College Membership exams“, das amerikanische „Board Certification“ und die schweizerischen „Facharztprüfungen“.

Fachzertifizierungsprüfungen sind für die Patientensicherheit von entscheidender Bedeutung. Ein erfolgreicher Abschluss sollte das Mindestmaß an Kompetenzen gewährleisten, die für die Diagnose und Behandlung von Patienten erforderlich sind, ohne dass ein älterer Kollege jederzeit verfügbar und formell für die Sicherstellung der Qualität der Behandlung des Assistenzarztes verantwortlich ist. Frühere Untersuchungen zeigen, dass zertifizierte Ärzte im Allgemeinen eine bessere medizinische Versorgung bieten als nicht zertifizierte [6,7,8,9]. Eine systematische Übersicht von Lipner et al. zeigt, dass der Zertifizierungsstatus mit verschiedenen klinischen Messgrößen wie Defibrillator-Komplikationsraten oder akuter Myokardinfarkt-Mortalität korreliert. In der Mehrzahl der 29 Studien sorgten zertifizierte Ärzte für eine bessere Patientenversorgung [10]. Um nur ein Beispiel zu nennen: Eine Studie von Reid et al. zeigt, dass zertifizierte Ärzte bei einem Qualitätsleistungsverbund 3,3 Prozentpunkte besser abschneiden als nicht zertifizierte Ärzte in 23 Fachgebieten [9]. Dennoch kommen medizinische Fehler insgesamt weiterhin häufig vor [11] und Fälle von beruflichem Fehlverhalten werden regelmäßig in den Medien diskutiert [12]. In einer retrospektiven Studie erhielten die Patienten nur 54,9 % der empfohlenen Grundversorgung [13]. Allein in amerikanischen Krankenhäusern verursachen medizinische Fehler schätzungsweise über 400‘000 vorzeitige Todesfälle pro Jahr [14] und stellen damit die dritthäufigste Todesursache dar [15]. Als Abschlussprüfung der gesetzlich vorgeschriebenen formalen Ausbildung in vielen Ländern bieten Facharztzertifizierungsprüfungen die letzte Möglichkeit, Ärzte zu identifizieren, die (noch) nicht für die unbeaufsichtigte Tätigkeit qualifiziert sind. Sie spielen daher eine entscheidende Rolle bei der öffentlichen Gewährleistung der Kompetenz niedergelassener Ärzte.

In dieser Studie verwenden wir die „Kriterien für eine gute Beurteilung: Konsenserklärung und Empfehlungen“ der Ottawa-Konferenz 2010 („Ottawa-Qualitätskriterien“), um verschiedene medizinische Fachprüfungen zu bewerten. Diese Konsenserklärung wurde von einer Arbeitsgruppe medizinischer Beurteilungsexperten aus verschiedenen Ländern entwickelt, darunter Norcini et al. [16] und 2018 überarbeitet [17]. Sie empfehlen die folgenden sieben Kriterien (Tabelle 1):

Angesichts der Bedeutung von Spezialzertifizierungsprüfungen gibt es einen überraschenden Mangel an Beweisen für ihre Wirksamkeit [18]. Die aktuelle Literatur konzentriert sich häufig auf subfachspezifische Prüfungen in einzelnen Ländern. Nach unserem besten Wissen wurde die letzte systematische Übersicht im Jahr 2002 von Hutchinson et al. veröffentlicht. Die Autoren durchsuchten verschiedene Datenbanken nach Studien, die zwischen 1985 und 2000 veröffentlicht wurden, fanden zunächst 7705 und schlossen alle bis auf 55 aus ihrer Analyse aus. Hutchinson et al. Anschließend fasste er jedes Papier im Hinblick auf die darin analysierte Form der Gültigkeit und Zuverlässigkeit zusammen. Sie weisen auf den Mangel an veröffentlichten Daten hin und finden insbesondere die Unterrepräsentation von Krankenhausfachgebieten „auffallend“. Sie fordern eine wiederholte Analyse in der Zukunft und eine größere Offenheit „von vielen der Institutionen, die eine starke und unwidersprochene Rolle in den Karrierewegen von Ärzten in der Ausbildung spielen“ [19].

Das Interesse am Thema einer effektiven medizinischen Ausbildung hat seitdem stark zugenommen, dennoch gibt es in der Literatur zu vielen Fachgebieten und Ländern weiterhin eine Lücke. Krankenhausspezialitäten sind unterrepräsentiert, während Allgemein- oder Familienarztpraxen vorherrschen (was 41 der 55 von Hutchinson et al. identifizierten Arbeiten abdeckt). Hutchinson et al. fanden Studien aus nur sechs Ländern, von denen fünf in der Anglosphäre lagen [19]. Angesichts ihrer weit verbreiteten weltweiten Verwendung musste die Qualität der meisten medizinischen Fachprüfungen noch anhand eines der ersten beiden Ottawa-Kriterien (Gültigkeit und Zuverlässigkeit) wissenschaftlich untersucht werden. Um diese Forschung zu erweitern und diese Lücke in der Literatur zu schließen, konzentriert sich diese systematische Übersicht auf die Zusammenstellung aktueller Praktiken, die nach einem der Ottawa-Kriterien aus möglichst vielen verschiedenen Ländern und Fachgebieten analysiert wurden.

In dieser systematischen Literaturrecherche möchten wir einen Überblick über die aktuellen Erkenntnisse zu Fachzertifizierungsprüfungen geben, die gemäß den Ottawa Criteria of Good Assessment weltweit untersucht wurden. Wir zeigen, welche medizinischen Fachgebiete, Länder und Prüfungsformate hinsichtlich welcher der Ottawa-Kriterien analysiert wurden. Dies bietet einen Bezugspunkt für zukünftige Forscher oder medizinische Fachgesellschaften, die ihre Prüfungen studieren oder weiterentwickeln möchten.

Die folgenden Forschungsfragen leiten diese systematische Überprüfung:

Welche medizinischen Facharztzertifizierungsprüfungen wurden im Hinblick auf die Ottawa-Qualitätskriterien wissenschaftlich untersucht?

Welche Ottawa-Kriterien wurden in diesen Prüfungen analysiert?

Welche Fachzertifizierungsprüfung wurde im Hinblick auf die Ottawa-Kriterien am ausführlichsten untersucht?

Die Studien wurden unter Verwendung der folgenden sieben Datenbanken zusammengestellt: MEDLINE(R) ALL, EMBASE, APA PsycINFO und ERIC über Ovid, SCOPUS, die Cochrane Trial Library und Web of Science.

Um die zeitgenössische Praxis widerzuspiegeln und den in der Studie von Hutchinson et al. verwendeten Zeitrahmen fortzusetzen, wurde eine Suche in der zwischen Januar 2000 und August 2020 veröffentlichten Literatur durchgeführt. Zur Festlegung der Suchstrategie wurde das Design-Framework „Population, Intervention, Compare, Outcomes and Study“ (PICOS) verwendet (siehe Tabelle 2).

Aufgrund der unterschiedlichen Nomenklatur der „Specialty Certification Exams“ haben wir unsere Suchbegriffe auf über 20 Variationen erweitert und die medizinischen Fachüberschriften „Specialty Boards“ und „Educational Measurement“ einbezogen. Darüber hinaus müssen sich die Arbeiten auf das Konzept der Medizin (z. B. „Medizin*“) und eine Art Bewertungskriterien (z. B. „valid*“) beziehen. Darüber hinaus berücksichtigen wir nur Arbeiten, die in englischer Sprache verfasst und zwischen 2000 und 2020 veröffentlicht wurden. Die in der Zusatzdatei 1 beschriebenen Suchbegriffe wurden verwendet und an die sieben Einzeldatenbanken angepasst (siehe Zusatzdatei 1).

Titel, Zusammenfassung und Zitatinformationen aller Ergebnisse wurden von Ovid.com, Scopus.com, Webofknowledge.com und Cochranelibrary.com im RIS- und Excel- oder CSV-Format abgerufen. Sie wurden in EndNote X9 importiert und manuell in einer Excel-Datei zusammengeführt. Die folgenden Informationen wurden zwei Forschern (DS und NW) für eine erste Screening-Runde separat zur Verfügung gestellt: Titel, Autoren, Erscheinungsjahr und Abstract. In diese erste Screening-Runde wurden alle potenziell wertvollen Studien einbezogen, auch wenn die Erfüllung bestimmter Kriterien von einem oder beiden Forschern in Frage gestellt wurde. Beispielsweise befassen sich viele Studien nicht mit ärztlichen Untersuchungen, sondern mit ärztlichen Untersuchungen. Andere konzentrieren sich nicht auf medizinische Fachprüfungen, sondern auf Prüfungen für Medizinstudenten, die Neuzertifizierung, die Aufrechterhaltung der Zertifizierung oder formative arbeitsplatzbezogene Beurteilungen. Papiere, die Bewertungen anderer Berufe beschreiben, wurden ebenfalls ausgeschlossen (z. B. Arzthelferinnen, Krankenschwestern und Apotheker). Manuskripte, die nicht als vollständige wissenschaftliche Studien veröffentlicht wurden (z. B. Konferenzbeiträge, Briefe, Leitartikel, Rezensionen), wurden in dieser Runde ebenfalls ausgeschlossen, ebenso wie Artikel, die nicht auf Englisch verfügbar waren. In der zweiten Runde wurden die Volltextarbeiten einzeln von DS und NW bewertet, um festzustellen, ob die vorausgewählten Arbeiten zu den Forschungsfragen passen. Hier wurden eher Arbeiten ausgeschlossen, weil nicht geklärt war, welche Prüfungsmethode(n) analysiert wurden, da sie Prüfungen bewerten, die fast unmittelbar nach dem Verlassen der Universität abgelegt werden, oder es den Kandidaten nicht ermöglichen, Patienten nach erfolgreichem Abschluss selbständig zu behandeln. Fälle, in denen unabhängige Gutachter zu unterschiedlichen Schlussfolgerungen kamen, wurden bilateral besprochen. Wenn keine Einigung erzielt wurde, wurde ein dritter Gutachter (AL) zur endgültigen Beurteilung hinzugezogen.

Alle Ergebnisse und Interpretationen im Zusammenhang mit den Ottawa-Qualitätskriterien wurden aus den eingeschlossenen Dokumenten extrahiert und gemäß den sieben Kriterien kategorisiert. DS und NW führten diesen Schritt zunächst gemeinsam durch, um sicherzustellen, dass sie konsistente Ergebnisse erzielen konnten. Spätere Extraktionen wurden dann unabhängig voneinander durchgeführt. Papiere, in denen die relevanten Daten oder die Kategorisierung komplex oder unklar waren, wurden diskutiert, bis DS, NW und AL eine Einigung erzielten (siehe Zusatzdatei 2).

Für die weitere Analyse wurden Informationen über das untersuchte Land bzw. die untersuchten Länder, das medizinische Fachgebiet bzw. die medizinischen Fachgebiete, die Untersuchungsmethode oder Methodenkombination sowie weitere relevante Details zur Untersuchung aus dem Volltext aller eingeschlossenen Arbeiten abgerufen. Wo solche Details in den Papieren fehlten, wurden sie nach Möglichkeit durch Online-Suche ergänzt. Angaben, die beispielsweise von der jeweiligen medizinischen Fachgesellschaft veröffentlicht wurden, wurden der endgültigen Übersicht hinzugefügt und die Quelle dieser zusätzlichen Informationen als Referenz angegeben. Zur Vereinfachung für den Leser wurden die Beiträge auch kurz zusammengefasst.

Die methodische Qualität und Relevanz für die Forschungsfragen dieser Rezension wurde für jede Studie anhand der Bewertungskriterien bewertet, die aus dem Medical Education Research Study Quality Instrument (MERSQI) und den „Kriterien für die qualitative Bewertung wissenschaftlicher Publikationen“ übernommen wurden [20, 21]. Die Bewertung besteht aus den folgenden sechs Kriterien: (1) Ist das Studiendesign geeignet, die untersuchte Frage zu beantworten? (2) Ist die Methode so beschrieben, dass eine Replikation ohne weitere Informationen möglich ist? (3) Ist die Interpretation kohärent? (4) Analysiert die Studie mindestens 50 Prüfungskandidaten? (5) Analysiert es mehr als eine Prüfung? (6) Analysiert es die gesamte(n) Prüfung(en)? Die Arbeiten erhielten einen Punkt, wenn ja, null, wenn nein oder unklar.

Schließlich wurden die extrahierten Daten verwendet, um nach der Fachzertifizierungsprüfung oder den Fachprüfungen zu suchen, die im Hinblick auf die Ottawa-Kriterien am ausführlichsten untersucht wurden, indem die Anzahl der einzelnen untersuchten Ottawa-Kriterien sowie die Anzahl einzelner Studien in Fällen, in denen mehrere Artikel veröffentlicht wurden, die analysiert wurden, gezählt wurde die gleiche Prüfung.

Der Ein- und Ausschlussprozess wird anhand des PRISMA-Flussdiagramms visualisiert (siehe Abb. 1). Von 4420 Treffern wurden 66 Studien in die Datenanalyse einbezogen.

PRISMA-Flussdiagramm

In den 66 Arbeiten werden über 43 verschiedene Prüfungen und mehr als 28 Fachgebiete aus 18 Jurisdiktionen bewertet.

Alle eingeschlossenen Studien sind in Tabelle 3 nach medizinischem Fachgebiet und Land sortiert. Die darin analysierten Ottawa-Kriterien sind mit (+) gekennzeichnet, die nicht analysierten mit (0). Die Spalte ganz rechts zeigt, wie viele der sechs Metrikstudien das Qualitätsbewertungstool erfüllt haben. Die verwendeten Prüfungsformate sind aufgeführt, wobei die Studienschwerpunkte fett markiert sind. Eine vollständige Übersicht inklusive Kurzzusammenfassungen aller Studien und der relevanten Ergebnisse finden Sie in der zusätzlichen Excel-Tabelle (siehe Zusatzdatei 2).

Ein Großteil unserer Suchergebnisse untersucht die in englischsprachigen Ländern verwendeten Fachzertifizierungsprüfungen, wobei sich 77 % der Arbeiten auf das Vereinigte Königreich, die USA, Australien, Irland, Kanada oder Südafrika konzentrieren. Die beiden mit Abstand am häufigsten untersuchten Länder sind das Vereinigte Königreich und die Vereinigten Staaten, auf die zusammen 55 % der förderfähigen Beiträge entfallen (jeweils 20 Veröffentlichungen, siehe Abb. 2). Weitere untersuchte Standorte sind Israel, China, Hongkong, Argentinien, Ägypten, Iran, Japan, Mexiko, die Philippinen, Portugal und Thailand. Eine Minderheit der Prüfungen ist nicht nur auf ein Land beschränkt: Drei Artikel befassen sich mit europäischen Prüfungen, zwei mit Australien und Neuseeland, einer mit den USA und Kanada und einer mit dem Vereinigten Königreich und Irland. Eine einzige Studie vergleicht die Prüfungen mehrerer Länder [88].

Anzahl der Studien nach Standort

Die in der Fachrichtung Allgemeinmedizin verwendeten Zertifizierungsprüfungen werden am häufigsten untersucht, wobei sich 11 Studien auf diesen Bereich konzentrieren. In 12 verschiedenen Publikationen werden verschiedene Arten chirurgischer Fachgebiete untersucht. Die Innere Medizin wird in sechs verschiedenen Studien untersucht. Weitere sechs Studien bewerten die Prüfungen in der Radiologie. Anästhesiologie und Familienmedizin sind die medizinischen Fachgebiete, die in jeweils vier Studien betrachtet werden. Notfallmedizin, Augenheilkunde und Pädiatrie werden jeweils in zwei Studien analysiert. Zu jeder der folgenden Zertifizierungsprüfungen für medizinische Fachgebiete wurde eine Studie veröffentlicht: Kardiologie, Klinische Onkologie, Endovaskuläre Medizin, Gynäkologie, Palliativmedizin, Physikalische Medizin und Rehabilitation, Psychiatrie, Rheumatologie, Land- und Fernmedizin sowie Urologie (siehe Abb. 3). . Fünf Studien bewerten mehrere medizinische Fachgebiete. In drei Studien wird nicht angegeben, welche Spezialprüfung analysiert wird.

Anzahl der Studien nach medizinischer Fachrichtung

Geeignete Arbeiten erhalten im Durchschnitt 4,15 von sechs möglichen Punkten für Relevanz und methodische Qualität. 94 % (62/66, siehe Abb. 4) der Studien erhalten einen Punkt für Kriterium 1 („Ist das Studiendesign zur Beantwortung der untersuchten Frage geeignet?“), 89 % (59/66) für Kriterium 2 („Ist das Studiendesign geeignet?“) Methode so beschrieben, dass eine Replikation ohne weitere Informationen möglich ist?“) und 95 % (63/66) für Kriterium 3 („Ist die Interpretation kohärent?“). Die Anzahl der analysierten Kandidaten beträgt in 73 % (48/66) der Studien mindestens 50 (Kriterium 4). 36 % (24/66) der Studien vergleichen mehrere Prüfungen (Kriterium 5). Schließlich analysieren 28 % (18/66) der eingeschlossenen Studien die gesamte(n) Prüfung(en) (Kriterium 6). Viele konzentrieren sich nur auf einen Teilbereich der Spezialzertifizierungsprüfung, obwohl einige Studien bei dieser Kennzahl auch null Punkte erhalten, da unklar ist, woraus die gesamte betrachtete Spezialzertifizierungsprüfung besteht.

Anzahl der Studien, die methodische Qualitäts- und Relevanzkriterien erfüllen

Die Nomenklatur variiert stark je nach Prüfungsmodalität. Zu den am häufigsten verwendeten Methoden gehören Multiple-Choice-Fragen (MCQ), strukturierte mündliche Prüfungen mit Expertengesprächen und objektive strukturierte klinische Prüfungen (OSCE). Essayfragen, Dissertationsgutachten oder klinische Erfahrungen werden in den Studien seltener ausgewertet. Nur wenige Prüfungen zur medizinischen Facharztzertifizierung verwenden nur eine einzige Prüfungsmethode. Eine große Mehrheit der veröffentlichten Studien konzentriert sich daher auf Prüfungen mit einer Kombination verschiedener Modalitäten, die mindestens eine schriftliche und eine mündliche Methode umfassen.

Im Durchschnitt untersuchen Studien 2,1 der 7 Ottawa-Kriterien. Das am häufigsten untersuchte Kriterium ist die Validität (51/66 Studien), gefolgt von der Zuverlässigkeit (37/66) und der Akzeptanz (20/66). Die Machbarkeit ist Gegenstand der Analyse in 13 Arbeiten. Äquivalenz und katalytische Wirkung werden am seltensten untersucht, wobei in vier Studien Ergebnisse erwähnt werden, die jeweils zu diesen Kategorien gehören (siehe Abb. 5).

Anzahl der Studien nach Ottawa-Kriterium

Es wurde keine Prüfung zur medizinischen Facharztzertifizierung im Hinblick auf alle sieben Ottawa-Kriterien analysiert. Selbst wenn Beweise aus mehreren Studien zusammengetragen wurden, wurden nur 16 von 46 Prüfungen im Hinblick auf drei oder mehr untersucht. Drei Prüfungen wurden im Hinblick auf fünf und zwei Prüfungen im Hinblick auf sechs der sieben Ottawa-Kriterien analysiert (siehe Abb. 6).

Prüfungen analysiert nach Anzahl der Ottawa-Kriterien

Die Prüfung zur Mitgliedschaft im Royal College of General Practitioners (MRCGP) ist die am umfassendsten untersuchte Spezialzertifizierungsprüfung in Bezug auf die Ottawa-Kriterien. Zwischen 2000 und 2020 wurden zehn verschiedene Arbeiten veröffentlicht. Abgesehen vom Durchführbarkeitskriterium werden alle Ottawa-Kriterien in der Literatur abgedeckt .

Die MRCGP-Prüfung zielt darauf ab, die Fähigkeiten und Kenntnisse eines Arztes zu testen, der „eine zufriedenstellende Facharztausbildung für Allgemeinmedizin abgeschlossen hat und in der Lage ist, ohne weitere Aufsicht eine unabhängige Praxis im Vereinigten Königreich aufzunehmen“ [89]. Obwohl es immer wieder Änderungen am Prüfungsformat gibt, wird es in fast allen eingeschlossenen Studien als aus den folgenden vier Teilen bestehend beschrieben: einer schriftlichen Prüfung (genannt „schriftliche Arbeit“), die aus Freitextantworten besteht, und einer Multiple-Choice-Frage Prüfung, eine mündliche Prüfung und ein Videoteil zur Prüfung der Beratungskompetenzen [37,38,39, 41, 42]. Nachfolgend werden die einzelnen zum MRCGP veröffentlichten Forschungsstudien näher vorgestellt.

Dixon [41] befragte Registrare zu ihren Ansichten zu den verschiedenen MRCGP-Modulen und ihren Auswirkungen auf das Lernen. Er stellte fest, dass die Kandidaten Lerngruppen anderer Registratoren als besonders hilfreich zur Vorbereitung auf die schriftlichen und mündlichen Komponenten empfanden, und das Feedback der Trainer als besonders hilfreich für die Videokomponente der Beratungskompetenzen. Viele sagten, sie hätten zur Vorbereitung weitere Übersichtsartikel, aber keine Originalartikel gelesen. Die meisten Kandidaten waren der Meinung, dass die Vorbereitung auf das mündliche Modul ihr Verständnis für moralische und ethische Grundsätze verbessert habe.

Die „schriftliche Arbeit“ in der MRCGP-Prüfung zielt darauf ab, die Problemlösungsfähigkeiten, Kenntnisse der aktuellen Literatur und die Fähigkeit zur kritischen Beurteilung der Studienmethodik der Kandidaten zu testen. Wie von Sandars et al. [38] erhalten die Kandidaten dreieinhalb Stunden Zeit, um drei Literaturauszüge zu lesen und prägnante „Notizen“ zu verfassen, in denen zwölf Fragen beantwortet werden, in der Regel über die Methodik der Studien und wie sich diese auf ein bestimmtes Szenario bezieht, das für Allgemeinmediziner relevant ist. Munro et al. [36] zeigen, dass diese vom Prüfer markierten „Freitext-Antworten“ relativ hohe Zuverlässigkeitsmaße erreichen, wobei Cronbachs Alpha durchweg zwischen 0,85 und 0,88 liegt. Dixon [39] bat die Kandidaten, ihren Eindruck von den Frageformaten zu bewerten und kam zu dem Ergebnis, dass das Format mit der besten Antwort (Single Best Answer, SBA) am einfachsten bewertet wurde, während die Fragen zur Vervollständigung des Behandlungsalgorithmus, zum erweiterten Matching und zur zusammenfassenden Vervollständigung als schwieriger eingestuft wurden. Auch zusammenfassende Vervollständigungsfragen wurden kritisiert, da sie die Sprachfähigkeit testeten. Insgesamt war die Akzeptanz der schriftlichen Arbeit bei den Kandidaten hoch, obwohl eine Mehrheit der Meinung ist, dass dieses Modul auch unangemessene Fragen enthielt. Das schriftliche Papiermodul der MRCGP-Prüfung schien besonders hilfreich dabei zu sein, die Kandidaten zu ermutigen, regelmäßig Zeitschriftenartikel zu lesen. Partridge [44] unterstützt diese Ansicht und betont weiterhin die Bedeutung kritischer Beurteilungsfähigkeiten für die schriftliche Arbeit. Eine große Mehrheit der Kandidaten war mit diesem Teil der Prüfung im Allgemeinen zufrieden und empfand die Fragen als klar und relevant für die Allgemeinmedizin.

Das „Multiple Choice Paper“ (MCP) verwendet eine Reihe von Frageformaten, darunter SBA, Bilder und erweiterte Matching-Fragen, um die Breite und Tiefe des Wissens der Kandidaten zu testen. Dixon et al. [45] baten GP-Trainer, eine verkürzte Version des MCP zu absolvieren, und stellten fest, dass sie die Registrare auch ohne Vorbereitung bei der Gesamtpunktzahl sowie bei Fragen, die sich speziell auf die Allgemeinmedizin und die Praxisverwaltung beziehen, deutlich übertrafen. Den Trainern gelang es nicht deutlich häufiger als den Kandidaten, Fragen zur Forschungsmethodik oder zur kritischen Würdigung zu beantworten. Obwohl andere Fragethemen als einfach empfunden wurden, wurden die Fragen zur Forschungsmethodik und zur kritischen Beurteilung von den meisten Trainern als schwierig eingestuft. Dixon et al. [43] fassen auch die Ansichten der Kandidaten zu diesem Teil der Prüfung zusammen und kommen zu dem Schluss, dass das Ziel, eine faire Prüfung des Wissens der Kandidaten zu sein und für die Allgemeinmedizin relevant zu sein, als erfolgreich angesehen wurde. Die Themen Forschung und Statistik wurden von diesen Kandidaten als am schwierigsten empfunden. Allerdings erzielten sie in diesen Bereichen keine niedrigeren Durchschnittswerte. Als Reaktion auf dieses Feedback wurden kleine Anpassungen vorgenommen, z. B. das Hinzufügen eines Taschenrechners und das Einräumen einer Verlängerung um zehn Minuten.

Ziel der „Mündlichen Prüfung“ ist es, die Entscheidungskompetenz und die beruflichen Werte der Kandidaten anhand von zwei 20-minütigen mündlichen Prüfungen mit zwei Prüfern und jeweils fünf Themen zu testen. Die Prüfer wählten ihre Fragen selbst aus. Wass et al. [42] stellen fest, dass die Zuverlässigkeitskoeffizienten niedriger als erforderlich sind (Intercase 0,65, bestanden/nicht bestanden 0,85) und empfehlen, die Prüfungszeit und die Anzahl der behandelten Themen zu erhöhen und schlagen fünf mündliche Prüfungen mit jeweils einem Prüfer vor. Dies würde die Intercase-Zuverlässigkeit auf 0,78 und die Pass/Fail-Zuverlässigkeit auf 0,92 erhöhen. Simpson et al. [37] untersuchte auch die mündliche Prüfung und argumentierte, dass „die Beurteilung beruflicher Werte größtenteils auf der Ebene von Wissen und Verständnis geprüft wurde, wobei nur wenige Prüfer die Kandidaten dazu ermutigten, ihren geäußerten Standpunkt zu begründen, oder ihnen erlaubten, zu zeigen, wie sie diese Werte nutzen könnten.“ um ihre Entscheidungsfindung zu unterstützen.“

Für das „Consulting Skills Assessment“ werden die Kandidaten gebeten, Videos einzureichen, in denen sie mit sieben echten Patienten interagieren. Sie können diejenigen sieben Konsultationen auswählen, die 15 Leistungskriterien am besten nachweisen, und werden dann von sieben unabhängigen, für diese Beurteilung geschulten Hausärzten bewertet. Siriwardena et al. [40] verglichen dieses Modul mit der OPTION-Skala (Observing Patient Involvement) – einer unabhängig validierten Skala für die gemeinsame Entscheidungsfindung – und stellten fest, dass es sowohl das Leistungskriterium „Teilung von Managementoptionen“ als auch die MRCGP-Gesamtergebnisse vorhersagt.

Dieser systematische Review befasst sich mit einer wichtigen Frage der aktuellen medizinischen Ausbildungsforschung: Wie können wir die Kompetenz von Ärzten glaubwürdig prüfen und zertifizieren? Fachzertifizierungsprüfungen sind für die Patientensicherheit, den beruflichen Aufstieg der Kandidaten und die Rechenschaftspflicht gegenüber der Öffentlichkeit von entscheidender Bedeutung. Bisher fehlten jedoch Beweise für ihre Qualität. Indem wir sieben verschiedene Datenbanken durchsuchen und eine Vielzahl möglicher Variationen bei Suchbegriffen verwenden, stellen wir einen umfassenden Überblick über die in den letzten zwanzig Jahren veröffentlichten Forschungsergebnisse zu den untersuchten Ottawa-Qualitätskriterien für Spezialzertifizierungsprüfungen zusammen. Es wurden 66 Studien eingeschlossen. Zuverlässigkeit, Validität und Akzeptanz sind die in dieser Literatur am häufigsten untersuchten Kriterien für Fachprüfungen. Wie bereits in der vorherigen Literaturübersicht von Hutchinson et al. konzentriert sich der größte Teil der Evidenz auf das Vereinigte Königreich und die USA sowie auf das Fachgebiet Allgemeinmedizin [19]. Wir dokumentieren jedoch einen starken Anstieg der Anzahl der untersuchten verschiedenen Länder, medizinischen Fachgebiete und Ottawa-Kriterien in den letzten zwanzig Jahren.

Die genaue Nomenklatur zur Beschreibung von Prüfungsqualitätsindikatoren in der Literatur und die relative Betonung der Autoren können variieren, es besteht jedoch weitgehende Einigkeit darüber, welche Qualitäten gute Prüfungen erfüllen müssen. Insbesondere die Facharztzertifizierung muss gültig, zuverlässig und objektiv sein. Bei Wiederholung sollten sie ähnliche Ergebnisse liefern und daher reproduzierbar sein, unabhängig von Faktoren wie der Voreingenommenheit des Prüfers [3]. Darüber hinaus müssen solche Bewertungen durchführbar sein, möglichst kosteneffizient bleiben und ein angemessenes Feedback für und vom Lernen geben [90]. Alle diese Aspekte werden durch die sieben Kriterien für eine gute Bewertung der Ottawa-Konferenz abgedeckt, die für diese Überprüfung ausgewählt wurden: Gültigkeit, Zuverlässigkeit, Äquivalenz, Durchführbarkeit, Akzeptanz, katalytische und pädagogische Wirkung. Aufgrund des hochriskanten summativen Charakters von Spezialzertifizierungsprüfungen liegt der Schwerpunkt oft auf der Gewährleistung der Gültigkeit und Zuverlässigkeit und nicht auf der pädagogischen oder katalytischen Wirkung. Dieser Trend spiegelt sich in der Anzahl der gefundenen Studien wider, die jedes Kriterium analysieren.

Wir können sehen, wie die Ottawa-Kriterien manchmal miteinander in Konflikt geraten. Obwohl beispielsweise die Akzeptanz bei den Kandidaten leiden kann, wenn ein Prüfungsprogramm die Bereitstellung von konstruktivem Feedback vernachlässigt, kann die Priorität einer Institution, die die Prüfung organisiert, darin liegen, der Öffentlichkeit, den Gesundheitseinrichtungen und den Patienten glaubwürdig zu signalisieren, dass ein bestandener Kandidat für die unabhängige Ausübung der Prüfung bereit ist . Wie solche Kompromisse zwischen Qualitätskriterien mit begrenzten Ressourcen verbessert werden können, kann anhand des Machbarkeitskriteriums untersucht werden. Die Machbarkeit, einschließlich der mit verschiedenen Prüfungsmethoden verbundenen finanziellen Kosten, ist daher ein Hauptanliegen bei qualitativ hochwertigen Fachzertifizierungsprüfungen, die in ressourcenbeschränkten Kontexten organisiert werden. Trotz seiner Relevanz beobachten wir einen relativen Mangel an Studien zu diesem Kriterium [24, 25, 55, 61, 66, 68, 71, 73, 74, 76, 77, 79, 84, 91].

Gemäß Millers Rahmen zur Beurteilung klinischer Fähigkeiten, Kompetenzen und Leistungen kann die klinische Beurteilung in vier progressiven Ebenen konzeptualisiert werden: Der Lernende geht über „weiß“, „weiß wie“ und „zeigt wie“ zu „tut“ [92]. Es ist das erste, das am einfachsten zuverlässig in einer schriftlichen Prüfung geprüft werden kann. Allerdings müssen Kenntnisse auf höchstem Niveau erreicht werden, bevor ein Kandidat für die unabhängige Ausübung zertifiziert werden kann. Wenn sie ihr Wissen, ihre Fähigkeiten und ihre Einstellung nicht unter Beweis stellen können, können wir nicht sicher sein, dass dies der Fall ist: „Keine einzelne Beurteilungsmethode kann alle Daten liefern, die für die Beurteilung einer so komplexen Sache wie der Erbringung professioneller Dienstleistungen durch einen erfolgreichen Arzt erforderlich sind.“ ” [92]. Alle Untersuchungsmethoden unterliegen Einschränkungen hinsichtlich mindestens eines Ottawa-Qualitätskriteriums und es kann nicht erwartet werden, dass sie alle Ebenen des Miller-Rahmens abdecken [93]. Gut gestaltete Facharztprüfungen schaffen es, auch die höheren Ebenen der Miller-Pyramide zu überprüfen und dadurch die Prüfungsbedingungen besser an die Realität der Tätigkeit als zertifizierter Arzt anzupassen [3, 92, 94].

Die Notwendigkeit der Kombination unterschiedlicher Bewertungsmethoden bei Facharztzertifizierungsprüfungen wurde speziell für US-Amerikaner der Inneren Medizin in einem nicht systematischen Übersichtsartikel von Holmboe et al. aus dem Jahr 1998 hervorgehoben. [95]. Sie fassen Studien zusammen, die zwischen 1966 und 1998 veröffentlicht wurden, und argumentieren, dass die schriftliche Zertifizierungsprüfung des American Board of Internal Medicine (ABIM) allein nicht ausreicht, um die klinische Kompetenz angemessen zu beurteilen. Sie sollte durch andere Untersuchungsmethoden in der Klinik ergänzt werden, beispielsweise durch Bewertungsskalen für zwischenmenschliche Beziehungen Fähigkeiten und Einstellungen, Prüfungen von Krankenakten, klinische Bewertungsübungen (CEX) und standardisierte Patientenuntersuchungen. In neueren Arbeiten wurde außerdem empfohlen, die Bewertung auf Kompetenzen wie Teamarbeit und Bevölkerungsfürsorge auszudehnen [96, 97]. Daher ist es ermutigend, dass ein Großteil der in diesem Bericht analysierten medizinischen Fachzertifizierungsprüfungen Triangulationsmethoden verwenden und z. B. Multiple-Choice-Fragen („weiß“ und „weiß wie“) durch OSCEs („zeigt wie“) und arbeitsplatzbasierte Beurteilungen („macht“) ergänzen “) [22,23,24,25,26,27,28,29, 31, 35,36,37,38,39,40,41,42,43,44,45,46].

Einzelne Prüfungen nur am Ende einer Ausbildungszeit können dazu führen, dass Kandidaten das gegebene Feedback ignorieren [93]. Die Weiterentwicklung des Zertifizierungsprozesses für medizinische Fachgebiete kann daher aus zusätzlichen, längsschnittlich durchgeführten Beurteilungen (z. B. arbeitsplatzbezogenen Beurteilungen) bestehen.

Dieser Ansatz findet zunehmende Unterstützung in sogenannten programmatischen Bewertungen der kompetenzbasierten medizinischen Ausbildung (CBME). Bei diesem systembasierten Ansatz zur Bewertungsgestaltung basieren Pass-Fail-Entscheidungen auf einem Portfolio, das Datenpunkte enthält, die von mehreren Prüfern und Bewertungen erstellt wurden [90, 98]. Der Zeitpunkt der Prüfung wird vom Zeitpunkt einer wichtigen Entscheidung wie Beförderung oder Abschluss entkoppelt [99]. Ziel ist es, dass die Kandidaten wertvolle Informationen sowohl aus dem kritischen Feedback, der Unterstützung als auch der Selbstreflexion eines Mentors gewinnen, ohne dass solche Programme übermäßig bürokratisch oder zeitaufwändig werden [100, 101]. Eine Kombination aus in Längsrichtung wiederholten arbeitsplatzbasierten Beurteilungen und strukturierten Prüfungen, wie in diesem Artikel zusammengefasst, scheint am vielversprechendsten zu sein, um dieses Ziel zu unterstützen und entscheidende Datenpunkte für die hochriskante Entscheidung über die Qualifikation für die unbeaufsichtigte Praxis zu liefern.

Da sich die meisten in dieser Rezension analysierten Arbeiten ausschließlich auf einen Aspekt der Prüfung konzentrieren, ist es oft nicht möglich, die gesamte Fachzertifizierungsprüfung umfassend zu bewerten. Nur wenige Studien betrachten mehrere Prüfungsformate und vergleichen sie [24, 27, 35, 41, 54, 69, 86,87,88]. Stärken und Schwächen, die mit nur einer Bewertungsmethode identifiziert wurden, können daher in einem anderen Teil der Prüfung ausgeglichen werden, ohne dass dieser Effekt in der Literatur berücksichtigt wird.

Es ist möglich, dass sich aufgrund des betrachteten Zeitraums die Prüfungsformate in der Zeit seit der Durchführung der einbezogenen Studien geändert haben und bestimmte in einer Arbeit geäußerte Kritikpunkte bereits in die Praxis eingeflossen sind. Dies ist der Fall bei der Prüfung zur Mitgliedschaft im Royal College of General Practitioners (MRCGP UK), die zur Veranschaulichung der Literatur zu einer besonders gut recherchierten Prüfung zur Zertifizierung eines medizinischen Fachgebiets verwendet wurde. Diese bestand zum Zeitpunkt des Studiums aus einer schriftlichen Prüfung mit Freitextantworten, einer Multiple-Choice-Fragenprüfung, einer mündlichen Prüfung und einem Videoteil zur Prüfung der Beratungskompetenz.

Das RCGP hat inzwischen beschlossen, die Formate zu ändern, um die Prüfung weiter zu verbessern. Aufgrund möglicher Probleme hinsichtlich der Validität und Zuverlässigkeit – insbesondere der Interbeurteiler-Reliabilität – wurde die Verwendung mündlicher Prüfungen in vielen Ländern, darunter auch im Vereinigten Königreich, zugunsten klarer strukturierter Prüfungsformate eingestellt. Die schriftliche Prüfung wurde durch ein OSCE-basiertes Clinical Skills Assessment (CSA) und ein Workplace Based Assessment (WPBA) ergänzt. Im CSA werden Patienten von geschulten und kalibrierten Schauspielern gespielt, was die Simulation realer Konsultationen ermöglicht [102]. Das Ziel des WPBA besteht darin, Kandidaten in ihrer täglichen Praxis zu bewerten und konstruktives Feedback zu geben sowie Aspekte des beruflichen Verhaltens gezielt zu bewerten, die allein mit der schriftlichen Prüfung und dem CSA schwer zu messen sind [103]. Aufgrund der Covid-Pandemie wurden vorübergehend weitere Anpassungen vorgenommen [104]. Wie genau die aktuelle Version der MRCGP-Prüfung im Vergleich zum vorherigen Prüfungsformat hinsichtlich verschiedener Bewertungskriterien abschneidet, wurde in der vorhandenen Literatur nicht gezeigt.

Obwohl die nachgewiesene Gültigkeit und Zuverlässigkeit von Prüfungsformaten im OSZE-Stil ihre Attraktivität für Institutionen auf der ganzen Welt erhöht hat, könnte ein möglicher Nachteil mit ihrer Akzeptanz zusammenhängen. „Prüfer mögen im Allgemeinen keine strukturierten Beurteilungen“, da es ihnen an Spontaneität und Flexibilität mangelt, um die Beurteilung an die Fähigkeiten des Kandidaten anzupassen [69]. Dennoch ermöglicht die aktuelle Kombination von Prüfungsformaten wohl eine vergleichsweise umfassende Beurteilung der Kandidaten: Schriftliche Prüfungen testen Wissen, können stark standardisiert werden und sind leicht durchführbar, OSCEs erfüllen Standardisierungsanforderungen und ermöglichen gleichzeitig eine Beurteilung des „zeigt wie“-Niveaus des Testlernens und WPBAs ergänzen diese Methoden, indem sie realistischere, personalisierte Bewertungsdaten bereitstellen.

Mit Suchbegriffen, die eine Vielzahl möglicher Synonyme für Zertifizierungsprüfungen für medizinische Fachgebiete abdecken, bietet diese Rezension den bisher umfangreichsten und aktuellsten Überblick und ermöglicht ein genaues Bild aktueller Zertifizierungsprüfungen für medizinische Fachgebiete, die wissenschaftlich evaluiert wurden eines der Ottawa-Kriterien weltweit. Zusammen decken diese sieben Kriterien wichtige Aspekte der Bewertungsqualität ab.

Wir stellen jedoch fest, dass viele Prüfungen noch nicht wissenschaftlich nach den Ottawa-Qualitätskriterien analysiert wurden. Dies bedeutet, dass einige Länder und medizinische Fachgebiete in dieser Überprüfung nicht berücksichtigt werden. Wir stellen fest, dass es häufig vorkommt, dass Fachzertifizierungsprüfungen oder unterschiedliche Prüfungsformate nur anhand einiger ausgewählter Kriterien oder nur für einen Teil der Prüfung wissenschaftlich untersucht werden. Eine Gesamtbewertung der Qualität, die zu einer klaren Empfehlung führt, welche Prüfung alle sieben Ottawa-Kriterien für eine gute Bewertung am besten erfüllt, kann durch die aktuelle Literatur zu Spezialzertifizierungsprüfungen nicht gestützt werden.

Eine weitere Einschränkung dieser Rezension besteht darin, dass Literatur, die in anderen Sprachen als Englisch oder ausschließlich in Datenbanken veröffentlicht wurde, die nicht in unserer Suche enthalten sind, nicht in diese Rezension einbezogen wird. Dies benachteiligt Länder, in denen die Hauptsprache nicht Englisch ist, und erklärt möglicherweise teilweise, dass in unseren Ergebnissen Literatur über Prüfungen aus dem Vereinigten Königreich, den USA und anderen anglophonen Ländern vorherrscht.

Diese systematische Literaturrecherche bietet einen Überblick über Zertifizierungsprüfungen für medizinische Fachgebiete, die jeweils verwendeten Prüfungsmethoden und deren Bewertung im Hinblick auf die Ottawa-Kriterien. Es kann somit diejenigen unterstützen, die die aktuellen Fachzertifizierungsprüfungen verbessern möchten, indem es die Stärken und Schwächen bestehender Prüfungen aufzeigt. Basierend auf den Ergebnissen der in dieser systematischen Übersicht vorgestellten Arbeiten können wir auf der Forschung aufbauen, die für unser medizinisches Fachgebiet am relevantesten ist, und aus den Stärken und Schwächen lernen, die in den in anderen Ländern untersuchten Untersuchungsformaten hervorgehoben wurden. Zertifizierungsstellen, die ihre aktuellen Prüfungsmethoden erweitern möchten, können in der hier vorgestellten Forschung bewährte Methoden finden. Durch die Zusammenstellung der veröffentlichten Forschungsergebnisse kann diese Rezension den Lesern auch bei der Entscheidung helfen, welche Spezialzertifizierungsprüfungen sie in ihrem Zuständigkeitsbereich akzeptieren möchten. Schließlich bietet es einen Index der führenden Forscher in diesem Bereich und dient denjenigen, die weiter zusammenarbeiten oder eine bestimmte Zertifizierungsprüfung in Bezug auf die sieben Ottawa-Kriterien absolvieren möchten.

Weitere Untersuchungen sollten zusammenfassen, wie gut Prüfungen alle Ottawa-Kriterien erfüllen, und sie entsprechend vergleichen. Welche Untersuchungsmethode eignet sich am besten für ressourcenbeschränkte Umgebungen? Welches medizinische Fachgebiet schafft es, seine Kandidaten am zuverlässigsten zu testen? Und insgesamt: Was ist im Hinblick auf alle sieben Ottawa-Kriterien der beste Weg, eine ärztliche Zertifizierungsprüfung zu organisieren? Diese Art von Forschungsanfragen erscheint vielversprechend, da sie die in dieser Übersicht hervorgehobenen Literaturlücken widerspiegeln. Es gibt zahlreiche Studien zum Vergleich zertifizierter und nicht zertifizierter Ärzte [105,106,107], doch wären Studien, die die Prüfungsformate mit der späteren Leistung zertifizierter Ärzte im Vergleich zu nicht zertifizierten Ärzten verknüpfen, hilfreicher bei der Entscheidung, wie eine Facharztzertifizierungsprüfung am besten strukturiert werden kann. Beispielsweise könnten natürliche Experimente, bei denen Zertifizierungsstellen ihre Praktiken aktualisieren, oder Kohortenstudien, bei denen zertifizierte Ärzte unterschiedliche Untersuchungsmethoden verwenden, unterschiedliche Ergebnisse für die Patientensicherheit untersuchen. Fallberichte, die den Einsatz innovativer neuer Untersuchungsformate hervorheben, können auch potenzielle Verbesserungen der etablierten Techniken bieten. Weitere Untersuchungen sollten die in dieser Übersicht hervorgehobenen Lücken in Bezug auf die Prüfungen, Länder und die Ottawa-Kriterien schließen, die noch nicht untersucht wurden, um einen ganzheitlichen Vergleich zwischen den Prüfungen zu ermöglichen.

Weitere Forschungen sollten die sieben Ottawa-Kriterien nutzen, um sich auf Zertifizierungsprüfungen für medizinische Fachgebiete in mehr nicht englischsprachigen Ländern und einer größeren Vielfalt von Fachgebieten zu konzentrieren. Sie sollten zusätzliche Quellen wie interne graue Literatur der Zertifizierungsinstitutionen und Experteninterviews nutzen, um Einblicke in weniger häufig untersuchte Kriterien wie die Machbarkeit zu gewinnen. Die Einführung einer gemeinsamen Nomenklatur, die die Voraussetzungen, Bewertungsmethoden und Konsequenzen von Prüfungen zur medizinischen Facharztzertifizierung abdeckt, würde künftige Vergleiche einfacher machen. Obwohl die allgemeine Qualität der von uns gefundenen Studien gut war, analysierten die meisten aktuellen Untersuchungen nur einen Bruchteil der gesamten Prüfung und verglichen keine verschiedenen Untersuchungen. Diese Ansätze sollten weiterverfolgt werden, um eine umfassendere Bewertung und bessere Leitlinienempfehlungen für die zukünftige Praxis zu ermöglichen.

Insgesamt besteht trotz des oben dargelegten gestiegenen Interesses in den letzten Jahrzehnten weiterhin ein dringender Bedarf an mehr öffentlich zugänglicher Forschung, um das Vertrauen zurückzugewinnen, das die Öffentlichkeit in den Zertifizierungsprozess von Ärzten setzt.

In den letzten zwanzig Jahren ist das Interesse am Thema Patientensicherheit und effektiven Prüfungen zur Facharztzertifizierung gewachsen. Dies spiegelt sich in einer wachsenden Zahl von Studien wider, in denen Zertifizierungsprüfungen für medizinische Fachgebiete analysiert werden, die eine größere Vielfalt an medizinischen Fachgebieten, Ländern und Ottawa-Kriterien abdecken. Die Prüfungen zur Facharztzertifizierung variieren von Land zu Land erheblich und werden durch neue Prüfungsformate ständig an sich ändernde Umstände angepasst. Aufgrund ihrer Auswirkungen auf die Patientensicherheit, der zunehmenden öffentlichen Kontrolle über die medizinische Selbstregulierung und ihrer Auswirkungen auf die Karrierechancen der Kandidaten ist es von größter Bedeutung, dass sie durch eine Vielzahl von Beweisen gestützt werden, die die Erfüllung aller sieben Ottawa-Kriterien für eine gute Beurteilung belegen. Aufgrund ihrer Abhängigkeit von mehreren Bewertungsmethoden und Datenpunkten deuten Aspekte der programmatischen Bewertung auf einen vielversprechenden Weg für die Entwicklung effektiver Zertifizierungsprüfungen für medizinische Fachgebiete hin. Um diese Ergebnisse zu bestätigen und zu erweitern, sollte sich die zukünftige Forschung auf außerhalb der Anglosphäre durchgeführte Prüfungen, Analysen ganzer Zertifizierungsprüfungen und Vergleiche verschiedener Prüfungsmethoden konzentrieren.

Der Datensatz, der die Schlussfolgerungen dieses Artikels stützt, ist im Artikel (und seinen zusätzlichen Dateien) enthalten.

Amerikanisches Gremium für Innere Medizin

Kompetenzbasierte medizinische Ausbildung

Klinische Bewertungsübung

Beurteilung der klinischen Fähigkeiten

Allgemeinmediziner

Multiple-Choice-Papier

Frage mit mehreren Antwortmöglichkeiten

Qualitätsinstrument für medizinische Ausbildungsforschung

Mitgliedschaftsprüfung des Royal College of General Practitioners

Skala „Beobachtung der Patientenbeteiligung“.

Objektive strukturierte klinische Untersuchung

Bevölkerung, Intervention, Vergleich, Ergebnisse und Studie

Royal College of General Practitioners

Einzelne beste Antwort

Arbeitsplatzbezogene Beurteilung

de Vries EN, Ramrattan MA, Smorenburg SM, Gouma DJ, Boermeester MA. Häufigkeit und Art unerwünschter Ereignisse im Krankenhaus: eine systematische Überprüfung. Qual Saf Gesundheitsfürsorge. 2008;17(3):216–23.

Artikel Google Scholar

Memon MA, Joughin GR, Memon B. Mündliche Beurteilung und postgraduale medizinische Prüfungen: Festlegung von Bedingungen für Gültigkeit, Zuverlässigkeit und Fairness. Adv Health Sci Educ Theory Pract. 2010;15(2):277–89.

Artikel Google Scholar

Thiessen N, Fischer MR, Huwendiek S. Beurteilungsmethoden in der Facharztbegutachtung in der DACH-Region – Überblick, kritische Betrachtung und Empfehlungen zur Weiterentwicklung. GMS J Med Educ. 2019;36(6):Doc78–Web.

Wijnen-Meijer M, Burdick W, Alofs L, Burgers C, Ten Cate O. Phasen und Übergänge in der medizinischen Ausbildung auf der ganzen Welt: Klärung von Strukturen und Terminologie. Med. Lehren. 2013;35(4):301–7.

Artikel Google Scholar

Cassel CK, Holmboe ES. Professionalität und Verantwortlichkeit: die Rolle der Zertifizierung durch ein Fachgremium. Trans Am Clin Climatol Assoc. 2008;119:295–303 (Diskussion 303–304).

Google Scholar

Sharp LK, Bashook PG, Lipsky MS, Horowitz SD, Miller SH. Zertifizierung durch Fachgremien und klinische Ergebnisse: Das fehlende Glied. Acad Med. 2002;77(6):534–42.

Artikel Google Scholar

Chen J, Rathore SS, Wang Y, Radford MJ, Krumholz HM. Zertifizierung durch eine Ärztekammer sowie die Betreuung und Ergebnisse älterer Patienten mit akutem Myokardinfarkt. J Gen Intern Med. 2006;21(3):238–44.

Artikel Google Scholar

Prystowsky JB, Bordage G, Feinglass JM. Patientenergebnisse bei segmentaler Kolonresektion entsprechend der Ausbildung, Zertifizierung und Erfahrung des Chirurgen. Operation. 2002;132(4):663–70 (Diskussion 670–662).

Artikel Google Scholar

Reid RO, Friedberg MW, Adams JL, McGlynn EA, Mehrotra A. Zusammenhänge zwischen ärztlichen Merkmalen und Qualität der Pflege. Arch Intern Med. 2010;170(16):1442–9.

Artikel Google Scholar

Lipner RS, Hess BJ, Phillips RL Jr. Specialty Board-Zertifizierung in den Vereinigten Staaten: Probleme und Beweise. J Contin Educ Health Prof. 2013;33(Suppl 1):S20–35.

Artikel Google Scholar

Ausschuss des Institute of Medicine für die Qualität der Gesundheitsversorgung in A. In: Irren ist menschlich: Aufbau eines sichereren Gesundheitssystems. Hrsg. Herausgegeben von Kohn LT, Corrigan JM, Donaldson MS. Washington (DC): National Academies Press (USA). Copyright 2000 bei der National Academy of Sciences. Alle Rechte vorbehalten.; 2000.

Weiss KB. Zukunft der Vorstandszertifizierung in einer neuen Ära der öffentlichen Rechenschaftspflicht. J Am Board Fam Med. 2010;23(Suppl 1):S32–39.

Artikel Google Scholar

McGlynn EA, Asch SM, Adams J, Keesey J, Hicks J, DeCristofaro A, Kerr EA. Die Qualität der Gesundheitsversorgung für Erwachsene in den Vereinigten Staaten. New Engl J Med. 2003;348(26):2635–45.

Artikel Google Scholar

James JT. Eine neue, evidenzbasierte Schätzung der Patientenschäden im Zusammenhang mit der Krankenhausversorgung. J Patientensicherheit. 2013;9(3):122–8.

Makary MA, Daniel M. Medizinische Fehler – die dritthäufigste Todesursache in den USA. BMJ. 2016;353:i2139.

Artikel Google Scholar

Norcini J, Anderson B, Bollela V, Burch V, Costa MJ, Duvivier R, Galbraith R, Hays R, Kent A, Perrott V, et al. Kriterien für eine gute Bewertung: Konsenserklärung und Empfehlungen der Ottawa-Konferenz 2010. Med. Lehren. 2011;33(3):206–14.

Artikel Google Scholar

Norcini J, Anderson MB, Bollela V, Burch V, Costa MJ, Duvivier R, Hays R, Palacios Mackay MF, Roberts T, Swanson D. 2018 Konsensrahmen für eine gute Bewertung. Mit Teach. 2018;40(11):1102–9.

Artikel Google Scholar

Spike N. Verbessert die medizinische Postgraduiertenzertifizierung die Gesundheitsergebnisse? Medizinische Ausbildung. 2002;36:7–8.

Artikel Google Scholar

Hutchinson L, Aitken P, Hayes T. Sind medizinische Postgraduierten-Zertifizierungsprozesse gültig? Eine systematische Überprüfung der veröffentlichten Beweise. Medizinische Ausbildung. 2002;36(1):73–91.

Artikel Google Scholar

Herb U, Geith U. Kriterien der qualitativen Bewertung wissenschaftlicher Publikationen: Befunde aus dem Projekt visOA. Information - Wissenschaft & Praxis. 2020;71(2–3):77–85.

Artikel Google Scholar

Cook DA, Reed DA. Bewertung der Qualität von Forschungsmethoden in der medizinischen Ausbildung: das Medical Education Research Study Quality Instrument und die Newcastle-Ottawa Scale-Education. Acad Med. 2015;90(8):1067–76.

Artikel Google Scholar

Berkenstadt H, Ziv A, Gafni N, Sidi A. Der Validierungsprozess der Einbeziehung der simulationsbasierten Akkreditierung in die Prüfungen des israelischen National Board für Anästhesiologie. Israel Med Assoc J. 2006;8(10):728–33.

Google Scholar

Sun H, Warner DO, Patterson AJ, Harman AE, Rathmell JP, Keegan MT, Dainer RJ, McLoughlin TM, Fahy BG, MacArio A. Die standardisierte mündliche Prüfung des American Board of Anaesthesiology für die Erstzertifizierung. Anesth Analg. 2019;129(5):1394–400.

Artikel Google Scholar

Warner DO, Lien CA, Wang T, Zhou Y, Isaak RS, Peterson-Layne C, Harman AE, Macario A, Gaiser RR, Suresh S, et al. Ergebnisse des ersten Jahres der objektiven strukturierten klinischen Untersuchung des American Board of Anaesthesiology für die Erstzertifizierung. Anesth Analg. 2020;23:1412–8.

Warner DO, Isaak RS, Peterson-Layne C, Lien CA, Sun H, Menzies AO, Cole DJ, Dainer RJ, Fahy BG, Macario A, et al. Entwicklung einer objektiven strukturierten klinischen Untersuchung als Bestandteil der Beurteilung für die Erstzertifizierung in Anästhesiologie. Anesth Analg. 2020;130(1):258–64.

Artikel Google Scholar

Gali A, Roiter H, de Mollein D, Swieszkowskimtsac S, Atamañuk N, Guerreromtsac AA, Grancellimtsac H, Barero C. Bewertung der Qualität von Multiple-Choice-Fragen, die bei kardiologischen Zertifizierungs- und Rezertifizierungsprüfungen verwendet werden. Argentinisches Journal für Kardiologie. 2011;79(5):419–22.

Google Scholar

Tan LT, McAleer JJA. Die Einführung von Single-Best-Antwort-Fragen als Wissenstest in der Abschlussprüfung für das Fellowship des Royal College of Radiologists in Clinical Oncology. Klinik Oncol. 2008;20(8):571–6.

Artikel Google Scholar

O'Leary F. Simulation als hochriskantes Beurteilungsinstrument in der Notfallmedizin. EMA – Emerg Med Australas. 2015;27(2):173–5.

Artikel Google Scholar

Bianchi L, Gallagher EJ, Korte R, Ham HP. Interexaminer-Vereinbarung zur mündlichen Zertifizierungsprüfung des American Board of Emergency Medicine. Ann Emerg Med. 2003;41(6):859–64.

Artikel Google Scholar

Slovut DP, Saiar A, Gray BH. Zertifizierung der endovaskulären Medizin 2005–2014: Bericht des American Board of Vascular Medicine. Gefäßmedizin (Vereinigtes Königreich). 2015;20(3):245–50.

Artikel Google Scholar

Khafagy G, Ahmed M, Saad N. Steigerung der Qualität von MCQs durch einen mehrstufigen Überprüfungsprozess. Educ Prim Care. 2016;27(4):299–303.

Artikel Google Scholar

Weingarten MA, Polliack MR, Tabenkin H, Kahan E. Unterschiede zwischen Prüfern bei mündlichen Prüfungen des Facharztausschusses für Familienmedizin. Medizinische Ausbildung. 2000;34(1):13–7.

Artikel Google Scholar

O'Neill TR, Royal KD, Puffer JC. Leistung bei der Zertifizierungsprüfung des American Board of Family Medicine (ABFM): Reichen hervorragende Fähigkeiten allein aus, um die Prüfung zu bestehen? J Am Board Fam Med. 2011;24(2):175–80.

Artikel Google Scholar

O'Neill TR, Peabody MR, Stelter KL, Puffer JC, Brady JE. Validierung der Testplanspezifikationen für die Zertifizierungsprüfung des American Board of Family Medicine. J Am Board Fam Med. 2019;32(6):876–82.

Artikel Google Scholar

Greco M, Spike N, Powell R, Brownlea A. Bewertung der Kommunikationsfähigkeiten von Hausärzten: ein Vergleich der Bewertungen von Patienten und Hausärzten. Medizinische Ausbildung. 2002;36(4):366–76.

Artikel Google Scholar

Munro N, Denney ML, Rughani A, Foulkes J, Wilson A, Tate P. Gewährleistung der Zuverlässigkeit in britischen schriftlichen Tests der Allgemeinmedizin: die MRCGP-Prüfung 1998–2003. Med. Lehren. 2005;27(1):37–45.

Artikel Google Scholar

Simpson RG, Ballard KD. Was wird in der mündlichen MRCGP-Prüfung bewertet? Eine qualitative Studie. Br J Gen Pract. 2005;55(515):430–6.

Google Scholar

Sandars J, Coughlin S, Foulkes J. Die Bewertung von Fähigkeiten in der evidenzbasierten Medizin: Der MRCGP-Prüfungsansatz. Educ Prim Care. 2004;15:550–63.

Google Scholar

Dixon H. Das Multiple-Choice-Papier der MRCGP-Prüfung: eine Studie über die Ansichten der Kandidaten zu seinem Inhalt und seinen Auswirkungen auf das Lernen. Educ Prim Care. 2005;16(6):655–62.

Google Scholar

Siriwardena AN, Edwards AGK, Campion P, Freeman A, Elwyn G. Beziehen Sie den Patienten ein und bestehen Sie den MRCGP: Untersuchung der gemeinsamen Entscheidungsfindung in einer Prüfung der Beratungskompetenzen mit einem validierten Instrument. Br J Gen Pract. 2006;56(532):857–62.

Google Scholar

Dixon H. Ansichten der Kandidaten zur MRCGP-Prüfung und ihren Auswirkungen auf Lernansätze: eine Fragebogenstudie im Northern Deanery. Educ Prim Care. 2003;14:146–57.

Google Scholar

Wass V, Wakeford R, Neighbor R, Van Der Vleuten C. Erreichen einer akzeptablen Zuverlässigkeit bei mündlichen Prüfungen: eine Analyse der mündlichen Komponente der Mitgliedsprüfung des Royal College of General Practitioners. Medizinische Ausbildung. 2003;37(2):126–31.

Artikel Google Scholar

Dixon H, Blow C, Milne P, Siriwardena N, Milne H, Elfes C. Qualitätssicherung des Applied Knowledge Test (AKT) der MRCGP-Prüfung – eine sofortige Bewertung der Ansichten der Kandidaten im Fragebogen nach dem Test. Educ Prim Care. 2015;26(4):223–32.

Artikel Google Scholar

Partridge J. Feedback von Kandidaten, die im Frühjahr 2006 das schriftliche Modul der Mitgliedschaftsprüfung des Royal College of General Practitioners abgelegt haben: ein zufriedenstellender Abschluss. Educ Prim Care. 2008;19(2):165–72.

Artikel Google Scholar

Dixon H, Blow C, Irish B, Milne P, Siriwardena AN. Auswertung einer Postgraduiertenprüfung für die Grundversorgung: Wahrnehmungen und Leistung von Ausbildern für Allgemeinmediziner im Multiple-Choice-Auftrag der Mitgliedschaftsprüfung des Royal College of General Practitioners. Educ Prim Care. 2007;18(2):165–72.

Artikel Google Scholar

Bourque J, Skinner H, Dupré J, Bacchus M, Ainslie M, Ma IWY, Cole G. Die Leistung der Ebel-Standardsetzungsmethode bei der Zertifizierungsprüfung für Innere Medizin des Royal College of Physics and Surgers of Canada im Frühjahr 2019 bestand aus Multiple-Choice-Fragen . J Educ Eval Health Prof. 2020;17:12–Web.

Chierakul N, Danchaivijitr S, Kontee P, Naruman C. Zuverlässigkeit und Gültigkeit von Langfall und Kurzfall bei der Zertifizierungsprüfung des Internen Medizinausschusses. J Med Assoc Thai. 2010;93(4):424–8.

Google Scholar

McManus IC, Mooney-Somers J, Dacre JE, Vale JA. Zuverlässigkeit der MRCP(UK)-Teil-I-Prüfung, 1984–2001. Medizinische Ausbildung. 2003;37(7):609–11.

Artikel Google Scholar

McManus IC, Elder AT, Dacre J. Untersuchung möglicher ethnischer Zugehörigkeit und geschlechtsspezifischer Vorurteile bei klinischen Prüfern: eine Analyse von Daten aus den MRCP(UK) PACES- und nPACES-Untersuchungen. BMC Med Educ. 2013;13:103.

Artikel Google Scholar

McManus IC, Thompson M, Mollon J. Bewertung der Nachsicht und Stringenz des Prüfers („Hawk-Dove-Effekt“) bei der klinischen Untersuchung des MRCP (UK) (PACES) unter Verwendung der mehrdimensionalen Rasch-Modellierung. BMC Med Educ. 2006;6:42. https://rdcu.be/dkHg6.

Atsawarungruangkit A: Zusammenhang zwischen den Merkmalen des Residency-Programms und der Erfolgsquote der Zertifizierungsprüfung des American Board of Internal Medicine. Med Educ Online. 2015;20(1):28631.

Marques TR, Lains I, Martins MJ, Goiana-Da-Silva F, Sampaio F, Pessanha I, Fernandes DH, Brandao M, Pinto Teixeira P, de Oliveira SM, et al. Bewertung der Ärztekammerprüfung in Portugal. Protokoll Med Port. 2018;31(11):670–9.

Artikel Google Scholar

Burch VC, Norman GR. Wörter in Zahlen umwandeln: Ermittlung einer empirischen Schnittpunktzahl für eine Buchstabenprüfung. Med. Lehren. 2009;31(5):442–6.

Artikel Google Scholar

Burch VC, Norman GR, Schmidt HG, van der Vleuten CP. Sind Facharztprüfungen ein verlässliches Maß für die ärztliche Kompetenz? Adv. Gesundheitswissenschaften-Ausbildung. 2008;13(4):521–33.

Artikel Google Scholar

Cookson J. Eine Kritik der Facharztprüfungen der Federation of Royal Colleges of Physicians of the UK. Clin Med JR Coll Phys Lond. 2010;10(2):141–4.

Google Scholar

Mucklow J. Entwicklung und Durchführung der Spezialzertifikatsprüfungen. Klinische Medizin. JR Coll Phys London. 2011;11(3):235–8.

Google Scholar

Raddatz MM, Royal KD, Pennington J. Bewertung der systematischen Gültigkeit einer medizinischen Subspezialitätsprüfung. Online-Einreichungspapier präsentiert auf der Jahrestagung der Midwestern Educational Research Association. 2012.

Google Scholar

Lunz ME, Bashook PG. Zusammenhang zwischen der Kommunikationsfähigkeit des Kandidaten und den Ergebnissen der mündlichen Zertifizierungsprüfung. Medizinische Ausbildung. 2008;42(12):1227–33.

Artikel Google Scholar

Houston JE, Myford CM. Wahrnehmung der Richter hinsichtlich der Organisation und Kommunikation der Kandidaten im Hinblick auf die Bewertungen der mündlichen Zertifizierungsprüfungen. Acad Med. 2009;84(11):1603–9.

Artikel Google Scholar

Mathysen DG, Aclimandos W, Roelant E, Wouters K, Creuzot-Garcher C, Ringens PJ, Hawlina M, Tassignon MJ. Evaluierung der Hinzufügung einer Item-Response-Theorieanalyse für die Evaluierung der European Board of Ophthalmology Diploma Examination. Acta Ophthalmol. 2013;91(7):e573–577.

Artikel Google Scholar

Mathysen DGP, Aclimandos W, Roelant E, Wouters K, Creuzot-Garcher C, Ringens PJ, Hawlina M, Tassignon MJ. Geschichte und Zukunft der Diplomprüfung des European Board of Ophthalmology. Acta Ophthalmol. 2013;91(6):589–93.

Artikel Google Scholar

Chow R, Zhang L, Soong IS, Mang OWK, Lui LCY, Wong KH, Siu SWK, Lo SH, Yuen KK, Yau YSH, et al. Inter-Bewerter-Zuverlässigkeit der Prüfer bei der mündlichen Palliativmedizin-Prüfung des Hong Kong College of Radiologists. Hong Kong J Radiol. 2017;20(3):232–6.

Google Scholar

Althouse LA, Du Y, Ham HP. Bestätigung der Gültigkeit der allgemeinen Pädiatrie-Zertifizierungsprüfungen: eine Praxisanalyse. J Pädiatr. 2009;155(2):155–156.e151.

Artikel Google Scholar

Emadzadeh A, Ravanshad Y, Makarem A, Azarfar A, Ravanshad S, Aval SB, Mehrad-Majd H, Alizadeh A. Herausforderungen der Prüfung zum OSZE-Nationalrat im Iran aus Sicht der Teilnehmer. Electronic Phys [Elektronische Ressource]. 2017;9(4):4195–201.

Google Scholar

Raddatz MM, Robinson LR. Demonstration der Konstruktvalidität der Teil-I-Prüfung des American Board of Physical Medicine and Rehabilitation: eine Analyse der Dimensionalität. PM und R. 2017;9(10):985–9.

Artikel Google Scholar

Tibbo P, Templeman K. Die mündliche RCPSC-Prüfung: Patientenwahrnehmungen und Auswirkungen auf teilnehmende psychiatrische Patienten. Can J Psychiat. 2004;49(7):480–6.

Artikel Google Scholar

Tong E, Spooner M, Van Delden O, Uberoi R, Sheehan M, O'Neill DC, Lee M. The European Board of Interventional Radiology Examen: eine webbasierte Querschnittsumfrage. Herz-Kreislauf-Intervention Radiol. 2018;41(1):21–6.

Artikel Google Scholar

Yeung A, Booth TC, Larkin TJ, McCoubrie P, McKnight L. Die mündliche FRCR 2B-Prüfung: Ist sie zuverlässig? Clin Radiol. 2013;68(5):466–71.

Artikel Google Scholar

Yeung A, Booth TC, Jacob K, McCoubrie P, McKnight L. Die FRCR 2B-Prüfung: eine Umfrage zu den Wahrnehmungen und Erfahrungen der Kandidaten. Clin Radiol. 2011;66(5):412–9.

Artikel Google Scholar

Yang JC, Wallner PE, Becker GJ, Bosma JL, Gerdeman AM. Zuverlässigkeit mündlicher Prüfungen: Zertifizierungsprüfung zur Radioonkologie. Praktiziere Radiat Oncol. 2013;3(1):74–8.

Artikel Google Scholar

Kerridge WD, Gunderman RB. Die Gültigkeit und der Zeitpunkt der ABR-Kernprüfung. Acad Radiol. 2016;23(9):1176–9.

Artikel Google Scholar

Yang JC, Gerdeman AM, Becker GJ, Bosma JL. Erste (schriftliche) Eignungsprüfungen für diagnostische Radiologie des American Board of Radiology. AJR Am J Roentgenol. 2010;195(1):10–2.

Artikel Google Scholar

Pascual-Ramos V, Guilaisne Bernard-Medina A, Flores-Alvarado DE, Portela-Hernández M, Maldonado-Velázquez MDR, Jara-Quezada LJ, Amezcua-Guerra LM, Rubio-Judith López-Zepeda NE, Álvarez-Hernandez E, Saavedra MA, et al. Die Methode zur Festlegung der Mindestpunktzahl in einer objektiv strukturierten klinischen Prüfung definiert die Leistung der Kandidaten für die Zertifizierung zum Rheumatologen. Klinische Rheumatologie. 2018;14(3):137–41.

Artikel Google Scholar

Smith JD, Prideaux D, Wolfe CL, Wilkinson TJ, Sen Gupta T, DeWitt DE, Worley P, Hays RB, Cowie M. Entwicklung des akkreditierten Postgraduierten-Bewertungsprogramms für Fellowship des Australian College of Rural and Remote Medicine. Ländliche Ferngesundheit. 2007;7(4):805.

Google Scholar

Beasley SW, Wannan C, Hardware N. Begründung und Auswirkungen der Einführung eines erweiterten Close Marking Systems für die Fellowship-Prüfung. ANZ J Surg. 2013;83(6):444–7.

Artikel Google Scholar

De Montbrun S, Roberts PL, Satterthwaite L, Macrae H. Implementierung und Bewertung einer nationalen Zertifizierungsprüfung für technische Fähigkeiten. Ann Surg. 2016;264(1):1–6.

Artikel Google Scholar

Lineberry M, Park YS, Hennessy SA, et al. Der Fertigkeitstest „Grundlagen der endoskopischen Chirurgie“ (FES): Faktoren, die mit den Ergebnissen beim ersten Versuch und der Erfolgsquote zusammenhängen. Surg Endosc. 2020;34:3633–43. https://doi.org/10.1007/s00464-020-07690-6.

Motoyama S, Yamamoto H, Miyata H, Yano M, Yasuda T, Ohira M, Kajiyama Y, Toh Y, Watanabe M, Kakeji Y, et al. Einfluss des Zertifizierungsstatus des Instituts und des Chirurgen auf kurzfristige Ergebnisse nach einer Operation bei thorakalem Speiseröhrenkrebs: Auswertung anhand von Daten von 16.752 Patienten aus der National Clinical Database in Japan. Speiseröhre. 2020;17(1):41–9.

Artikel Google Scholar

Montbrun d, Lynn S. High Stakes Technical Skill Assessments in Surgery: Entwicklung, Implementierung und Vorhersage der Leistung. 2017. S. 2017.

Google Scholar

Crisostomo AC. Die Auswirkung der Standardisierung auf die Zuverlässigkeit der mündlichen Prüfungen des Philippine Board of Surgery. J Surg Educ. 2011;68(2):138–42.

Artikel Google Scholar

Rhodes RS, Biester TW, Bell RH Jr, Lewis FR Jr. Bewertung chirurgischer Kenntnisse: eine Einführung in die Prüfungsrichtlinien des American Board of Surgery. J Surg Educ. 2007;64(3):138–42.

Artikel Google Scholar

Cundy P. Untersuchung der orthopädischen Prüfer: Zuverlässigkeit der orthopädischen klinischen Fellowship-Prüfung Teil 2 in Australien. ANZ J Surg. 2012;82(9):607–11.

Artikel Google Scholar

Hohmann E, Tetsworth K. Fellowship-Abschlussprüfung in orthopädischer Chirurgie in den Commonwealth-Ländern Australien, Großbritannien, Südafrika und Kanada. Sind sie vergleichbar und gleichwertig? Eine Perspektive auf die Anforderungen der medizinischen Migration. Med Educ Online. 2018;23(1):1537429–7.

Gillis ME, Scott SA, Richardson CG, Oxner WM, Gauthier L, Wilson DA, Glennie RA. Entwicklung und Bewertung der Machbarkeit der Implementierung einer Surgical Objective Structured Clinical Skills Examination (S-OSCE). J Surg Educ. 2020;77(4):939–46.

Artikel Google Scholar

Ullmann Y, Fodor L, Meilick B, Eshach H, Ramon Y, Meilick A. Die mündliche kommissionelle Prüfung für plastische Chirurgie: Auf der Suche nach einem besseren Weg. Med. Lehren. 2006;28(4):360–4.

Artikel Google Scholar

Dwyer T, Chahal J, Murnaghan L, Theodoropoulos J, Cheung J, McParland A, Ogilvie-Harris D. Entwicklung einer Zertifizierungsprüfung für Stipendiaten der orthopädischen Sportmedizin. Can J Surgery Journal canadien de chirurgie. 2020;63(2):E110–7.

Artikel Google Scholar

Payne SR, Pickard RS, O'Flynn KJ, Winton EP. Beurteilt die Intercollegiate Specialty Examination in Urology (FRCS Urol) die Breite des Urologielehrplans? Br J Med Surg Urol. 2011;4(4):139–47.

Artikel Google Scholar

Hohmann E, Tetsworth K. Fellowship-Abschlussprüfung in orthopädischer Chirurgie in den Commonwealth-Ländern Australien, Großbritannien, Südafrika und Kanada. Sind sie vergleichbar und gleichwertig? Eine Perspektive auf die Anforderungen der medizinischen Migration. Med Educ Online. 2018;23(1):1537429.

Artikel Google Scholar

Praktiker RCoG. Der RCGP-Lehrplan. Allgemeinmediziner sein. 2019.

Google Scholar

Lockyer J, Carraccio C, Chan MK, Hart D, Smee S, Touchie C, Holmboe ES, Frank JR. Grundprinzipien der Beurteilung in der kompetenzbasierten medizinischen Ausbildung. Med. Lehren. 2017;39(6):609–16.

Artikel Google Scholar

de Montbrun S, Louridas M, Grantcharov T. Das Bestehen einer technischen Fähigkeitsprüfung im ersten Jahr der chirurgischen Facharztausbildung kann die zukünftige Leistung vorhersagen. J Grad Med Educ. 2017;9(3):324–9.

Artikel Google Scholar

Miller GE. Die Beurteilung klinischer Fähigkeiten/Kompetenzen/Leistungen. Acad Med. 1990;65(9 Suppl):S63–67.

Artikel Google Scholar

Van Der Vleuten CPM, Schuwirth LWT. Beurteilung der Fachkompetenz: Von Methoden zu Programmen. Medizinische Ausbildung. 2005;39(3):309–17.

Artikel Google Scholar

Witheridge A, Ferns G, Scott-Smith W. Wiederholung von Millers Pyramide in der medizinischen Ausbildung: die Kluft zwischen traditioneller Beurteilung und diagnostischem Denken. Int J Med Educ. 2019;10:191–2.

Artikel Google Scholar

Holmboe ES, Hawkins RE. Methoden zur Bewertung der klinischen Kompetenz von Assistenzärzten der Inneren Medizin: eine Übersicht. Ann Intern Med. 1998;129(1):42–8.

Artikel Google Scholar

Hodges B. Beurteilung im postpsychometrischen Zeitalter: Lernen, das Subjektive und Kollektive zu lieben. Med. Lehren. 2013;35(7):564–8.

Artikel Google Scholar

Kogan JR, Holmboe E. Das Versprechen und die Bedeutung einer leistungsbasierten Bewertung erkennen. Lehren, Lernen, Med. 2013;25(sup1):S68–74.

Artikel Google Scholar

Misra S, Iobst WF, Hauer KE, Holmboe ES. Die Bedeutung der kompetenzbasierten programmatischen Bewertung in der medizinischen Graduiertenausbildung. J Grad Med Educ. 2021;13(2s):113–9.

Artikel Google Scholar

van der Vleuten CPM, Schuwirth LWT, Driessen EW, Dijkstra J, Tigelaar D, Baartman LKJ, van Tartwijk J. Ein zweckmäßiges Modell für programmatische Bewertung. Med. Lehren. 2012;34(3):205–14.

Artikel Google Scholar

Driessen EW, van Tartwijk J, Govaerts M, Teunissen P, van der Vleuten CP. Der Einsatz programmatischer Beurteilung am klinischen Arbeitsplatz: ein Fallbericht aus Maastricht. Med. Lehren. 2012;34(3):226–31.

Artikel Google Scholar

Van Der Vleuten CPM, Schuwirth LWT, Driessen EW, Govaerts MJB, Heeneman S. Zwölf Tipps für die programmatische Bewertung. Med. Lehren. 2015;37(7):641–6.

Artikel Google Scholar

MRCGP Clinical Skills Assessment (CSA) https://www.rcgp.org.uk/training-exams/mrcgp-exam/mrcgp-clinical-skills-assessment-csa.aspx.

WPBA-Bewertungen. https://www.rcgp.org.uk/training-exams/training/workplace-based-assessment-wpba/assessments.aspx.

MRCGP: Recorded Consultation Assessment (RCA). https://www.rcgp.org.uk/mrcgp-exams/recorded-consultation-assessment.

Silber JH, Kennedy SK, Even-Shoshan O, Chen W, Mosher RE, Showan AM, Longnecker DE. Zertifizierung des Anästhesistenausschusses und Patientenergebnisse. Anästhesiologie. 2002;96(5):1044–52.

Artikel Google Scholar

Wallace A, McFarland BH, Selvam N, Sahota G. Qualität der Pflege durch staatlich geprüfte Psychiater und Neurologen im Vergleich zu nicht staatlich geprüften Psychiatern und Neurologen. Acad Med. 2017;92(1):108–15.

Artikel Google Scholar

Norcini J, Lipner R, Kimball H. Der Zertifizierungsstatus von Allgemeinärzten und die Mortalität ihrer Patienten nach akutem Myokardinfarkt. Acad Med. 2001;76(10 Suppl):S21–23.

Artikel Google Scholar

Referenzen herunterladen

Wir möchten Sina Riz à Porta für ihre hervorragende Arbeit bei der Bearbeitung des Manuskripts danken. Wir möchten außerdem sowohl den anonymen Gutachtern als auch dem Redaktionsmitglied Giampiera Bulfone für ihre konstruktiven Kommentare danken.

Unzutreffend.

Andrea Lörwald und Sören Huwendiek teilten sich die Letztautorenschaft.

Universität Bern, Institut für Medizinische Ausbildung, Bern, Schweiz

Daniel Staudenmann, Noemi Waldner, Andrea Lörwald & Sören Huwendiek

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Ursprüngliche Idee und Studiendesign von SH. DS erstellte und implementierte die Suchstrategie, war für Grafiken und Formatierung verantwortlich und verfasste die vorliegende systematische Übersicht. Das Screening anhand von Einschluss- und Ausschlusskriterien wurde von DS und NW in zwei Runden durchgeführt, wobei AL bei Meinungsverschiedenheiten als letzter Richter fungierte. AL und DS entwarfen die methodischen Qualitäts- und Relevanzkriterien. DS und NW bewerteten alle eingeschlossenen Studien zu diesen sechs Kriterien, kategorisierten sie nach medizinischem Fachgebiet, Land und Untersuchungsmethode, fassten sie zusammen und extrahierten relevante Inhalte zu den sieben Ottawa-Kriterien aus geeigneten Studien in der Zusatzdatei 2. AL und SH lieferten beide wertvolle Beiträge zum gesamten Manuskript. Alle Autoren haben das endgültige Manuskript gelesen und genehmigt.

Korrespondenz mit Daniel Staudenmann.

Unzutreffend.

Unzutreffend.

SH ist Redaktionsmitglied von BMC Medical Education. Ansonsten erklären die Autoren, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Suchbegriffe.

Überblick über das Studium

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative-Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht durch gesetzliche Vorschriften zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/. Der Creative Commons Public Domain Dedication-Verzicht (http://creativecommons.org/publicdomain/zero/1.0/) gilt für die in diesem Artikel zur Verfügung gestellten Daten, sofern in einer Quellenangabe für die Daten nichts anderes angegeben ist.

Nachdrucke und Genehmigungen

Staudenmann, D., Waldner, N., Lörwald, A. et al. Zertifizierungsprüfungen für medizinische Fachgebiete, die gemäß den Ottawa-Qualitätskriterien untersucht wurden: eine systematische Überprüfung. BMC Med Educ 23, 619 (2023). https://doi.org/10.1186/s12909-023-04600-x

Zitat herunterladen

Eingegangen: 28. Mai 2023

Angenommen: 18. August 2023

Veröffentlicht: 30. August 2023

DOI: https://doi.org/10.1186/s12909-023-04600-x

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt