Competency-based under- and postgraduate medical education in general practice : an evaluation of tools and outcomes

Abstract

Einleitung In den kommenden Jahren müssen in Deutschland und Europa zahlreiche neue Hausärzte und Hausärztinnen ausgebildet werden, um eine drohende allgemeinmedizinische Unterversorgung zu verhindern. Um die allgemeinmedizinische Ausbildung interessant und qualitativ hochwertig zu gestalten, bietet sich das Konzept der kompetenzbasierten medizinischen Ausbildung an, welches in der Medizindidaktik derzeit hoch relevant ist. Konzepte der kompetenzbasierten Lehre sind unter anderem der Entwurf von konkreten Lernzielen, regelmäßiges Feedback an die Lernenden sowie die stärkere Einbeziehung von Lernenden in die Curriculumsplanung. Im Rahmen zweier Fragestellungen untersucht die vorliegende Dissertation die Implementation von kompetenzbasierter Lehre in der Allgemeinmedizin. Hierzu wurde eine europaweite, strukturierte Kompetenzpriorisierung durchgeführt, um zu ermitteln, welche Kompetenzen von Ärzten und Ärztinnen in der Weiterbildung Allgemeinmedizin als am wichtigsten angesehen werden. In einer seperaten, quantitative Studie wurde der Zusammenhang zwischen den Ergebnissen von formativem und summativem Assessment innerhalb eines blended-learning Curriculums im Medizinstudium untersucht.

Methodik Zur Untersuchung der Kompetenzprioritäten in der allgemeinmedizinischen Weiterbildung wurde eine strukturierte qualitative Studie nach der modifizierten Delphi-Methode durchgeführt. Zunächst wurden im Rahmen eines internationalen Town Hall Meetings mit jungen Allgemeinmedizinern und Allgemeinmedizinerinnen auf dem Vasco da Gama Movement (heute: European Young Family Doctors Movement) Forum (Edinburgh, Januar 2022) Vorschläge für wichtige Kompetenzen gesammelt. Beiträge wurden sowohl als Audiodatei als auch digital über eine Word-Cloud-Software aufgezeichnet. Die Kompetenzen wurden in Kategorien kodiert und in zwei aufeinanderfolgenden Delphi-Runden rangiert, wobei die erste online und die zweite auf dem Kongress WONCA Europe (London, Juni 2022) stattfand. Zur Untersuchung des Zusammenhangs von formativem und summativem Assessment wurden Nutzerdaten auf der digitalen medizinischen Lernplattform AMBOSS® von 195 Studierenden der Universität des Saarlandes quantitativ analysiert. Leistung in den kursbezogenen Multiple-Choice-Fragesitzungen sowie Nutzung der integrierten Online-Lerninhalte werden miteinander und mit der Klausurnote im Fach Allgemeinmedizin korreliert. Als Referenzkohorte dienen 10.534 Studierende von 35 anderen deutschen Universitäten.

Ergebnisse In der Delphi-Studie nahmen 30 Personen am Town Hall Meeting und 29 bzw. 31 Personen am zweistufigen Delphi-Verfahren teil. Insgesamt wurden 19 Kompetenzen der Kategorien psychomotorisch, kognitiv und affektiv durch die Autoren und Autorinnen aus den Beiträgen kategorisiert. Nach zwei Delphi-Runden wurde eine einvernehmliche Rangfolge der Kompetenzen für jede Kategorie erstellt. Die drei wichtigsten Kompetenzen für jede Kategorie blieben in beiden Runden gleich und können daher als Kernkompetenzen betrachtet werden, die angehende Allgemeinmediziner und Allgemeinmedizinerinnen in Europa als relevant für ihre Ausbildung ansehen. Im Rahmen der quantitativen Studie zeigte sich, dass die Anzahl der für den Kurs gelesenen Lernkarten moderat mit der Leistung im formativen Assessment korrelierte (ρ=0,331, p=0,005 und ρ=0,217, p=0,034). Leistung im formativen Assessment und Klausurergebnisse korrelierten stark in der Sommersemesterkohorte (ρ=0,505, p<0,001) und moderat in der Wintersemesterkohorte (ρ=0,381, p<0,001).

Schlussfolgerung Die Ergebnisse zeigen, dass Prinzipien der kompetenzbasierten medizinischen Ausbildung in der allgemeinmedizinischen Aus- und Weiterbildung eingesetzt werden sollten, um hochwertige Lehre sicherzustellen. Hierzu sollten Lernende, z.B. Ärzte und Ärztinnen in Weiterbildung, regelmäßig in den Entwicklungsprozess von Lernzielen in der Weiterbildung eingebunden wer-den. Nur so kann ein neues, kompetenzorientiertes Curriculum sichergestellt werden, das nach-folgende Generationen fundiert auf die sich dauernd wandelnde ärztliche Tätigkeit in der Primärversorgung vorbereitet. Daneben wurde gezeigt, dass die zielgerichtete Integration von On-line-Lernaktivitäten in ein blended-learning Curriculum deren Nutzung verändert. Lernaktivitäten, die formatives Assessment beinhalten, können als Prüfungsvorbereitung dienen und Lehrkräften dabei helfen, Daten für Leistungsportfolios zu sammeln. Auf diesem Wege könnten die mittels „learning analytics“ gewonnen Daten in der Zukunft den Leistungsnachweis durch summatives Assessment ergänzen oder sogar ersetzen. Sie könnten zudem ein wichtiges Werk-zeug sein, um Lernende mit Schwierigkeiten bereits vor dem Prüfungstermin zu identifizieren und zielgerichtet zu unterstützen.

Introduction In the coming years, numerous new general practitioners will have to be trained in Germany and Europe to prevent an impending shortage of general practitioners. The principle of competency-based medical education is currently highly relevant in medical education research and can help making general practice training more captivating with a higher quality. Concepts of competency-based teaching include the design of concrete learning objectives, regular feedback to learners and greater involvement of learners in curriculum planning. Within the framework of two studies, this dissertation examines the implementation of competency-based teaching in general practice. For this purpose, a Europe-wide, structured prioritization of competencies was conducted to determine which competencies are considered most important by general practice trainees. In a separate quantitative study, the relationship between performance in formative and summative assessment within a blended learning curriculum in medical studies was investigated.

Method A structured qualitative study using the modified Delphi method was conducted to investigate the priorities for competencies in general practice training. First, suggestions for important competencies were collected in an international Town Hall meeting with young GPs at the Vasco da Gama Movement (now: European Young Family Doctors Movement) Forum (Edinburgh, January 2022). Contributions were recorded both as audio files and digitally via a word cloud software. The competencies were coded into categories and ranked in two successive Delphi rounds, the first online and the second at the conference WONCA Europe (London, June 2022). To investigate the relationship between formative and summative assessment, user data on the AMBOSS® digital medical learning platform from 195 students at Saarland University were analyzed quantitatively. Performance in the course-related multiple-choice question sessions and use of the integrated online learning content were correlated with each other and with the exam grade in general medicine. 10534 students from 35 other German universities served as a reference cohort.

Results In the Delphi study, there were 30 participants in the Town Hall meeting and 29 or 31 participants in the following stages of the Delphi procedure. A total of 19 competencies in the domains psychomotor, cognitive and affective were categorized by the authors from the contributions. After two Delphi rounds, a consensual ranking of competencies for each domain was established. The three most important competencies for each domain remained the same in both rounds and can therefore be considered as core competencies that prospective general practition-ers in Europe consider relevant for their training. In the quantitative study, the number of learning cards read for the course was found to correlate moderately with performance in the formative assessment (ρ=0.331, p=0.005 and ρ=0.217, p=0.034). Formative assessment performance and exam scores correlated strongly in the sum-mer semester cohort (ρ=0.505, p<0.001) and moderately in the winter semester cohort (ρ=0.381, p<0.001).

Conclusion Results show that principles of competency-based medical education should be applied in gen-eral practice under- and postgraduate training to ensure high-quality teaching. For this purpose, learners, e.g., general practice trainees, should be regularly involved in the development process of learning objectives for training. This way a new, competency-oriented curriculum can be ensured, that prepares future generations of doctors well for the constantly changing medical work in general practice. In addition, it was shown that the purposeful integration of online learning activities into a general medicine blended learning curriculum changes their use by students. Learning activities that include formative assessment can serve as exam preparation and may help teachers collect data for performance portfolios. This way, data generated through ‘learning analytics’ could complement or even replace summative assessment in the future. They could also be an important tool to identify and support learners with difficulties before exams take place.