Übereinstimmung zwischen Beurteilern bei der Bewertung der Kausalität und Erwartbarkeit in klinischen Studien

Abstract

Hintergrund: Die Beurteilung des kausalen Zusammenhanges zwischen der Verabreichung des Studienmedikaments und dem Auftreten der schwerwiegenden unerwünschten Ereignisse besitzt eine hohe Sicherheitsrelevanz in klinischen Studien. Kausalitätsprüfung imitiert am häufigsten die Differenzialdiagnostik, wenn der Beurteiler alle zur Verfügung stehenden Informationen berücksichtigt und so den endgültigen Entschluss fasst. Dieses Vorgehen wird als Experteneinschätzung bezeichnet. Die Daten über die Reliabilität der Experteneinschätzung stammen hauptsächlich aus dem Bereich außerhalb der klinischen Studien und sind oft kontrovers. Einige Besonderheiten machen aber die Kausalitätsprüfung in klinischen Studien unterschiedlich von den anderen Bereichen der Pharmakovigilanz. Das Ziel der vorliegenden Arbeit war die Prüfung der Übereinstimmung und Reproduzierbarkeit bei der Bewertung von schwerwiegenden unerwünschten Ereignissen in klinischen Studien. Ein weiteres Ziel der Arbeit war die Untersuchung der Übereinstimmung bei der Evaluation der Erwartbarkeit der schwerwiegenden unerwünschten Ereignisse. Die Erkennung der schwerwiegenden Ereignisse, deren Art, Ausmaß oder Ergebnis von der Referenzsicherheitsinformation des Arzneimittels abweicht, ist essenziell für die kontinuierliche Nutzen-Risiko-Bewertung des Prüfpräparates. Die Evaluation von Erwartbarkeit war nach unserem Kenntnisstand noch nicht ein Gegenstand der Forschung. Methoden: Hinsichtlich der Kausalität wurden insgesamt 177 schwerwiegende unerwünschte Ereignisse aus dem experimentellen Arm der NIVEAU-Studie durch zwei Beurteiler ausgewertet. Zur Evaluation der Übereinstimmung bei Erwartbarkeit wurden die Bewertungen von 272 Ereignissen aus beiden Studienarmen verglichen. Zur Bestimmung der Intrarater-Reliabilität wurden 117 Ereignisse durch den Beurteiler B in Abstand von 3 Monaten an 2 Zeitpunkten vorgenommen. Die Auswertung erfolgte anhand von Spearmans Korrelationskoeffizienten (ρ) und ungewichtetem Cohens Kappa (κ). Ergebnisse: Der Beurteiler A wies mit lokalen Studienärzten (κ=0,227, p<0,05) sowie mit dem Beurteiler B (κ=0,347, p<0,001) nur eine geringe Übereinstimmung auf. Der Beurteiler B und lokale Studienärzte zeigten einen mittelmäßigen Übereinstimmungsgrad (κ=0,547, p<0,001) und eine moderate Korrelation der Bewertungen (ρ=0,600, p<0.001). Für beide Beurteiler vom Sponsor (ρ=0,456, p<0.001) sowie für den Beurteiler A und Studienärzte (ρ=0,332, p<0.001) war die Korrelation lediglich gering. Die Korrelation sowie die Übereinstimmung zwischen zwei Bewertungen durch den Beurteiler B war sehr stark (ρ=0,912, p<0.001) bzw. sehr gut (κ=0,903, p<0,001). Bei der Evaluation der Erwartbarkeit zeigten die Beurteiler A und B mit einem Kappa-Wert von 0,691 (p<0.001) eine gute Interrater-Reliabilität. Der Übereinstimmungsgrad zwischen zwei Bewertungen durch den Beurteiler B war mit 0,680 (p<0,001) ebenfalls gut. Schlussfolgerung: Wir demonstrierten eine geringe Übereinstimmung sowie eine geringe Korrelation der Bewertungen von schwerwiegenden unerwünschten Ereignissen in einer Phase-III-Studie zwischen zwei Beurteilern von Sponsor sowie zwischen einem Beurteiler und lokalen Studienärzten. Nur der Beurteiler B demonstrierte eine moderate Korrelation bzw. eine mittelmäßige Übereinstimmung mit lokalen Studienärzten. Eine niedrige Korrelation bzw. Übereinstimmung zwischen Studienärzten und Beurteilern vom Sponsor kann zum Teil durch die niedrige Berichtsqualität erklärt werden. Hier lässt sich ein klares Verbesserungspotenzial erkennen. Für die Übereinstimmung bei der Evaluation der Erwartbarkeit gibt es leider keine Daten zum Vergleich. Eine gute Übereinstimmung war zwar zu erwarten, die Prozentzahl der Fälle, die unterschiedlich bewertet wurden, war aber trotzdem mit 12,9 % bedenkenswert. Auffallend ist auch, dass die Übereinstimmung zwischen 2 Beurteilern fast genauso hoch ist wie zwischen 2 Bewertungen durch denselben Beurteiler. Diese Ergebnisse zeigen, dass auch bei der Evaluation der Erwartbarkeit ein Raum für unterschiedliche Interpretationen besteht, was weiterer Analyse bedarf.

Background: The assessment of causality between study drugs and serious adverse events is of a high importance for safety in clinical trials. Causality assessment most often mimics differential diagnosis when the rater takes all the available information into account to reach the final conclusion. This process is known as expert judgement. Data on the reliability of expert judgment is derived mainly from outside the clinical trials and are often controversial. However, some features make causality assessment in clinical trials different from the other fields of pharmacovigilance. The aim of the present work was to investigate the agreement and reproducibility in the assessment of serious adverse events in clinical trials. Another objective was to investigate the agreement in the evaluation of expectedness of serious adverse events. Recognition of serious adverse events, type, magnitude, or outcome of which deviates from the reference safety information is essential for the ongoing risk-benefit assessment of the investigated drug. To our knowledge, evaluation of expectedness has not yet been a research subject. Methods: Two raters evaluated the causality of 177 serious adverse events from the experimental arm of the NIVEAU trial. To evaluate the agreement for expectedness, the assessments of 272 events from both arms were compared. To determine the intra-rater reliability, 117 events were assessed by the rater B at two different time points 3 months apart. Spearman's correlation coefficient (ρ) and unweighted Cohen's kappa (κ) were used for analysis. Results: Rater A demonstrated a low agreement with local investigators (κ=0.227, p<0.05) as well as with rater B (κ=0.347, p<0.001). The agreement was moderate between the rater B and local investigators (κ=0.547, p<0.001). For rater B and local investigators, the rank correlation was moderate as well (ρ=0.600, p<0.001). The correlation was low between both raters of sponsor (ρ=0.456, p<0.001) and for rater A and local investigators (ρ=0.332, p<0.001). Rank correlation as well as agreement between two assessments made by rater B was very strong (ρ=0.912, p<0.001) and very good (κ=0.903, p<0.001), respectively. When evaluating expectedness, raters A and B demonstrated a good inter-rater reliability with a kappa value of 0.691 (p<0.001). The level of agreement between two assessments from rater B was good as well at 0.680 (p<0.001). Conclusion: We demonstrated a low agreement and a low correlation of causality assessments of serious adverse events between two raters of sponsor and between one rater and local investigators. Only rater B demonstrated a moderate correlation and moderate agreement with local investigators. Low correlation and agreement between study investigators and raters of sponsor may be explained in part by low quality of reports offering a potential for improvement. Unfortunately, for the agreement in the evaluation of expectedness, there is no data to compare. While a good agreement was to be expected, the percentage of cases assessed differently was still worth noting at 12.9%. Striking is, that the agreement between 2 raters is almost as high as between 2 assessments by the same rater. These results show that even in the evaluation of expectedness, there is a room for different interpretations, requiring further analysis.