Shaping Quality in Cardiovascular Magnetic Resonance: A Comparative Study of Segmentation Approaches by Trainees and Experts - Jan Gröschel, MD; Thomas Hadler, PhD; Leonhard Grassow; Hadil Saad, MD; Darian Viezzer, PhD; Clemens Ammann, MD; Leonora Zange, MD; Florian von Knobelsdorff-Brenkenhoff, MD; Edyta Blaszczyk, MD; Jeanette Schulz-Menger, MD (CJC Open)
Background: Cardiovascular magnetic resonance (CMR) is an established cardiovascular imaging (CVI) technique. Deficits in training limit the widespread use of CMR. This study analyzed the influence of CVI experience on segmentation, to define quality standards for teaching and supervision. Methods: Four CMR experts determined left ventricular (LV) and right ventricular (RV) gold-standard contours in end-systole (ES) and end-diastole (ED), by consensus. After a brief teaching session, readers independently performed segmentations. Readers were classified as beginners (no previous experience in CVI), intermediates (previous experience in CVI, but not in CMR), or experts (extensive experience in CVI including CMR). Results were compared, and the cause of deviation was analyzed, using metrics such as the Dice similarity coefficient (DSC). Results: A total of 46 readers (19 beginners, 21 intermediates, 6 experts) performed image analysis. Using the DSC, we found significant differences in endocardial LV ED contours (median [interquartile range]: beginners, 92.9% [91.9%-93.5%]); intermediates, 93.5% (93.0%-94.1%); experts, 93.9% (93.1%-94.3%); P = 0.043) and in myocardial contours (beginners, 79.0% (75.0%-80.9%); intermediates, 80.9% (78.0%-82.4%); experts, 85.0% (79.8%-86.5%); p = 0.001). Experts had higher DSC scores for the right ventricle (ES: beginners, 83.8% (81.3%-85.8%); intermediates, 81.7% (79.6%-85.6%); experts, 89.0% (86.6%-89.8%); P = 0.003; ED: beginners, 89.2% (88.1%-90.3%); intermediates, 88.6% (87.9%-89.2%); experts, 91.6% (89.8%-93.3%); P = 0.002). The disagreements were not traceable in absolute volume and function (P for all > 0.2). Sources of disagreement were related mainly to handling of basal slices. Conclusions: After a brief standardized teaching session, beginners and intermediates performed chamber quantification consistent with that of experts. Differences, especially in LV mass and RV segmentations, warrant continuous training, ideally accompanied by automatic methods for quality assurance. Résumé: Contexte: La résonance magnétique cardiovasculaire (RMCV) est une technique d'imagerie cardiovasculaire (ICV) bien établie. Les lacunes en matière de formation limitent sa diffusion à grande échelle. Cette étude a analysé l'influence de l'expérience en ICV sur la segmentation afin de définir des standards de qualité pour l'enseignement et la supervision. Méthodologie: Quatre experts en RMCV ont déterminé par consensus les contours de référence pour les ventricules gauche et droit (VG et VD) en fin de systole et de diastole (FS et FD). Après une brève formation, les opérateurs ont effectué les segmentations de manière indépendante. Les opérateurs ont été divisés en débutants (aucune expérience préalable en ICV), intermédiaires (expérience préalable en ICV, mais pas en RMCV) et experts (grande expérience en ICV, y compris en RMCV). Les résultats ont été comparés et les divergences analysées à l'aide de métriques telles que le coefficient de similarité de Dice (CSD). Résultats: Au total, 46 opérateurs (19 débutants, 21 intermédiaires, 6 experts) ont effectué l'analyse des images. En utilisant le CSD, nous avons trouvé des différences significatives dans les contours endocardiques du VG en FD (médiane (intervalle interquartile) : débutants 92,9 % (91,9 %-93,5 %); intermédiaires 93,5 % (93,0 %-94,1 %); experts 93,9 % (93,1 %-94,3 %); p = 0,043) et les contours myocardiques (débutants 79,0 % (75,0 %-80,9 %); intermédiaires 80,9 % (78,0 %-82,4 %); experts 85,0 % (79,8 %-86,5 %); p = 0,001). Les experts avaient des scores CSD plus élevés pour le VD (FS : débutants 83,8 % (81,3 %-85,8 %); intermédiaires 81,7 % (79,6 %-85,6 %); experts 89,0 % (86,6 %-89,8 %); p = 0,003; FD : débutants 89,2 % (88,1 %-90,3 %); intermédiaires 88,6 % (87,9 %-89,2 %); experts 91,6 % (89,8 %-93,3 %); p = 0,002). Les désaccords ne se retrouvaient pas au niveau des volumes absolus, ni de la fonction (p > 0,2 pour toutes les comparaisons). Les sources de divergences étaient principalement dues au traitement des coupes basales. Conclusion: Après une brève formation standardisée, les opérateurs débutants et intermédiaires ont effectué des mesures quantitatives des cavités cardiaques de manière cohérente avec les experts. Les différences, en particulier en ce qui concerne la masse du VG et les segmentations du VD, justifient une formation continue, idéalement accompagnée de méthodes automatiques d'assurance qualité.