Postdoctoral researcher CHUV UNIL CVMR

Cardiac magnetic resonance imaging (cMRI) provides detailed assessment of cardiac function, but deep learning segmentation models trained on data from one acquisition setting suffer significant performance degradation when deployed across different sites, field strengths, or acquisition protocols. This domain shift, driven primarily by contrast variability, affects both conventional and free-running cMRI and remains a key obstacle to clinical deployment of automated segmentation pipelines. We propose a region-aware contrast augmentation pipeline that simulates tissue-level intensity variability by applying independent contrast transformations to anatomically defined regions, derived from automated segmentation maps generated through nnInteractive and temporally propagated across cardiac phases. Both offline and on-the-fly augmentation strategies were implemented and evaluated within an nnU-Net framework across two transfer directions between a 1.5 T bSSFP non-contrast dataset and a 3 T GRE post-contrast dataset. Region-aware augmentation consistently reduced the domain gap across all cardiac structures, with offline augmentation providing the most stable improvement, closely approaching samedomain performance. Clinical evaluation through ventricular volume and ejection fraction analysis confirmed that geometric improvements translate to clinically meaningful gains. These results demonstrate that structured, anatomy-aware contrast augmentation is an effective strategy toward contrast-agnostic cardiac MRI segmentation.

Free-running (FR) whole-heart imaging methods have the potential to simplify the functional cardiac MRI workflow. Deep learning (DL) techniques have demonstrated promising results for segmentation of 4D FR whole-heart images. However, the performance of such models often degrades when applied to data from different sites than those used during training, due to variations in sequencing and injection of gadolinium, a challenge commonly referred to as domain shift. In this thesis, we tackle the challenge of domain shift in medical image segmentation by exploring two approaches: Unsupervised Domain Adaptation (UDA) and a carefully designed, extensive data augmentation strategy. First, we investigate UDA methods on our multi-site FR cardiac MRI datasets. We introduce a Wasserstein type metric to Variational Auto Encoder (VAE) based domain adaptation methods to better utilize the posterior structure of VAE, and we compare its performance with existing UDA methods. Additionally, we provide a brief analysis of the current limitations in UDA research. In the second part of the project, we shift our focus to data augmentation and we have developed a semi-automatic pipeline that approximates the segmentation of non-segmentation-target tissue and organ regions within the field of view, enabling a region-aware augmentation process, thereby better mimicking realistic inter-domain appearance shifts observed in clinical data. Our data augmentation method achieves superior performance compared to many UDA algorithms in a source-to-target generalization setting, despite not requiring access to target domain data. This result highlights the effectiveness and robustness of the proposed augmentation strategy and suggests its potential as a simple but strong and stable alternative or complement to domain adaptation techniques for FR cardiac MRI segmentation.

This project demonstrates that deep learning–based segmentation applied to fast gridded reconstructions on 5D free-running cardiac MRI achieves geometric performance comparable to compressed sensing reconstructions (DSC: 0.93 ± 0.01 for Gridded-FRA vs. 0.94 ± 0.01 for CS-FRA in the left ventricle) and provides physiologically consistent results for the myocardium (volume mismatch: 4.96% for Gridded-FRA, 3.96% for CS-FRA, compared to 5.57% for manual reference). Additionally, the reconstruction and segmentation pipeline can be deployed directly on the scanner, delivering results within 5 minutes after data acquisition, thereby enabling near real-time integration into clinical workflows.

In this project, the regularization weights for compressed-sensing (CS) reconstruction of free-running (FR) cardiac magnetic resonance (MR) images are optimized for gradient echo sequence at 3 Tesla, preserving both cardiac motion and image quality. Deep-learning-based automatic segmentation of the reconstructed FR images is performed achieving reliable segmentation of the left ventricular cavity (LVC) and left ventricular myocardium (LVM) with results comparable to state-of-the-art methods and variability similar to inter-expert divergences. 5-fold cross validation is performed on a dataset of 20 subject with 10 healthy volunteers, 5 patients with heart failure with preserved ejection fraction and 5 patients with heart failure with reduced ejection fraction. Obtained DSC for the LVC are 0.954 ± 0.012 and 0.915 ± 0.032 in end-diastole and end-systole respectively, and 0.860 ± 0.020 and 0.890 ± 0.013 for the LVM in end-diastole and end-systole respectively.

Les problèmes pelviens touchent près de la moitié des femmes de plus de 50 ans, et peuvent devenir très gênants, jusqu’à nécessiter une opération chirurgicale dans certains cas. Pour reconnaître ces problèmes, les médecins analysent en routine clinique des images IRM 2D dynamiques du plancher pelvien, mais remarquer et localiser les irrégularités sur celles-ci peut être complexe. Pour faciliter l’observation il faudrait pouvoir observer les déformations des organes mous en 3D au cours du temps. L’acquisition IRM en 3D est une opération longue incompatible avec l’observation en temps réel. Pour atteindre le résultat la stratégie proposée par le projet DynPelvis3D consiste à faire des observations partielles mais rapides dans des plans 2D distincts. Pour permettre sa reconstruction en 3D l’objet observé sur ces plans doit être segmenté afin d’extraire la localisation des organes des images IRMs acquises. Le travail de ce stage porte sur l’étape de segmentation car celle-ci peut s’avérer très longue et laborieuse, et les méthodes de segmentations automatiques traditionnelles ne donnent pas de résultats assez convaincants sur le plancher pelvien. On s’intéresse donc ici à l’utilisation de l’apprentissage profond pour la segmentation des organes pelviens, et en particulier au réseau de neurone convolutif U-Net pour la segmentation de la vessie, en cherchant notamment à maximiser les résultats en variant les paramètres du réseau et en développant de nouvelles méthodes liées à l’apprentissage profond.

Les problèmes pelviens touchent près de la moitié des femmes de plus de 50 ans, et peuvent devenir très gênants, jusqu'à nécessiter une opération chirurgicale dans certains cas. Pour reconnaître ces problèmes, les médecins analysent souvent des images IRM 2D dynamiques du plancher pelvien, mais remarquer et localiser les irrégularités sur celles-ci peut être complexe. C'est pourquoi l'équipe dans laquelle j'ai effectué mon stage travaille sur la reconstruction 3D dynamique des organes pelviens à partir d'images en 2D. Cependant il faut préalablement extraire la localisation des organes des images IRMs acquises : cette étape s'appelle la segmentation. Celle-ci peut s'avérer très longue et laborieuse, et les méthodes de segmentations automatiques traditionnelles ne donnent pas de résultats assez convaincants sur le plancher pelvien. On s'intéresse donc ici à l'utilisation du deep learning pour la segmentation des organes pelviens, et en particulier au réseau de neurone convolutif U-Net pour la segmentation de la vessie, en cherchant notamment à maximiser les résultats en variant les paramètres du réseau.

Pelvic floor disorders affect an important number of women. They are characterized by a debilitating mechanical stability of pelvic organs. This brings symptoms that disturb immensely the patient’s quality of life. Available treatment options range from drug therapy, to implants and in some cases surgical repair. To maximize the success of surgery and reduce the probability of recurrence a precise planning based on Medical Imaging is required. Traditional techniques such as Fluoroscopy, Ultrasound and Magnetic Resonance Imaging are normally used for qualitative assessment of pelvic floor disorders. The aim of this project is to perform a quantitative assessment of pelvic organ deformation using a shape descriptor based on image moments. A shape descriptor based on Zernike moments was implemented and tested. Simulation and in vivo experiments were performed on the bladder to validate its performance.

La segmentation manuelle et automatisée des muscles individuels dans les images par résonnance magnétique a été reconnue comme difficile étant donné la discontinuité ou l’absence de limites visibles entre les muscles. Dans ce présent rapport de stage, nous avons proposé un algorithme qui, à partir d’une segmentation réalisée sur une image d’un sujet suite à une première acquisition, propose la segmentation automatique des muscles individuels des images de ce même sujet à d’autres acquisitions. Grâce à des points caractéristiques extraits automatiquement et mis en correspondance entre ces deux images, nous avons pu montrer que le guidage du recalage non-linéaire améliore la propagation de la segmentation, avec un coefficient de similarité Dice supérieur à 0,94.