Contribution à la détection de changements
dans des séquences IRM 3D multimodales

soutenance de thèse de : Marcel BOSC

sous la direction de : Fabrice HEITZ

Jean-Paul ARMSPACH

17 décembre 2003

Laboratoire des Sciences de l'Image, de l'Informatique et de la Télédétection

UMR CNRS 7005

Institut de Physique Biologique

UMR CNRS 7004

IPB

IPB

Plan de la présentation

Introduction

Détection de changements

Segmentation du cortex

Aspects logiciels

56

Conclusion

Introduction

problématique

imagerie

anatomie

sclérose en plaques

Qu'est-ce qu'on veut faire?

examen: t

examen: t+2 mois

acquisition IRM

volumique

en 3 modalités

changements?

Imagerie par résonance magnétique

IRM : imagerie volumique

différentes modalités possibles

FLAIR

T1

T2

certains artefacts spécifiques

mouvement

normale

mouvement

déformations

128x128x128 et 256x256x256

Le cerveau et l'IRM

substance grise

ventricules

sillons corticaux

liquide céphalo-rachidien

substance blanche

noyaux gris

maladie incurable fortement incapacitante

destruction des gaines de myéline

La sclérose en plaques

apparition de lésions

neurone

gaine de myéline

T1

FLAIR

T2

axone

La sclérose en plaques

apparition de lésions

T1

FLAIR

T2

ventricule

La sclérose en plaques

T1

FLAIR

T2

apparition de lésions

Plan de la présentation

Introduction

Détection de changements

Segmentation du cortex

Aspects logiciels

Détection de changements

introduction

traitements

évaluation et
résultats

56

Conclusion

résultats

introduction

traitements

Présentation

objectifs

applications

changements d'intensité localisés

grands changements

diagnostic

suivi à long terme de l'évolution

évaluation de l'efficacité d'une thérapie

Pourquoi est-ce difficile?

petits changement / grand volume de donnés

positionnement géométrique

résultats

introduction

traitements

≠

?

dégradations par l'acquisition

résultats

introduction

traitements

Chaîne de traitements

résultats

introduction

traitements

Extraction du cerveau

Recalage (1)

choix des images de référence pour le recalage

recalage affine itératif

importance de la précision

image 1

image 2

image 1 – image 2

décalage

changement

résultats

introduction

traitements

Recalage (2)

recalage déformable

affine

déformable

rééchantillonnage

recalage multi-résolution

échelle contrôlée

précision sous-voxel interpolation performante

résultats

introduction

traitements

intensité image source

intensité image référence

intensité image source

intensité image référence

Correction des intensités

estimation d'une fonction de transfert d'intensité non-linaire

critère quadratique + régularisation

résultats

introduction

traitements

Détection statistique de changements

en chaque point s de l'image :fenêtre Ws

rapport de vraisemblance généralisé

modèle gaussien multimodal multidimensionnel

estimation de la covariance du bruit dans toute l'image

résultats

introduction

traitements

H1 : changement

H0 : pas de changement

intensité Ws instant 2

intensité Ws instant 1

paramètres (m)

résultats

introduction

traitements

Protocole d'évaluation

évaluation à l'aide d'évolutions simulées

évolution par un protocole impliquant deux experts

expert-2

expert-1

système automatique

}

... 7

premiers

parasites

résultats

introduction

traitements

Interface d'évaluation

résultats

introduction

traitements

Interface d'évaluation

résultats

introduction

traitements

Interface d'évaluation

résultats

introduction

traitements

Interface d'évaluation

résultats

introduction

traitements

Interface d'évaluation

Résultats

multimodal

expert: probabilité de détection de 42%

résultats

introduction

traitements

Conclusions

voies d'amélioration possibles

outil d'aide au neurologue

correction d'artefacts

modèle statistique

apport de connaissances

résultats

introduction

traitements

Plan de la présentation

Introduction

Détection de changements

Segmentation du cortex

Aspects logiciels

Segmentation du cortex

introduction

évolution

contraintes

résultats

56

Conclusion

Segmenter une image

image à segmenter

niveaux d'intensité

segmentation

substance blanche

liquide

substance grise

représentation sémantique

évolution

contraintes

résultats

introduction

résultats

évolution

contraintes

introduction

Pourquoi est-ce difficile?

résolution

informations d'intensité insuffisantes

artefacts d'acquisition

oui, mais...

connaissances anatomiques:

formes

positions

Comment intégrer ces connaissances dans un algorithme ?

image à

segmenter

Présentation de notre approche

carte de labels sous-voxel

évolution itérative

minimisation d'énergie

énergie = somme de contraintes

carte de labels

attaches aux données

connaissances a priori

résultats

évolution

contraintes

introduction

résultats

Évolution de la segmentation

basculement de labels pour diminuer l'énergie

quels labels basculer ?

évolution

contraintes

introduction

∆E(p )=E( ) - E( )

résultats

∆E

Variation d'énergie en chaque point

1

changement en un point

sans changement

variation d'énergie associée à chaque point

P1

évolution

contraintes

introduction

∆E(p )=E( ) - E( )

résultats

évolution

contraintes

introduction

∆E

Variation d'énergie en chaque point

2

changement en un point

sans changement

P2

∆E

variation d'énergie associée à chaque point

∆E(p )=E( ) - E( )

résultats

Variation d'énergie en chaque point

3

changement en un point

sans changement

P3

∆E

∆E

∆E

évolution

contraintes

introduction

variation d'énergie associée à chaque point

∆E(p )=E( ) - E( )

résultats

Variation d'énergie en chaque point

4

changement en un point

sans changement

P4

∆E

∆E

∆E

∆E

évolution

contraintes

introduction

variation d'énergie associée à chaque point

∆E(p )=E( ) - E( )

résultats

Variation d'énergie en chaque point

changement en un point

sans changement

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

évolution

contraintes

introduction

variation d'énergie associée à chaque point

résultats

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

Basculement d'un label

décroissance garantie à chaque itération

un seul point
basculé par itération

recalculer variation d'énergie pour chaque
candidat

rédhibitoire

pmin

choisir le point où a lieu la plus grande

décroissance de l'énergie

évolution

contraintes

introduction

résultats

Approximations et restrictions

restriction aux frontières

approximation de localité

approximations dans les calculs des contraintes

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

∆E

P1

P2

P3

évolution

contraintes

introduction

résultats

contraintes image

E = E1 + E2 +

Expression de l'énergie : contraintes

contraintes de distribution relative

E3 + E4 +

contraintes d'épaisseur

E5 + E6 + ...

coefficients de pondération ai

a1 a2

a3 a4

a5 a6

description de l'objet:

choix et paramétrage des contraintes, coefficients ai

évolution

contraintes

introduction

résultats

comparaison illégitime

cerveau réel

filtre d'acquisition

Modèle du processus d'acquisition

segmentation courante

image à segmenter

image reconstruite

filtre d'acquisition estimé

comparaison légitime

évolution

contraintes

introduction

Contrainte image à échelle variable

variation d'énergie, pas d'approximation nécessaire

plusieurs échelles

multi-résolution

Image. à seg.

échelle fine

large échelle

Seg. Courante

contrainte

contrainte

filtre

d'échelle

image

reconstruite

à partir de la

segmentation

courante

image à

segmenter

résultats

évolution

contraintes

introduction

Contrainte image : exemples

segmentations

résultantes

segmentations

initiales

évolutions

évolution avec contrainte image à grande échelle

évolution avec contrainte image à échelle fine

évolution avec deux contraintes à échelles différentes

résultats

évolution

contraintes

introduction

résultats

évolution

contraintes

introduction

Contrainte de distribution relative

distance au label k (noir)

e

P(gris|d)

P(blanc|d)

segmentation courante

distance au label k (noir)

gris

noir

blanc

k :

distance

au label k

somme sur

tous les points

de la

segmentation

courante

probabilité d'observer un label à une distance du label k

résultats

évolution

contraintes

introduction

Contrainte de distribution relative : exemples

évolution avec seulement la contrainte de distribution

évolution à partir d'une initialisation aléatoire

évolution utilisant un atlas du paramètre e

évolutions sans contrainte image

résultats

Contrainte d'épaisseur

évolution

contraintes

introduction

épaisseur d'un objet, en un point de sa surface?

a

b

c

d

formes identiques

contextes différents

problématique

sphère maximale optimale

solution

résultats

évolution

contraintes

introduction

Contrainte d'épaisseur : exemples

évolution diminuant l'épaisseur du label blanc

évolution augmentant l'épaisseur à partir d'un point

évolution avec la même contrainte d'épaisseur pour le label noir et le label blanc

Modèle des sillons corticaux

contrainte image

à échelle fine

E = a1E1 + a2E2 +

contrainte image

à large échelle

contrainte de distribution relative autour du liquide

a3E3 + a4 E4 +

contrainte de distribution relative autour de la substance blanche

contrainte d'épaisseur

E5

a5

coefficient atlas

résultats

évolution

contraintes

introduction

Résultats

pourcentage de bruit

coefficient k

0

1

2

4

8

validation sur le fantôme BrainWeb

robustesse aux conditions initiales

itération:

...

résultats

évolution

contraintes

introduction

Résultats

image à segmenter

segmentation initiale

image reconstruite

résultat

résultats

évolution

contraintes

introduction

Résultats

substance grise

substance blanche

résultats

évolution

contraintes

introduction

Résultats

image à segmenter

segmentation initiale

image reconstruite

résultat

résultats

évolution

contraintes

introduction

Apport à la détection de changements

monomodal

multimodal + segmentation

multimodal

nombre de groupements faussement détectés

probabilité de détection

résultats

évolution

contraintes

introduction

Perspectives pour la segmentation

résultats

évolution

contraintes

introduction

autres structures du cerveau

construction d'un atlas statistique

détection d'anomalies

structures internes

structures externes

Plan de la présentation

Introduction

Détection de changements

Segmentation du cortex

Aspects logiciels

Aspects logiciels

recherche
et logiciel libre

ImLib3D

56

Conclusion

données

Recherche et logiciel libre

évaluation

rigoureuse

reproductibilité

pression à

la publication

logiciel

ré-implementation:

effort insurmontable

logiciel

indissociable

de la publication

logiciel

libre

ImLib3D : présentation

plateforme de traitement d'images volumiques

code source distribué librement

facile à utiliser par des chercheurs

fondements conceptuels:

généricité

orientée objet

itérateurs

extensibilité

ImLib3D : concepts

généricité

orientée objet

itérateurs

extensibilité

Image3D<int>

Image3D<float>

Image3D<Vector3D>

STL

exemples

processeurs de traitement d'images

extensions visualiseur

Plan de la présentation

Introduction

Détection de changements

Segmentation du cortex

Aspects logiciels

Conclusion

Conclusion

56

Bilan des contributions

représentation et évolution

modèle d'acquisition et contrainte image multirésolution

contraintes d'épaisseur et de distribution relative

segmentation

détection

identification et correction systematiques

normalisation non-linéaire

informations multimodales / cadre statistique

utilisation de la segmentation du cortex

protocole d'évaluation

ImLib3D

Plan de la présentation

Introduction

Détection de changements

Segmentation du cortex

Aspects logiciels

56

Conclusion

Fin!

Bonjour, merci d'être venus a ma soutenance.

Je vais vous présenter mes travaux en traitement d'images, portant sur la détection de changements...

Ce travail a été effectué en étroite collaboration entre l'IPB et le LSIIT, sous la direction de

Cette présentation va se diviser en 5 parties.

L'objectif de ce travail est de suivre l'évolution de patients atteints de sclérose en plaques. Pour cela, nous effectuons des examens tous les deux mois.

A chaque examen, 3 images IRM de modalités différentes sont acquises.

Dans ce travail, nous voulons déterminer s'il y a eu des changements d'intensité localisés, entre deux examens successifs

Vous pouvez voir dans cet exemple l'apparition d'une grande lésion de sclérose en plaques

L'IRM fournit des image volumiques. Dans cette étude nous avons utilisés des images de taille 128x128x128, chaque voxel composant l'image est alors un petit cube de 2mmx2mmx2mm. Des images d'une résolution supérieure, 256x256x256 ont aussi été utilisés dans la partie segmentation.

Un même appareil IRM permet d'acquérir des images portant des informations très différentes Dans cette étude nous avons acquis simultanément des images de type FLAIR T1 et T2. Les images T1 fournissent plutôt des informations structurelles, les images T2 et FLAIR fournissent elles des informations intéressantes pour l'étude des maladies de la substance blanche, et en particulier de la SEP

Comme dans toute forme d'imagerie, les images IRM subissent des dégradations. Certaines dégradations sont similaires à des celles existant dans d'autres formes d'imagerie (bruit blanc, déformations géométriques). D'autres dégradations ont un aspect très spécifiques, comme les artefacts de mouvement

Je vais maintenant décrire quelques éléments anatomiques simples qui me paraissent nécessaires à la compréhension de cet exposé.

Pour ce qui nous concerne, le cerveau est essentiellement composé de deux types de tissus: la substance blanche et la substance grise. Le cerveau est entouré et protégé par un liquide : le liquide céphalo-rachidien.

La substance grise peut être vue comme le lieu de traitements des informations. La substance blanche, comporte de nombreux axones, entourées de myeline, et peut être vu comme le le lieu où circule l'information.

Au centre du cerveau se trouvent les ventricules, qui sont des cavités remplies de LCR. A coté des ventricules se trouvent les noyaux gris.

La surface externe du cerveau s'appelle le cortex; elle est constituée de sillons ; du LCR s'engouffre dans ces sillons qui situés eux-mêmes constitués de SG et + en profondeur de SB;

La sep est une maladie souvent invalidante. Elle est la 2ème cause de handicap chez le jeune adulte après les traumatismes crâniens. La SEP touche environ 60 000 personnes en France. Les symptômes sont très variables et dépendent étroitement des régions du cerveau affectés. Ils se manifestent lors d'épisodes de troubles neurologiques qui sont appelés des poussés.

Des reactions auto immunes sont impliqués dans la SEP. Ses réactions vont provoquer la destructions des gaines de myéline entourant les neurones.

Ces réactions se concentrent sur des régions se trouvant généralement dans la substance blanche. Elles provoquent l'apparition de lésions visibles en IRM.

L'agrandissement en bas, montre plusieurs lésions de sep autour des ventricules. En haute, une coupe histologique montrant une lésion de sep.

Voici un fort agrandissement sur une image IRM, montrant deux petites lésions de sep. Les images agrandies sont montrés sans interpolation pour mettre en évidence la taille des voxels.

Ces lésions sont typiques des lésions dont on cherche a détecter l'évolution.

Après cette brève introduction à l'imagerie cérébrale, je vais vous présenter mes travaux en détection de changements.

Je commencerai par une présentation de la problématique, avant de décrire les différents éléments de la chaîne de traitement conduisant à la détection.

Je décrirai ensuite le protocole d'évaluation qui a permis de valider ce travail, et le résultats obtenus.

La détection de changements est un domaine vaste, qui englobe des problématiques très différentes du point de vue du traitement d'images.

Dans ce travail, nous souhaitons détecter des changements d'intensité localisés, entre images successives, comme des évolutions de lésions en SEP, montrés a gauche.

Nous ne cherchons pas a détecter des grands changements, tels que l'atrophie globale du cerveau. Au contraire, il s'agira de les compenser pour pouvoir comparer des structures anatomiques identiques .

De nombresues applications sont possibles, mais pas seulement la SEP

Une détection fiable des changements entre examens successifs peut aider le neurologue à diagnostiquer une pathologie.

Une fois le diagnostic posé, cet outil peut l'aider à suivre l'évolution de la pathologie.

La détection de changements peut aussi intervenir dans le cadre de l'évaluation de l'efficacité d'un médicament

La recherche de petits changements dans un grand volume de données, est une tache délicate pour le neurologue. Les position des patients n'est jamais identique, et differentes formes

L'intensité et le contraste des image peut varier entre examens. Diverses degradation peuvent perturber les images.

Notre approche de détection de changements se décompose en 4 grandes étapes

Les trois premières visent a compenser des différences indésirables entre les images. Et la dernière va permettre de décider de la pertinence des changements observés.

Nous commencions par extraire le cerveau de chaque image. Cette étape permettra de focaliser les traitements sur cette région

Ensuite nous allons repositionner les images et compenser les déformations. Cette étape est cruciale et devra être faite avec une grande précision

Aprés avoir choisi deux images a comparer, nous corrigerons les différences d'intensité (ou contraste) entre les images.

Une fois toutes ces différences compensés, nous utiliserons une méthode statistique pour déterminer la vraisemblance des changements observés.

L'extraction du cerveau se fait à l'aide d'un transport d'atlas par recalage déformable.

Après avoir extrait la tête par rapport au bruit de fond à l'aide d'operateurs simples (seuillage, opérations morphologiques), on recale un atlas presegmenté sur la tête. Le champ de déformation obtenu établi une correspondance entre le cerveau presegmenté de l'atlas et le e cerveau que l'on souhaite extraire.

Je voudrais tout d'abord insiter sur l'importance de la precision du recalage.

Dans l'exemple montré ici deux images (represnté par des coupes) sont comparés par soustraction. Deux differences entre les images : un changements, que l'on veut detecter, et un decalage geometrique.

Le decalage produit un important signal dans l'image difference quipeut nous empecher de detecter le changement.

Dans une premiere phase nous allons recaler l'ensemble des images de la base à l'aide d'une serie de recalages affines. Ces recalages seront soigneuusement choisis pour s'assurer que les images a comparer soient recalés à l'aide d'un recalage monomodal, intra patient.

Une procedure iterative permetra de compenser d'eventuelles incoherences dans les segmentations des cerveaux

Le recalage est une étape

Après cette présentation de nos travaux en détection de changements proprement dite, je vais présenter mes travaux sut la segmentation des sillons corticaux.

La segmentation des sillons va apporter des informations qui permettront d'améliorer les résultats de détection de changements.

Dans cette partie consacré a la segmentation, j'introduirais d'abord la problématique et notre approche, avant de décrire l'évolution itérative de la segmentation. Je décrirai ensuite les contraintes qui vont influencer la évolution, et je conclurai cette partie en exposant nos résultats de segmentation.

Qu'est-ce que c'est segmenter une image?

Lorsqu'on effectue une acquisition on obtient une image composé de niveaux d'intensité.

Une etape importante dans l'interprétation de l'image, est de décrire les différentes ragions de l'image. En d'autres termes on souhaite passer d'une représentation en niveaux de gris à une représentation sémantique de l'image.

Plus précisément, ici , on veut distinguer les régions de MB, MG et LCR.

Quelles sont les difficulté liés a la segmentation?

Une première difficulté provient de la résolution limité des images. Les structures anatomiques que l'on veut segmenter peuvent avoir des détails plus fins que la résolution de l'image. En imagerie médicale, on parle de volumes partiels, cad qu'un voxel contient un mélange d'informations provenant de structures anatomiques adjacentes.

Un deuxième difficulté provient de l'insuffisance des informations présentes dans l'image. Un niveau d'intensité de l'image peut correspondre a plusieurs structures anatomiques différentes

Une troisième classe de problèmes provient des dégradations de l'image. Par exemple le bruit blanc, ou bien les artefacts de mouvement évoqués précédemment

Or un expert, ou un neurologue, est tout a fait capable de distinguer les différentes structures dans une image. C'est une tache longue est pénible, mais tout a fait possible. En fait, il complète les informations manquantes par ses propres connaissances anatomiques Ces connaissances portent sur les formes des structures anatomiques et leur position et disposition relatives.

Le problématique, qui me semble fondamental en segmentations, est de trouver des moyens pour intégrer ces connaissances dans un algorithme de segmentation.

Je vais maintenant présenter le cadre général de notre approche de segmentation.

Dans notre approche, la segmentation courante va être représenté par une carte de labels Cette carte de labels a la particularité d'être a une résolution pouvant être bien plus fine que la résolution de l'image a segmenter (comme le montre l'illustration en haut a droite).

Dans notre approche, cette carte de segmentation va évoluer itérativement, pour converger vers la segmentation désiré

Cette évolution se fera de manier a diminuer une énergie L'énergie est une expression quantitative de l'erreur de segmentation. En d'autres termes, nous allons progressivement diminuer l'erreur de segmentation.

L'énergie sera constitué d'une somme de termes appelés contraintes. Deux grands types de contraintes peuvent être distingués: : les attaches aux donnés, et les connaissances a priori. Les attaches aux données vont faire évoluer la segmentation vers quelques chose qui ressemble le plus possible a l'image.

C'est dans les contraintes a priori, que nous allons pouvoir intégrer les connaissances anatomiques évoqués précédemment

Après avoir décrit le fonction général du système de segmentation, je vais décrire l'évolution itérative de la segmentation

A chaque itération nous allons basculer des labels, comme le montre l'agrandissement a droite. Le basculements des labels devra être fait de manière a diminuer l'énergie

A chaque itération nous devons donc choisir des labels a basculer

premiere phras: on est super content

derniere phrase oug c'est fini

La principale contribution originale de ce travail me semble être notre approche de segmentation. Nous avons proposé une représentation discrète pour la segmentation. Et nous avons proposé une méthode pour la faire évoluer.

L'attache aux données est faite à l'aide d'une modélisation rigoureuse du processus d'acquisition. Elle s'exprime sous la forme d'une contrainte image multi-résolution.

Nous avons proposé deux contraintes originales. Ces contraintes permettent d'introduire des connaissances anatomiques dans le processus de segmentation.

En ce qui concerne la détection de changements nous avons systématiquement identifié et corrigé des artefacts d'acquisition. En particulier nous avons corrigé des déformations géométriques et des variations non-linéaires d'intensité. Ces problèmes n'avaient pas été identifiés dans les approches existantes.

Nous avons utilisé un cadre statistique permettant d'intégrer des informations multimodales. Les résultats obtenus ont démontré l'intérêt de la multimodalité.

La segmentation sillons corticaux nous a permis de rejeter certaines fausses détections

Les performances de l'ensemble ont été évalués par un protocole expérimental complet.

La principale contribution technique de ce travail est une plateforme de traitement d'images complète et performante. Elle est librement disponible pour la communauté de traitement d'images

2003-11-24T11:11:35