Facebook AI aide a prédire les soins nécessaires aux patients COVID-19.
Janvier 2021, les chercheurs de Facebook AI en collaboration avec NYU Langone Health’s Predictive Analytics Unit and Department of Radiology, ont mis un disposition le code open source de trois modèles capables de prédire deux types de détérioration des patients COVID-19 à partir de leur radio du thorax : détérioration des effets indésirables (c’est-à-dire transfert à l’unité de soins intensifs, intubation, ou mortalité) et l’augmentation des besoins en oxygène au-delà de 6 L par jour.
- Un modèle de prédiction de la détérioration du patient basée sur une seule radiographie.
- Un modèle de prédiction de la détérioration du patient basé sur une séquence de radiographies.
- Un modèle de prédiction de la quantité d’oxygène supplémentaire dont un patient pourrait avoir besoin basé sur une seule radiographie.
Le modèle qui utilise des radiographies séquentielles du thorax peut prédire jusqu’à quatre jours (96 heures) à l’avance si un patient peut avoir besoin de solutions de soins plus intensifs, ce qui surpasse généralement les prévisions des experts humains.
Ces prévisions pourraient aider les médecins à éviter de renvoyer trop tôt chez eux les patients à risque, et aider les hôpitaux à mieux prévoir la demande d’oxygène supplémentaire et d’autres ressources limitées.
Momentum Contrast MoCo
Les chercheurs de Facebook AI, ont pré-entrainé un modèle appelé Momentum Contrast (MoCo) avec deux grands ensembles de données de radiographie pulmonaire publique MIMIC-CXR-JPG et CheXpert. Puis ils ont effectué du fine tunning de leur modèle MoCo avec le jeu de données NYU COVID-19 (26,838 radio de 4,914 malades du covid). C’est ce petit jeu de données qui a été étiqueté avec les différentes étiquettes : déterioration de l’état du patient dans les 24 heures, 48 heures, 72 heures et 96 heures.
Apprentissage auto-supervisé
MoCo, le modèle utilisé par Facebook AI, pour anticiper les soins apportés aux patients du Covid-19 est un modèle d’apprentissage auto-supervisé (self-supervised learning) avec une fonction de coût contrastive (contrastive loss).
Il y a trois formes d’apprentissage profond (Deep Learning). Les plus connus sont l’apprentissage par renforcement (Reinforcement Learning) et l’apprentissage supervisé (Supervised Learning) mais un troisième a le vent en poupe l’apprentissage auto-supervisé (Self-Supervised Learning).
Selon, Yann LeCun, directeur de Facebook AI, il s’agit de donner la possibilité à la machine de construire des modèles prédictifs du monde par observations comme le font les humains.
C’est par ce type d’apprentissage que les machines pourront acquérir du sens commun. La machine sera capable à partir d’images de début et de fin d’une séquence vidéo de prédire les images intermédiaires manquantes.
Les succès des modèles BERT et RoBERTa montrent que les modèles de self-supervised learning fonctionnent très bien dans le domaine du NLP.
Les méthodes contrastives
L’apprentissage auto-supervisé repose sur des modèles à base d’énergie (EBM). Ces modèle peuvent être théorisés en utilisant une fonction énergie F(x,y).
Si F(x,y) = 0, y est compatible avec x et si F(x,y)>0 alors y n’est pas compatible avec x. Par exemple dans le cas d’un algorithm de clustering: la fonction d’énergie est minimisée quand la prédiction du point se trouve près d’un cluster et c’est l’inverse quand le point se trouve loin du cluster.
Une des façon d’entraîner un EBM est d’utiliser des méthodes contrastives. Concrètement si deux images sont semblables (deux radios du thorax avec une tâche blanche au même endroit), elles vont être encodées avec deux vecteurs similaires, la fonction d’énergie sera poussée vers le bas.
Si deux images ne sont pas semblables (deux radios du thorax dissemblables: une avec une tâche blanche et l’autre sans tâche) alors elles vont être encodées avec deux vecteurs non similaires.
Voici une fonction de coût contrastive:
- Zi est l’ancre, dans mon exemple une radio du thorax avec une tâche blanche.
- Zj est l’exemple positif, dans mon exemple une autre radio semblable à l’ancre avec une tâche blanche au même endroit ou la même image que l’ancre mais cropper différemment.
- Za est l’exemple négatif, dans mon exemple une radio sans tâche.
- Lors de l’entraînement : le produit Zi.Zj doit être poussé vers le haut et le produit Zi.Za doit être poussé vers le bas. Et ce pour maximiser le log et donc minimiser la fonction de coût contrastive.
Allez plus loin Self-Supervised Learning
