Segment Anything Model, ou SAM. C’est le nom du nouveau modèle d’intelligence artificielle (IA) dévoilé mercredi par Meta AI, la branche de l’entreprise dédiée à l’IA. Disponible sous une licence ouverte permissive, il est capable de détecter des objets dans des images. Ce modèle fait partie du projet Segment Anything de la branche, visant à démocratiser la segmentation, « une tâche essentielle de la vision par ordinateur (…) utilisée dans une large gamme d’applications ». Il s’agit d’une opération de traitement consistant à identifier les pixels d’image appartenant à un objet. Meta AI a publié SAM avec un ensemble de données de segmentation qui est, selon elle, le plus grand de son genre.

Un modèle utile dans de nombreux domaines

Dans un article de blog, la branche de recherche de Meta affirme que SAM est capable d’identifier des objets dans des images et des vidéos et ce, même s’il n’a pas rencontré ces éléments lors de son entraînement. « SAM est suffisamment général pour couvrir un éventail de cas d’utilisation et peut être utilisé immédiatement sur de nouveaux “domaines” d’images – qu’il s’agisse de photos sous-marines ou de microscopie cellulaire – sans nécessiter de formation supplémentaire », a assuré Meta AI.

Formé sur un ensemble de données de plus d’un milliard de masques de segmentation, ce modèle d’IA peut détecter des objets dans une image à l’aide de prompts. Dans une démo, avec l’écriture du mot « chat » dans un cadre de limitation, SAM a par exemple identifié les nombreux chats figurant sur une image, avec un cadre rouge.

Meta AI estime que son modèle pourra, plus tard, être utilisé pour alimenter des applications dans de nombreux domaines nécessitant de trouver et de segmenter des objets dans des images. « Pour la communauté de recherche sur l’IA et d’autres, SAM pourrait devenir un composant de systèmes d’IA plus larges pour une compréhension multimodale plus générale du monde, par exemple, comprendre à la fois le contenu visuel et textuel d’une page Web », a indiqué la branche de recherche de la firme. Il pourrait aussi faciliter l’étude scientifique d’événements naturels sur Terre en localisant des animaux ou des objets à étudier et à suivre en vidéo. Dans le domaine des réalités virtuelle et augmentée, un objet pourrait être sélectionné en fonction du regard de l’utilisateur grâce à SAM. 

« Nous pensons que les possibilités sont vastes et nous sommes enthousiasmés par les nombreux cas d’utilisation potentiels que nous n’avons même pas encore imaginés », a déclaré Meta AI, qui espère « accélérer davantage la recherche sur la segmentation et la compréhension plus générale des images et des vidéos » en partageant ses recherches et ses ensembles de données.