CLIP (Contrastive Language-Image Pre-training) est un outil d’OpenAI, un réseau de neurones capable, en apprentissage supervisé, de comprendre ce qui se trouve dans une image. Sa manière de fonctionner est résumée ci-dessous. Pour l’aspect Language_Image Pre-training : après encodage du texte et de l’image, le réseau de neurones obtient N attributs pour chacun des deux, respectivement appelés T1 à Tn, et I1 à In. Ensuite le réseau de neurones croise cela dans une matrice pour modéliser la correspondance entre texte et image. Pour l’aspect Contrastive : le contrastive learning est une technique de deep learning permettant d’apprendre les caractéristiques générales d’un ensemble de données sans label en apprenant au modèle quels points de données sont similaires ou différents. “Sans label” signifiant “sans étiquette”, car une grande partie de l’apprentissage par les modèles d’IA est basée sur des données (images, etc.) qui ont été vues par des humains et labellisées (étiquetées). Le contrastive learning permet de s’affranchir de cela.

Donc à ce stade, on est passé du jeu de données d’entraînement x aux données c, qui sont grâce à CLIP des descriptions textuelles des images successives des vidéos de x. On a donc des phrases comme par exemple “chat roux de face en haut à gauche de l’image”, et quelques secondes de la vidéo plus tard une autre image avec “chat roux de dos en bas à droite de l’image”, ce qui permet à l’IA de suivre ce qui se passe.