[FR][EN]
AVEIR 2007-2009
Annotation automatique et extraction de concepts visuels pour la recherche d'images
Prochaine réunion
25 mai 2010

Accueil
Comptes Rendus
Jobs
Publications
Livrables
INTRANET

Liens
ANR
MDCA
Cap Digital
CEA
ColloqueSTIC
Laboratoires
LIG
LIP6
LSIS
LTCI
Universités
ENST
UJF
UPMC
USTV

Participants

LIG - UMR CNRS 5217 Laboratoire d'Informatique de Grenoble / Université Joseph Fourier (UJF)
LIP6 - UMR CNRS 7606 Laboratoire d'Informatique de Paris 6 / Université Pierre et Marie Curie-Paris 6 (UPMC), coordonnateur
LSIS - UMR CNRS 6168 Laboratoire des Sciences de l'Information et des Systèmes / Université du Sud Toulon-Var (USTV)
LTCI - UMR CNRS 5141 Laboratoire Traitement et Communication de l'Information / TELECOM ParisTech (ENST)

Membres (dans l'ordre alphabétique)

Massih-Reza Amini (LIP6), Isabelle Bloch (LTCI), Marine Campedel (LTCI), Marcin Detyniecki (LIP6), Ali Fakeri Tabrizi (LIP6), Marin Ferecatu (LTCI), Patrick Gallinari (LIP6), Hervé Glotin (LSIS), Young Min Kim (LIP6), Jacques Le Maitre (LSIS), Xi Li (LTCI), Henri Maître (LTCI), Philippe Mulhem (LIG), Trong-Ton Pham (LIG), Georges Quenot (LIG), Hichem Sahbi (LTCI), Sabrina Tollari (LIP6), Zhong-Qiu Zhao (LSIS)

Coordonnateur

Patrick Gallinari, aveir@poleia.lip6.fr

AVEIR (ANR-06-MDCA-002) est un projet de l'appel à projets Masse de Données et Connaissances ambiantes (MDCA) de l'Agence Nationale de la Recherche (ANR). Il est labellisé par le pôle de compétitivité Cap Digital.


Résumé

Les systèmes de recherche d'images peuvent être principalement séparés en deux catégories : les systèmes de recherche d'images par mots-clés (tels que les moteurs de recherche sur le Web) et les systèmes de recherche d'images par le contenu visuel (CBIR). Ces deux approches n'ont pas jusqu'à présent permis de réduire le « fossé sémantique » entre les attentes de l'utilisateur et le pouvoir expressif des images. Le projet AVEIR (Automatic annotation and Visual concept Extraction for Image Retrieval) a pour objectif de développer un moteur de recherche d'images utilisant efficacement les informations fournies à la fois par les images et par le texte associé à ces images. Pour cela, les principales techniques développées sont des méthodes avancées de traitement de l'image, des algorithmes d'apprentissage automatique pour l'annotation des images, ainsi qu'un protocole d'évaluation des méthodes proposées.

Objectif Général

Améliorer les systèmes de recherche d'images en utilisant des indexations sémantiques, des annotations textuelles et des descriptions symboliques extraites automatiquement à partir du texte et du contenu visuel des images contenus dans des documents multimédia ou des pages Web.

Les principaux problèmes et défis abordés par ce projet sont :

  • La réduction du fossé sémantique entre les images et leurs descriptions textuelles
    • Développer des représentations riches des images qui permettent de limiter les ambiguïtés et de réaliser des requêtes sémantiques et visuelles
    • Utiliser des techniques d'apprentissage automatique pour réduire le fossé entre la description textuelle et la description visuelle d'une image
    • Trouver dans un document multimédia (structuré) quelles parties du texte décrit l'image
  • La combinaison de techniques spécifiques au texte avec des techniques spécifiques aux images. Le texte et l'image étant fondamentalement différents, les techniques d'analyse de ces deux modalités ont évolué en parallèle. Un défi important est de les confronter et de les fusionner efficacement.
  • Les nouveaux défis de l'apprentissage
    • Traiter au même niveau le texte et les images révèle de nouveaux problèmes d'apprentissage comme, par exemple, apprendre à partir d'instances multiples, d'exemples multi-facettes, avec des étiquettes multiples, bruitées...
    • Apprendre par apprentissage semi-supervisé dans des espaces à grandes dimensions avec des exemples étiquetés en faible nombre
  • L'évaluation
    • Définir des critères d'évaluation n'est pas une tâche triviale lorsque l'on mélange des informations sémantiques, structurelles et des concepts visuels
    • Développer des nouvelles collections pour l'évaluation en recherche d'information image

Enjeux

Du fait de l'évolution des technologies, le nombre de données multimédia disponibles augmente de manière exponentielle. L'amélioration des systèmes de recherche d'images permet d'améliorer à la fois la qualité des images renvoyées par le système, mais aussi de diminuer le temps qu'un utilisateur passe à essayer de trouver l'image qu'il recherche. Les enjeux sont donc très importants pour les utilisateurs qui recherchent des images sur le Web, mais aussi pour les éditeurs de contenus, tels que les agences de presse, les encyclopédies...

Description

Le projet est organisé en trois axes dans lesquels interviennent une partie ou tous les partenaires.

  • Axe 1 : Amélioration de la description des images : de l'analyse d'images vers les concepts visuels
    • Objectif : fournir des descriptions d'images fiables et efficaces pour les utiliser en conjonction et en complément des descriptions textuelles
    • 1.1 : Extraction des descripteurs et segmentation d'images
    • 1.2 : Description sémantique des images et index multi-facettes
  • Axe 2 : Du texte vers l'annotation d'images
    • Objectif : Développer des techniques d'apprentissage automatique pour l'annotation d'images et pour trouver des correspondances entre le texte et les images
    • 2.1 : Apprendre à partir d'annotations imprécises
    • 2.2 : Trouver la correspondance entre le texte, les images et les mots-clés
  • Axe 3 : Recherche d'images et évaluation
    • Objectif : Développer un moteur de recherche d'images, effectuer des recherches sur des descripteurs d'images complexes, et évaluer les résultats obtenus
    • 3.1 : Rechercher des images en s'aidant du texte
    • 3.2 : Effectuer des recherches sur des descripteurs d'images complexes
    • 3.3 : Évaluation

Axe LivrablesTypeResponsableParticipantsPériode
 0Site WebSite WebLIP6LIP6T0-T2
11État de l'art et spécification des descripteurs visuels pertinents pour la caractérisation des conceptsRapportLTCILIG, LTCI, LSIST0-T6
2Bibliothèque de techniques de traitement d'images avancé et spécification pour l'implémentation dans le prototypeAlgorithmeT7-T12
3Développement des modules du logiciel et testsModèleT13-T24
24Analyse du problème de l'annotation d'un point de vue de l'apprentissage automatique et état de l'art sur les modèles de correspondance entre le texte et les imagesRapportLIP6ALLT0-T6
5Algorithme d'annotations riches des imagesAlgorithmeT7-T12
6Développement des logiciels et testsModèleT13-T36
37Prise de contacts avec des partenaires européens pour obtenir des collections de documents multimédia et spécifications du corpusRapportLIGALLT0-T12
8Développement du corpus - Corpus du WebCorpusT7-T24
9Prototype final du moteur de recherche d'imagesMoteur de rechercheT25-T36
10ÉvaluationÉvaluationT25-T36

Nouveaux Produits

  • Bibliothèque de techniques avancées de traitement d'images
  • Algorithme pour l'annotation riche d'images
  • Corpus d'évaluation
  • Prototype d'un système de recherche d'images combinant texte et images

Impact et Retombées

Les principaux résultats attendus à la fin du projet AVEIR sont :

  • la définition d'un modèle pour représenter les différentes facettes des images
  • la définition d'approches probabilistes pour l'annotation automatique des images en fonction du contenu des images et du texte décrivant l'images
  • la définition d'une collection de test pour l'évaluation de l'annotation et de la recherche d'images
  • le développement d'un prototype de systèmes de recherche d'images en fonction des différentes avancées du projet

Les méthodes robustes, précises et automatiques d'annotation sémantique des images ont de nombreuses applications dans le domaine du multimédia. Ce projet fournit des méthodes qui pourront être utilisées dans des applications à grande échelle lors de futures collaborations industrielles, ainsi que dans le développement de projets R&D nationaux et européens.

LTCI