Projects

Ongoing Projects

We have some ongoing projects.

Hierarchical Graph-based Analysis of Image, Video and Multimedia Data (CAPES/COFECUB)

Methods of image, video and multimedia analysis which use hierarchical representation aim to explore the visual representation as region-oriented scale-space. This representation is a set of graph representations at different detail levels in which the representation at finer levels are nested with respect to those at coarser levels producing a hierarchy of partitions. This kind of data structure has been sucessfully applied to remote sensing, object detection and human action recognition. Despite the several ways for computing hierarchies of partitions, developing efficient and effective methods is not an easy task due to the semantic information which is needed for a segmentation. In fact, the state-of-the-art segmentation methods depend on the good gradients to produce good results. Furthermore, non-hierarchical methods could produce good segmentation results thanks to the (dis)similarity measure used for merging two regions, which can be transformed, without loss of quality, into hierarchical methods which incorporate some new properties. Thus, the main goal of this study is to advance in the state-of-the-art on taking into account aspects of efficiency, quality, making hierarchical and interactivity, as well as the use of hierarchical information to help in the information extraction and the label propagation. Moreover, we will investigate hierarchical visualization of all, image, video and multimedia, by using countour saliency maps. Finally, we will explore the criteria for hierarchical comparison and for hierarchical combination taking into account their contour saliency maps and learning methods. The results of these studies will be used for solving several applications like human action recognition, pornography detection, image and video region labeling, multimedia label propagation, image and video inpainting, among others. We will build upon existing research and skills at LIGM, IRISA, Grenoble INP, UNICAMP, PUC Minas and UFMG to develop collaborative work exploiting complementarity of these institutions

Hierarchical Graph-based Analysis of Image, Video and Multimedia Data (CAPES/STICAMSUD)

Multimedia data are usually complex, possibly combining multiple channels and time information to convey a message. It is highly dimensional, multimodal, and involves variability and distortion. In this project, we aim at studying and designing different transformations of multimedia data that enables to facilitate its manipulation, while handling the different particularities stated above. TRANSFORM focuses on transforming multimedia data into compact representations that are suited for indexing and retrieval purposes. We will design particularly transformations adapted to 3D-shapes, temporal data and to multimodal data. The designed representations will be integrated into efficient indexing schemes for retrieval purposes. Targeted applications will include 3D-shapes indexing, discovery of audiovisually coherent fragments, of recurrence in speech data and multimodal content linking and navigation. This project will strengthen existing collaborations between Brazilian, Chilean and French labs, all having a strong background in multimedia content analysis. We will also establish exchange of students so that these collaborations can pursue in the future.

Processamento hierárquico de imagens e vídeos - Programa Pesquisador Mineiro (FAPEMIG)

Técnicas de processamento de imagem e vídeo a partir de representações hierárquicas visam explorar a representação visual de dados considerando um conjunto de segmentações. Estas segmentações descrevem o conteúdo visual em diferentes níveis de detalhe e são produzidas de tal maneira que os níveis mais finos produzem níveis mais grosseiros a partir da união de regiões, produzindo deste modo uma hierarquia de partições. Estas estruturas de dados têm sido aplicadas com sucesso em áreas como sensoriamento remoto, detecção de objetos ou até mesmo na melhoria do reconhecimento de ação. Existem várias maneiras para se computar estas hierarquias de partições, no entanto algoritmos eficientes e eficazes são difíceis de desenvolver devido às informações semânticas necessárias para a segmentação. Na verdade, os métodos de segmentação que estão no estado-da-arte são dependentes do cálculo de bons gradientes. Além disto, métodos não-hierárquicos podem produzir boas segmentações graças à métrica usada para calcular a similaridade entre duas regiões. Estes métodos podem ser transformados, sem perda de qualidade, em métodos hierárquicos, o que insere novas propriedades nestes métodos. O objetivo deste estudo é avançar na área da hierarquia de partições, considerando os aspectos de eficiência, qualidade, hierarquização e interatividade, assim como usar a informação hierárquica para auxiliar na extração de informação. A transformação de algoritmos clássicos de segmentação em algoritmos hierárquicos, em particular sem exigência de refinamento de parâmetro, poderá ser considerado um dos pontos importantes deste estudo. Espera-se ainda investigar estratégias para visualizar hierarquias tanto em imagens quanto em vídeos, como os mapas de saliência. Finalmente, estudar critérios de comparação entre hierarquias. Os resultados destes estudos serão utilizados para resolver diversas aplicações, como o reconhecimento de ações, detecção de pornografia e descoberta de motifs.

Previous Projects

Hierarchical Graph-based Image and Video Segmentation - Pesquisador Visitante Especial (CAPES/PVE)

A segmentação hierárquica de vídeos produz um espaço-escala orientado à região, i.e., um conjunto de segmentações em diferentes níveis de detalhe no qual as segmentações com detalhes mais finos são incluídas nas de níveis mais grossos. Aplicações como a rotulação de cenas (ou regiões), assim como, o reconhecimento de ações podem basear-se nas informações destes diferentes níveis com o intuito de melhorar a qualidade do reconhecimento, além de facilitar sua rotulação, em contraponto ao uso da informação extraída em somente uma escala. Muitos algoritmos de segmentação de vídeos, tais como algoritmos de junção de regiões, baseiam-se em um critério de junção que não produz uma hierarquia, e pode necessitar de uma parametrização difícil. O objetivo deste estudo é investigar formas de transformar algoritmos clássicos de segmentação em algoritmos hierárquicos, em particular sem exigência de refinamento de parâmetro, considerando tanto métodos interativos quantos não interativos. Espera-se ainda investigar estratétias para visualizar hierarquias tanto em imagens quanto em vídeos, como os mapas de saliência. Finalmente, estudar critérios de comparação entre hierarquias..