Leandro Cruz

The Kinect is a device introduced in 2010 as an accessory of XBox 360. The data acquired has different and complementary natures, combining geometry with visual attributes. For this reason, the Kinect is a flexible tool that can be used in applications of several areas, such as: Computer Graphics, Image Processing, Computer Vision and Human-Machine Interaction. In this way, the Kinect is a widely used device in the industry (games, robotics, theater performers, natural interfaces, etc.) and in research. Initially in this tutorial we will present the main techniques related to the acquisition of data: capturing, representation and filtering. The data consists of a colored image (RGB) and depth information (D). This structure is called RGBD Image. After that, we will talk about tools available for developing applications on various platforms. We will also discuss some recent developed projects based on RGBD Images. In particular, those related to Object Recognition, 3D Reconstruction, and Interaction. In this tutorial, we will show some researches, developed by the academic community, and some projects developed for the industry. We intend to show the basic principles to begin developing applications using Kinect, and present some projects developed at the VISGRAF Lab. And finally, we intend to discuss the new possibilities, challenges and trends raised by Kinect.

With the advent of RGBD cameras, like the Kinect sensor, we gain a powerful tool for image processing. The nature of the captured data (i.e. colored image and depth data) could be combined to realize tasks that before were very difficult. In this paper, we will discuss some camera effects done using RGBD images. These effects will be direct, such as image filtering and stereo image creation, or indirect, such as visualization using head tracking.

In this work we discuss the integration of three depth based methods to the object extraction problem in RGBD images. Each of these three methods provides an insight in the connectedness, proximity, and planarity of the scene. Depth and color are combined in a GraphCut framework.
Object extraction can be stated as follows: Given certain user interaction, identify automatically the set of pixels that belongs to the referenced object. Classical approaches to object extraction are based only in color data. The aim of our work is to show how the use of structured depth information provided by Kinect lead to reinforce this task.

Embora já seja uma área bem estabelecida em computação gráfica, ainda tem-se feito muitas pesquisas sobre criação e visualização de terrenos. Essas pesquisas aproveitam a possibilidade de explorar aspectos de modelagem (representação, especificação e síntese) de terrenos baseada em sketches, processamento paralelo em GPUs, utilização de dados topográficos reais, e outros. Neste trabalho, apresentamos uma análise do estado da arte da área, visando identificar possibilidades, desafios e tendências, e apontar para possíveis trabalhos futuros.
Os métodos de síntese podem ser agrupados em ontogenéticos, que buscam construir modelos visualmente satisfatórios, e teleológicos, que buscam construir modelos geomorfologicamente coerente. Ao longo deste trabalho discutiremos o termo "geomorfologicamente coerente", relacionando tais métodos com fenômenos naturais que afetam a topografia da Terra.
Apresentaremos uma forma para especificar relevos a partir de sketches, tais como, bases, silhuetas e linhas guias. A maioria dos trabalhos, que usam sketches para criar terrenos, utilizam prioritariamente curvas de silhueta. Acreditamos, porém, que abordar o problema utilizando também outras classes de curvas nos permitirá construir modelos mais realistas utilizando, ainda, poucos traços.
Durante o desenvolvimento deste trabalho foi implementado um \textit{framework} para criação e visualização de terrenos. Com esta ferramenta, desenvolvemos alguns aplicativos cujo objetivo é testar os conceitos apresentados ao longo desta pesquisa. Além do processo de especificação e síntese, também abordamos alguns aspectos de visualização como representação de um terreno com uma malha em multirresolução, adaptada de acordo com o ponto de vista, e tópicos referentes a textura.

Geometric Modeling is a widely studied area in computer graphics and methods for constructing 3D models with intuitive interfaces are a topic that has been attracting the interest of many researches. In contrast to the complicated interfaces of modeling softwares, created using the WIMP paradigm (Window, Icon, Menu, Pointer), several studies have shown applications with interfaces based on gestures, which are simpler and more natural. In this scenario, the area of Sketch-Based Interfaces and Modeling (SBIM) emerged.
Sketch is a very efficient tool to convey the essence of an object with few strokes, because humans have the ability of inferring 3D models from 2D drawings. However, associating a sketch to a 3D model is not a computationally trivial task. In this paper we present a conceptualization of the area, highlighting opportunities, challenges and trends in SBIM.

Neste trabalho, serão apresentados os conceitos e algoritmos envolvidos na construção de um toolkit Open Source, de nome Horus, utilizado para o desenvolvimento e controle de aplicações que envolvam agentes inteligentes, com foco em dois problemas centrais. O primeiro problema refere-se à movimentação autônoma de um agente inteligente em ambientes desconhecidos. O segundo problema refere-se à visão computacional, onde o agente deve ser capaz de extrair informações do ambiente através da utilização de câmeras virtuais ou reais. Além de algoritmos para movimentação autônoma e visão computacional, o Horus também fornece abstrações para criação e configuração de agentes inteligentes com seus principais componentes e dispositivos. Embora o Horus tenha sido também desenvolvido com foco na movimentação autônoma de agentes inteligentes, nesse trabalho será dado maior enfoque à parte de visão computacional e às abstrações para criação e configuração de agentes inteligentes. Como forma de validação e prova de conceito das funcionalidades fornecidas pelo toolkit Horus, também foram desenvolvidas três aplicações: PyANPR, Teseu e Ariadnes. PyANPR é um sistema web de reconhecimento automático de placas de automóveis. Teseu é um sistema que simula o mapeamento automático de um ambiente desconhecido por um agente inteligente. Ariadnes é um sistema que simula a movimentação autônoma de um agente inteligente em um ambiente desconhecido através de técnicas de visão computacional e mapeamento de ambientes. Neste trabalho, além da descrição do Horus, também serão detalhadas a aplicação PyANPR e os aspectos de visão computacional do simulador Ariadnes.

This work will show an approach for multitouch sketch-based modeling system development. Our system uses a natural interface as opposed to classical window-based systems. Natural interfaces are another paradigm in man-machine interaction. The use of the multiple touches lets to include functionality in this system, that in windows-based systems, are more complicated to implement and is not intuitive for the users. Some of this new possibilities have been attacked in this work. We will show the possibility of the creation and manipulation of the shape of a curve based on multiple touches. For this purpose, we will show how to transform a sketch, done by the user through a touch, in a b-spline curve. We can manipulate the shape of the curve, based on the change of the position of a set of points with fingers. An important element to do interaction in this systems is gesture. The user’s gestures are interpreted to sketch and deform curves or to transform the coordinate systems. Therefore, it is necessary to recognize a touch and associate it with a gesture.

Este artigo apresenta arquitetura e fundamentos para o desenvolvimento de simuladores para controle de agentes inteligentes móveis. Entende-se por movimentação os processos de mapeamento e navegação. Embora esses processos envolvam diversas características do agente e do ambiente, priorizou-se nesse trabalho, conceitos de percepção do ambiente e dos elementos nele contidos, através de visão computacional. Durante o desenvolvimento desse projeto foram criados um toolkit de desenvolvimento e controle de agentes inteligentes, chamado Horus; e um simulador de movimentação autônoma de um agente inteligente, chamado Ariadnes. Essa aplicação simula computacionalmente o processo de exploração de um robô real em um ambiente desconhecido. Durante a exploração, o agente localiza marcos no ambiente através de uma imagem obtida via uma câmera virtual, e os identifica através de algoritmos para extração de características presentes no Horus.

Neste trabalho abordar-se-á uma gama de conceitos básicos relacionados à modelagem e a manipulação direta de um objeto gráfico no computador. Tais conceitos aparecem inseridos em diversas disciplinas tais como Álgebra Linear, Cálculo Diferencial, Geometria Diferencial e Análise Numérica.
Após modelar um objeto, ou seja, definir sua geometria, pode ser necessário manipular sua forma. Para isto serão apresentadas técnicas de manipulação direta de objetos gráficos tridimensionais. Estas técnicas consistem, basicamente, em selecionar com o mouse um ponto na superfície deste objeto e arrastá-lo objetivando encontrar uma forma desejada, controlando características definidas pelos vetores das derivadas de primeira e segunda ordem do objeto no ponto selecionado. .

Especificar um objeto gráfico significa definir a geometria e a topologia do suporte geométrico, e também a função de atributos. É necessário realizar a representação de tal objeto para que ele possa ser manipulado no computador. A área que trata da descrição, da especificação e da representação do suporte geométrico é a modelagem geométrica. Essa é a nossa área de interesse neste trabalho, analisar a topologia, a geometria e algumas propriedades de objetos gráficos cujo suporte geométrico tem dimensão um, dois ou três.

O projeto Informática a Serviço da Educação e da Pesquisa Matemática para Alunos e Professores do Ensino Fundamental, Médio e Superior refere-se ao desenvolvimento de um pacote de softwares que visam oferecer uma nova representação visual/gráfica de alguns tópicos da Matemática. Estes programas computacionais mostrarão conteúdos algébricos e geométricos dando-lhes uma forma mais moderna que incentive o usuário a se envolver mais, com tais matérias, e de modo mais prazeroso.

O projeto Informática a Serviço da Educação e da Pesquisa Matemática para Alunos e Professores do Ensino Fundamental, Médio e Superior refere-se ao desenvolvimento de um pacote de softwares que visam oferecer uma nova representação visual/gráfica de alguns tópicos da Matemática. Estes programas computacionais mostrarão conteúdos algébricos e geométricos dando-lhes uma forma mais moderna que incentive o usuário a se envolver mais, com tais matérias, e de modo mais prazeroso.