Archive

Posts Tagged ‘OpenCV’

OpenCV - tutorial deteção de blobs e movimento - parte 3

May 24th, 2010

… Continuando dos posts anteriores …

Agora com a captação a imagem da câmera funcionando, e fazendo a leitura dos blobs, cabem algumas considerações sobre os resultados obtidos do sistema. A primeira coisa que se nota é que, a deteção de blobs ocorre em todos os frames da captação de vídeo. Isso não é, necessariamente, o ideal, dependendo do projeto. Afinal na minha idéia, só me interessa verificar o que se move. Com esse comportamento da deteção de blobs, repara-se que mesmo algumas variações de iluminação são o suficiente para o OpenCV ler novos blobs.

Lendo um pouco a documentação do OpenCV e vendo alguns exemplos, reparei na função absDiff(), que trabalha em conjunto com a função remember(). O que elas fazem é “lembrar” ( remember() ) o frame anterior, calcular a diferença ( absDiff() ) para o frame atual, e gerar uma imagem com essa diferença. Ótimo, esse seria um grande passo para facilitar a deteção, exclusiva, de movimentos.

Para estudar exclusivamente esse recurso, fiz o seguinte código:

//importar biblioteca OpenCV

import hypermedia.video.*;

//Instanciar um objeto OpenCV

OpenCV opencv;

//Imagem que captura o "Movimento"

PImage movement;

//Configurar a tela do nosso programa

void setup(){

size(640,480); //tamanho da tela

opencv = new OpenCV(this); //construir objeto OpenCV

opencv.capture(640,480); //inicia captura de vídeo

}

//Execução do software

void draw(){

opencvAction();

}

//Ações do OpenCV

void opencvAction(){

opencv.read();

opencv.absDiff();

movement = opencv.image();

image( movement, 0, 0 );

opencv.remember();

}

O resultado foi esse:

Só um comentário sobre o código em sí: Eu coloquei o trabalho do OpenCV em uma função, chamada opencvAction(), para organizar melhor o código, porque daqui em diante, o código vai crescer em tamanho, e já é bom fazer as coisas organizadinhas para facilitar correções futuras.

Mas o fato realmente “empolgante”, é que com o uso desses recursos obtemos uma imagem que possui apenas a informação de modificações entre o frame anterior e o atual! Vejamos a função opencvAction():

  • Na primeira linha da função: lemos o conteúdo da câmera.
  • Na segunda linha, chamamos a função absDiff(), para calcular a diferença entre os frames.
  • Na terceira linha, guardamos a imagem resultante da diferença no objeto “movement” - observar que esse é um objeto da classe PImage
  • Na quarta linha, desenhamos a imagem da diferença (movement) na tela.
  • Na quinta linha, chamamos a função remember(), para que no próximo frame, o OpenCV, tenha essa imagem para comparar com a próxima.

Com isso feito, fiz o próximo teste, que seria, fazer a deteção de blobs, apenas na imagem resultante da deteção de movimentos, veja o código abaixo: (Obs: apenas acrescentei a função detetarBlobs() )

//importar biblioteca OpenCV
import hypermedia.video.*;
//Instanciar um objeto OpenCV
OpenCV opencv;
//Imagem que captura o "Movimento"
PImage movement;
//Configurar a tela do nosso programa
void setup(){
    size(640,480); //tamanho da tela
    opencv = new OpenCV(this); //construir objeto OpenCV
    opencv.capture(640,480); //inicia captura de vídeo
}

//Execução do software
void draw(){
    opencvAction();
    detetarBlobs();
}

//Ações do OpenCV
void opencvAction(){
    opencv.read();
    //opencv.convert(OpenCV.GRAY);
    opencv.absDiff();
    movement = opencv.image();
    image( movement, 0, 0 );
    opencv.remember();
}

void detetarBlobs(){
    opencv.threshold(100); //tratamento da imagem
    Blob[] blobs = opencv.blobs(200, width*height/2, 10, false, OpenCV.MAX_VERTICES/4);
    //desenhar os blobs existentes
    for( int i=0; i<blobs.length; i++ ) {
        //desenho dos contronos dos blobs<
        beginShape();
        for( int j=0 ; j&lt;blobs[i].points.length ; j++){
            vertex( blobs[i].points[j].x, blobs[i].points[j].y );
        }
        endShape(CLOSE);
        //desenho dos centroids
        fill(200,50,10);
        ellipse(blobs[i].centroid.x, blobs[i].centroid.y, 5,5);
        fill(255);
    }
}

O resultado foi este:

Com essa base, já é possível fazer uma deteção de movimento bem melhor. Temos a imagem “resultante” do movimento; fazendo a deteção de blobs conseguimos isolar dessa imagem as “coisas” que se movem em frente a câmera; Com os blobs calculados, podemos gerar um ponto médio desse deslocamento, fazendo uma média aritmética simples dos pontos “centroids” de cada blob: soma-se os ‘centroid’ de cada blob, e divide-se pela quantidade de blobs.

Bem, é claro que essa última sugestão - na verdade todas as sugestões que dei aqui - dependem do seu projeto, da sua idéia.

Basicamente esse post meio tutorial, meio relato, acaba aqui. Vou escrever um próximo, falando da classe BlobDetection, que chamou muito minha atenção, pela qualidade da deteção de blobs que ela oferece. Ao menos para o meu projeto é melhor que a opção disponível padrão do OpenCV. Mas vale dizer que ambas fazem a mesma coisa, da mesma forma.

até mais.

Processing, Tutoriais , ,

OpenCV - tutorial deteção de blobs e movimento - parte 2

May 24th, 2010

Continuando o meu relato de pesquisa com o OpenCV e Processing…

Depois de testar e constatar que o OpenCV estava capturando corretamente a imagem da minha webcam, chagou a hora de ver como interpretar as imagens. Logo de início fui atrás de como capturar Blobs via OpenCV. Blobs? O que são blobs?… Bem, pelo que entendi, são chamados “blobs” áreas da imagem que se destacam pelo contraste de cores, geralmente contraste entre pontos claros, e escuros (brilho e sombra), mas também é possível fazer seleção por cores específicas.

Com uma rápida consultada na documentação da biblioteca OpenCV para o Processing (veja os itens na coluna à esquerda), há um bom exemplo de como os blobs funcionam. Pelo exemplo o que acontece é o seguinte; Quando chamada a função blobs(), do objeto opencv, o resultado é um array de objetos tipo Blob, que por sua vez, possuem lá seus recursos. Então eu fui xeretar; E a partir do último código comecei a fazer o seguinte (após a função image(), dentro da função draw()):

//Iniciar captura de blobs

opencv.threshold(50);

Blob[] blobs = opencv.blobs(20, width*height/2, 10, true, OpenCV.MAX_VERTICES);

println(blobs.length);

O que fiz foi pedir a detecção de Blobs, que ficaram armazenados no array ‘blobs’, e na seqüencia apenas imprimo no console a quantidade de blobs detetados ( detetados: nova forma de detectados, após o acordo ortográfico =P). Logo de cara, reparei que para a deteção de blobs é necessário um certo tratamento na imagem, no caso o “threshold”. Para quem não conhece tratamento de imagens, esse efeito reduz a quantidade de cores de uma imagem por aproximação, e com isso aumenta os contrastes, veja:

imagem sem aplicação de threshold imagem com aplicação de filtro threshold

Imagens sem, e com, aplicação de filtro “threshold”. Essa configuração é importante para adequar sua captação de blobs à iluminação da sua “cena”.

[…]

Sem a aplicação desse tratamento parece que a deteção de Blobs, não funciona. =P Não gostei disso.

Continuando, fui fazer como no exemplo da documentação e desenhar os blobs na tela para vê-los. E isso é possível se fazer com diferentes informações contidas nos blobs. Para começar mais simples, decidi desenhar na tela o centro do blob, veja na documentação que cada blob possui um ponto chamado ‘centroid’. Então vou usá-lo para desenhar uma elipse no centro de cada blob:

//Iniciar captura de blobs

opencv.threshold(100); //tratamento da imagem

Blob[] blobs = opencv.blobs(20, width*height/2, 10, true, OpenCV.MAX_VERTICES);

//desenhar os blobs existentes

for( int i=0; i&lt;blobs.length; i++ ) {

fill(200,50,10);

ellipse(blobs[i].centroid.x, blobs[i].centroid.y, 5,5);

fill(255);

}

Repare que, obviamente, temos que iterar (com o loop for) por cada blob que está na lista de “blobs”, para desenhar cada um dos “centroids”. Outra opção possível, é fazer como no exemplo, desenhar o contorno de cada blob. Veja abaixo, como fazer isso junto com o desenho dos “centroids”, apenas alterando o loop ‘for’:

for( int i=0; i&lt;blobs.length; i++ ) {

//desenho dos contronos dos blobs

beginShape();

for( int j=0 ; j&lt;blobs[i].points.length ; j++){

vertex( blobs[i].points[j].x, blobs[i].points[j].y );

}

endShape(CLOSE);

//desenho dos centroids

fill(200,50,10);

ellipse(blobs[i].centroid.x, blobs[i].centroid.y, 5,5);

fill(255);

}

Novamente na documentação há a descrição dos ‘points’, que é uma lista dos pontos de compõe o contorno do blob, assim podemos usar essa informação para criar um segundo loop onde desenhamos os pontos como um ’shape’ de fundo branco. Veja como deve ficar:

Além disso outros pontos devem ser observados, em especial as opções para a função blobs(). Naqueles parâmetros é onde se pode configurar melhor a captura desses blobs, lembre-se: SEMPRE OLHE E LEIA A DOCUMENTAÇÃO! Fazendo algumas alterações os resultados podem lhe ser mais interessantes.

Devo confessar que não fiquei muito feliz com a forma do OpenCV fazer a deteção de blobs, e me lembrei da biblioteca BlobDetection, que me trouxeram resultados melhores (em minha opinião). Logo, optei por utilizá-la para esse trabalho. Futuramente vamos falar sobre ela, mas antes vamos falar sobre deteção de movimentos via OpenCV. Mas fica para os próximos textos.

Até.

PS: O código completo é

//importar biblioteca OpenCV

import hypermedia.video.*;

//Instanciar um objeto OpenCV

OpenCV opencv;

//Configurar a tela do nosso programa

void setup(){

size(640,480); //tamanho da tela

opencv = new OpenCV(this); //construir objeto OpenCV

opencv.capture(640,480); //inicia captura de vídeo

}

void draw(){

opencv.read(); //faz a leitura das imagens da câmera

image(opencv.image(), 0,0);//desenha a imagem na tela

//Iniciar captura de blobs

opencv.threshold(100); //tratamento da imagem

Blob[] blobs = opencv.blobs(200, width*height/2, 10, false, OpenCV.MAX_VERTICES/4);

//desenhar os blobs existentes

for( int i=0; i&lt;blobs.length; i++ ) {

//desenho dos contronos dos blobs

beginShape();

for( int j=0 ; j&lt;blobs[i].points.length ; j++){

vertex( blobs[i].points[j].x, blobs[i].points[j].y );

}

endShape(CLOSE);

//desenho dos centroids

fill(200,50,10);

ellipse(blobs[i].centroid.x, blobs[i].centroid.y, 5,5);

fill(255);

}

}

Processing, Tutoriais , ,

OpenCV - tutorial detecção de blobs e movimento - parte 1

May 24th, 2010

Olá,

Recentemente me envolvi em um projeto de uma pequena instalação (quase) artística, que consiste basicamente em controlar a exibição de vídeos, e slideshows, de acordo com a movimentação de quem está vendo o material.

Para isso comecei a estudar conceitos de ‘computer vision’ , detecção de faces, blobs e movimentos em vídeos. Porquê? Porque quem vai detectar o movimento do espectador é uma câmera! Logo, é necessário interpretar, de alguma forma, as imagens captadas pela câmera.

Seguindo comprovações científicas sobre o processo de aprendizado, estou escrevendo esse tutorial, para me ajudar a fixar o que estou aprendendo. Logo, vale ressaltar que, eu não sou um especialista no assunto, estou aprendendo o mesmo. E se o relato desse processo lhe for tão útil quando será para mim, ótimo!

Para esses primeiros estudos vou usar o Processing, a biblioteca OpenCV, e uma biblioteca para o Processing chamada Blob Detection. Se até o final o resultado se mostrar bom o suficiente, vou ficar no Processing mesmo, caso contrário vou para um C++ ou ObjectiveC. Estou desenvolvendo esse projeto em Linux e Mac OSX. Caso você esteja no Windows, sei lhe dizer que tudo isso vai funcionar da mesma forma, porém caso ocorra algum problema, ou você tenha alguma dúvida, que esteja diretamente relacionada as especificidades do Windows, NÃO PODEREI TE AJUDAR! Faz muito tempo que não trabalho no Windows, e confessor que perdi completamente a transição para o Vista e para o 7. E nesse caso o melhor lugar para pedir ajuda é nos fóruns do Processing.

Preparação

Para começar a brincadeira são necessárias algumas instalações, que dependem da plataforma que vc está utilizando, além das instalações básicas (Processing, OpenCV, biblioteca OpenCV para o Processing):

Mac: Essa é a plataforma em que você terá menos trabalho, basta instalar a biblioteca BlobDetection, alem das instalações básicas (Processing, OpenCV, biblioteca OpenCV para o Processing).

Linux: Aqui vc terá mais trabalho. Mas nada sobre humano… Para o Linux você terá que instalar uma biblioteca para que o Processing leia e renderize as imagens da câmera: A GSVideo, que utilizará o Gstreamer para isso (No Mac e no Windows geralmente o Processing usa o Quicktime). E claro você precisará de um driver para que o GStreamer acesse a câmera, nesse caso usei o V4l (video4linux) e foi o suficiente. Além, claro, das instalações básicas (Processing, OpenCV, biblioteca OpenCV para o Processing).. ah… não se esqueça da biblioteca BlobDetection.

Windows: Além das instalações básicas (Processing, OpenCV, biblioteca OpenCV para o Processing), você precisará, assim como no Linux, de uma biblioteca para renderização de vídeo, você pode optar pelo QuickTime, ou pelo GStreamer. Eu recomendaria usar o Quicktime, porque o Processing já é tudo integrado com ele. E… não se esqueça da biblioteca BlobDetection.

Eu não vou explicar aqui os detalhes de instalação dos softwares e bibliotecas, porque nos sites de cada um dos projetos, e internet adentro, já existem tais informações.

Agora o próximo passo é abrir o Processing e fazer um teste. Vejamos.

Veja na imagem abaixo, o código básico para um primeiro teste:

programa de teste

Olha como isso deve funcionar:

Agora a próxima etapa é Começar a analizar as imagens e interpretá-las. Ainda bem que a biblioteca OpenCV faz bastante coisa para agente. :)

Abraço e até mais.

Processing, Tutoriais , ,