OpenCV - tutorial deteção de blobs e movimento - parte 3

May 24th, 2010

… Continuando dos posts anteriores …

Agora com a captação a imagem da câmera funcionando, e fazendo a leitura dos blobs, cabem algumas considerações sobre os resultados obtidos do sistema. A primeira coisa que se nota é que, a deteção de blobs ocorre em todos os frames da captação de vídeo. Isso não é, necessariamente, o ideal, dependendo do projeto. Afinal na minha idéia, só me interessa verificar o que se move. Com esse comportamento da deteção de blobs, repara-se que mesmo algumas variações de iluminação são o suficiente para o OpenCV ler novos blobs.

Lendo um pouco a documentação do OpenCV e vendo alguns exemplos, reparei na função absDiff(), que trabalha em conjunto com a função remember(). O que elas fazem é “lembrar” ( remember() ) o frame anterior, calcular a diferença ( absDiff() ) para o frame atual, e gerar uma imagem com essa diferença. Ótimo, esse seria um grande passo para facilitar a deteção, exclusiva, de movimentos.

Para estudar exclusivamente esse recurso, fiz o seguinte código:

//importar biblioteca OpenCV

import hypermedia.video.*;

//Instanciar um objeto OpenCV

OpenCV opencv;

//Imagem que captura o "Movimento"

PImage movement;

//Configurar a tela do nosso programa

void setup(){

size(640,480); //tamanho da tela

opencv = new OpenCV(this); //construir objeto OpenCV

opencv.capture(640,480); //inicia captura de vídeo

}

//Execução do software

void draw(){

opencvAction();

}

//Ações do OpenCV

void opencvAction(){

opencv.read();

opencv.absDiff();

movement = opencv.image();

image( movement, 0, 0 );

opencv.remember();

}

O resultado foi esse:

Só um comentário sobre o código em sí: Eu coloquei o trabalho do OpenCV em uma função, chamada opencvAction(), para organizar melhor o código, porque daqui em diante, o código vai crescer em tamanho, e já é bom fazer as coisas organizadinhas para facilitar correções futuras.

Mas o fato realmente “empolgante”, é que com o uso desses recursos obtemos uma imagem que possui apenas a informação de modificações entre o frame anterior e o atual! Vejamos a função opencvAction():

  • Na primeira linha da função: lemos o conteúdo da câmera.
  • Na segunda linha, chamamos a função absDiff(), para calcular a diferença entre os frames.
  • Na terceira linha, guardamos a imagem resultante da diferença no objeto “movement” - observar que esse é um objeto da classe PImage
  • Na quarta linha, desenhamos a imagem da diferença (movement) na tela.
  • Na quinta linha, chamamos a função remember(), para que no próximo frame, o OpenCV, tenha essa imagem para comparar com a próxima.

Com isso feito, fiz o próximo teste, que seria, fazer a deteção de blobs, apenas na imagem resultante da deteção de movimentos, veja o código abaixo: (Obs: apenas acrescentei a função detetarBlobs() )

//importar biblioteca OpenCV
import hypermedia.video.*;
//Instanciar um objeto OpenCV
OpenCV opencv;
//Imagem que captura o "Movimento"
PImage movement;
//Configurar a tela do nosso programa
void setup(){
    size(640,480); //tamanho da tela
    opencv = new OpenCV(this); //construir objeto OpenCV
    opencv.capture(640,480); //inicia captura de vídeo
}

//Execução do software
void draw(){
    opencvAction();
    detetarBlobs();
}

//Ações do OpenCV
void opencvAction(){
    opencv.read();
    //opencv.convert(OpenCV.GRAY);
    opencv.absDiff();
    movement = opencv.image();
    image( movement, 0, 0 );
    opencv.remember();
}

void detetarBlobs(){
    opencv.threshold(100); //tratamento da imagem
    Blob[] blobs = opencv.blobs(200, width*height/2, 10, false, OpenCV.MAX_VERTICES/4);
    //desenhar os blobs existentes
    for( int i=0; i<blobs.length; i++ ) {
        //desenho dos contronos dos blobs<
        beginShape();
        for( int j=0 ; j&lt;blobs[i].points.length ; j++){
            vertex( blobs[i].points[j].x, blobs[i].points[j].y );
        }
        endShape(CLOSE);
        //desenho dos centroids
        fill(200,50,10);
        ellipse(blobs[i].centroid.x, blobs[i].centroid.y, 5,5);
        fill(255);
    }
}

O resultado foi este:

Com essa base, já é possível fazer uma deteção de movimento bem melhor. Temos a imagem “resultante” do movimento; fazendo a deteção de blobs conseguimos isolar dessa imagem as “coisas” que se movem em frente a câmera; Com os blobs calculados, podemos gerar um ponto médio desse deslocamento, fazendo uma média aritmética simples dos pontos “centroids” de cada blob: soma-se os ‘centroid’ de cada blob, e divide-se pela quantidade de blobs.

Bem, é claro que essa última sugestão - na verdade todas as sugestões que dei aqui - dependem do seu projeto, da sua idéia.

Basicamente esse post meio tutorial, meio relato, acaba aqui. Vou escrever um próximo, falando da classe BlobDetection, que chamou muito minha atenção, pela qualidade da deteção de blobs que ela oferece. Ao menos para o meu projeto é melhor que a opção disponível padrão do OpenCV. Mas vale dizer que ambas fazem a mesma coisa, da mesma forma.

até mais.

Processing, Tutoriais , ,

OpenCV - tutorial deteção de blobs e movimento - parte 2

May 24th, 2010

Continuando o meu relato de pesquisa com o OpenCV e Processing…

Depois de testar e constatar que o OpenCV estava capturando corretamente a imagem da minha webcam, chagou a hora de ver como interpretar as imagens. Logo de início fui atrás de como capturar Blobs via OpenCV. Blobs? O que são blobs?… Bem, pelo que entendi, são chamados “blobs” áreas da imagem que se destacam pelo contraste de cores, geralmente contraste entre pontos claros, e escuros (brilho e sombra), mas também é possível fazer seleção por cores específicas.

Com uma rápida consultada na documentação da biblioteca OpenCV para o Processing (veja os itens na coluna à esquerda), há um bom exemplo de como os blobs funcionam. Pelo exemplo o que acontece é o seguinte; Quando chamada a função blobs(), do objeto opencv, o resultado é um array de objetos tipo Blob, que por sua vez, possuem lá seus recursos. Então eu fui xeretar; E a partir do último código comecei a fazer o seguinte (após a função image(), dentro da função draw()):

//Iniciar captura de blobs

opencv.threshold(50);

Blob[] blobs = opencv.blobs(20, width*height/2, 10, true, OpenCV.MAX_VERTICES);

println(blobs.length);

O que fiz foi pedir a detecção de Blobs, que ficaram armazenados no array ‘blobs’, e na seqüencia apenas imprimo no console a quantidade de blobs detetados ( detetados: nova forma de detectados, após o acordo ortográfico =P). Logo de cara, reparei que para a deteção de blobs é necessário um certo tratamento na imagem, no caso o “threshold”. Para quem não conhece tratamento de imagens, esse efeito reduz a quantidade de cores de uma imagem por aproximação, e com isso aumenta os contrastes, veja:

imagem sem aplicação de threshold imagem com aplicação de filtro threshold

Imagens sem, e com, aplicação de filtro “threshold”. Essa configuração é importante para adequar sua captação de blobs à iluminação da sua “cena”.

[…]

Sem a aplicação desse tratamento parece que a deteção de Blobs, não funciona. =P Não gostei disso.

Continuando, fui fazer como no exemplo da documentação e desenhar os blobs na tela para vê-los. E isso é possível se fazer com diferentes informações contidas nos blobs. Para começar mais simples, decidi desenhar na tela o centro do blob, veja na documentação que cada blob possui um ponto chamado ‘centroid’. Então vou usá-lo para desenhar uma elipse no centro de cada blob:

//Iniciar captura de blobs

opencv.threshold(100); //tratamento da imagem

Blob[] blobs = opencv.blobs(20, width*height/2, 10, true, OpenCV.MAX_VERTICES);

//desenhar os blobs existentes

for( int i=0; i&lt;blobs.length; i++ ) {

fill(200,50,10);

ellipse(blobs[i].centroid.x, blobs[i].centroid.y, 5,5);

fill(255);

}

Repare que, obviamente, temos que iterar (com o loop for) por cada blob que está na lista de “blobs”, para desenhar cada um dos “centroids”. Outra opção possível, é fazer como no exemplo, desenhar o contorno de cada blob. Veja abaixo, como fazer isso junto com o desenho dos “centroids”, apenas alterando o loop ‘for’:

for( int i=0; i&lt;blobs.length; i++ ) {

//desenho dos contronos dos blobs

beginShape();

for( int j=0 ; j&lt;blobs[i].points.length ; j++){

vertex( blobs[i].points[j].x, blobs[i].points[j].y );

}

endShape(CLOSE);

//desenho dos centroids

fill(200,50,10);

ellipse(blobs[i].centroid.x, blobs[i].centroid.y, 5,5);

fill(255);

}

Novamente na documentação há a descrição dos ‘points’, que é uma lista dos pontos de compõe o contorno do blob, assim podemos usar essa informação para criar um segundo loop onde desenhamos os pontos como um ’shape’ de fundo branco. Veja como deve ficar:

Além disso outros pontos devem ser observados, em especial as opções para a função blobs(). Naqueles parâmetros é onde se pode configurar melhor a captura desses blobs, lembre-se: SEMPRE OLHE E LEIA A DOCUMENTAÇÃO! Fazendo algumas alterações os resultados podem lhe ser mais interessantes.

Devo confessar que não fiquei muito feliz com a forma do OpenCV fazer a deteção de blobs, e me lembrei da biblioteca BlobDetection, que me trouxeram resultados melhores (em minha opinião). Logo, optei por utilizá-la para esse trabalho. Futuramente vamos falar sobre ela, mas antes vamos falar sobre deteção de movimentos via OpenCV. Mas fica para os próximos textos.

Até.

PS: O código completo é

//importar biblioteca OpenCV

import hypermedia.video.*;

//Instanciar um objeto OpenCV

OpenCV opencv;

//Configurar a tela do nosso programa

void setup(){

size(640,480); //tamanho da tela

opencv = new OpenCV(this); //construir objeto OpenCV

opencv.capture(640,480); //inicia captura de vídeo

}

void draw(){

opencv.read(); //faz a leitura das imagens da câmera

image(opencv.image(), 0,0);//desenha a imagem na tela

//Iniciar captura de blobs

opencv.threshold(100); //tratamento da imagem

Blob[] blobs = opencv.blobs(200, width*height/2, 10, false, OpenCV.MAX_VERTICES/4);

//desenhar os blobs existentes

for( int i=0; i&lt;blobs.length; i++ ) {

//desenho dos contronos dos blobs

beginShape();

for( int j=0 ; j&lt;blobs[i].points.length ; j++){

vertex( blobs[i].points[j].x, blobs[i].points[j].y );

}

endShape(CLOSE);

//desenho dos centroids

fill(200,50,10);

ellipse(blobs[i].centroid.x, blobs[i].centroid.y, 5,5);

fill(255);

}

}

Processing, Tutoriais , ,

OpenCV - tutorial detecção de blobs e movimento - parte 1

May 24th, 2010

Olá,

Recentemente me envolvi em um projeto de uma pequena instalação (quase) artística, que consiste basicamente em controlar a exibição de vídeos, e slideshows, de acordo com a movimentação de quem está vendo o material.

Para isso comecei a estudar conceitos de ‘computer vision’ , detecção de faces, blobs e movimentos em vídeos. Porquê? Porque quem vai detectar o movimento do espectador é uma câmera! Logo, é necessário interpretar, de alguma forma, as imagens captadas pela câmera.

Seguindo comprovações científicas sobre o processo de aprendizado, estou escrevendo esse tutorial, para me ajudar a fixar o que estou aprendendo. Logo, vale ressaltar que, eu não sou um especialista no assunto, estou aprendendo o mesmo. E se o relato desse processo lhe for tão útil quando será para mim, ótimo!

Para esses primeiros estudos vou usar o Processing, a biblioteca OpenCV, e uma biblioteca para o Processing chamada Blob Detection. Se até o final o resultado se mostrar bom o suficiente, vou ficar no Processing mesmo, caso contrário vou para um C++ ou ObjectiveC. Estou desenvolvendo esse projeto em Linux e Mac OSX. Caso você esteja no Windows, sei lhe dizer que tudo isso vai funcionar da mesma forma, porém caso ocorra algum problema, ou você tenha alguma dúvida, que esteja diretamente relacionada as especificidades do Windows, NÃO PODEREI TE AJUDAR! Faz muito tempo que não trabalho no Windows, e confessor que perdi completamente a transição para o Vista e para o 7. E nesse caso o melhor lugar para pedir ajuda é nos fóruns do Processing.

Preparação

Para começar a brincadeira são necessárias algumas instalações, que dependem da plataforma que vc está utilizando, além das instalações básicas (Processing, OpenCV, biblioteca OpenCV para o Processing):

Mac: Essa é a plataforma em que você terá menos trabalho, basta instalar a biblioteca BlobDetection, alem das instalações básicas (Processing, OpenCV, biblioteca OpenCV para o Processing).

Linux: Aqui vc terá mais trabalho. Mas nada sobre humano… Para o Linux você terá que instalar uma biblioteca para que o Processing leia e renderize as imagens da câmera: A GSVideo, que utilizará o Gstreamer para isso (No Mac e no Windows geralmente o Processing usa o Quicktime). E claro você precisará de um driver para que o GStreamer acesse a câmera, nesse caso usei o V4l (video4linux) e foi o suficiente. Além, claro, das instalações básicas (Processing, OpenCV, biblioteca OpenCV para o Processing).. ah… não se esqueça da biblioteca BlobDetection.

Windows: Além das instalações básicas (Processing, OpenCV, biblioteca OpenCV para o Processing), você precisará, assim como no Linux, de uma biblioteca para renderização de vídeo, você pode optar pelo QuickTime, ou pelo GStreamer. Eu recomendaria usar o Quicktime, porque o Processing já é tudo integrado com ele. E… não se esqueça da biblioteca BlobDetection.

Eu não vou explicar aqui os detalhes de instalação dos softwares e bibliotecas, porque nos sites de cada um dos projetos, e internet adentro, já existem tais informações.

Agora o próximo passo é abrir o Processing e fazer um teste. Vejamos.

Veja na imagem abaixo, o código básico para um primeiro teste:

programa de teste

Olha como isso deve funcionar:

Agora a próxima etapa é Começar a analizar as imagens e interpretá-las. Ainda bem que a biblioteca OpenCV faz bastante coisa para agente. :)

Abraço e até mais.

Processing, Tutoriais , ,

Democracia = inovação ≠ ACTA

April 21st, 2010

Hoje dia 21 de Abril, comemoramos o Dia de Tiradentes, o herói mineiro lider da Inconfidência Mineira, talvez o mais importante movimento para a libertação do Brasil colônia do Reino de Portugal. Hoje também foi organizado um dia para blogagem coletiva sobre a ACTA - Acordo Comercial Anticontrafação. E eu como alguém preocupado com os frutos e desdobramentos que podem surgir da ACTA, estou aqui publicando minha opinião.

O fato inicial é que ninguém sabe muito bem, ou em detalhes o que é a ACTA, afinal este é um acordo que está sendo tratado a sete chaves, e quem tem informações detalhadas, não pode ‘abrir o bico’ por conta de acordos de NDA (confidencialidade).
Porém, todos sabem que quem está por trás desse acordo são países como EUA, Japão, e União Europeia, todos com grandes lobbys de indústrias fonográficas, de software e farmacêuticas, e muito provavelmente apoio do setor bancário. Por conta disso acreditasse que o grande objetivo da ACTA é levar as restrições de propriedade intelectual à níveis nunca antes imagináveis, entenda-se por isso algo como proibir até pensamento, ou quiçá a respiração. Mas até que o conteúdo da ACTA seja mostrado, ficamos apenas com medo do que pode vir a acontecer.

Este vídeo foi promovido pelo Google, um debate falando sobre a ACTA (em inglês). Um ponto curioso é que apenas duas pessoas que parecem saber detalhes sobre a ACTA, não podem falar! Sim, para se ver quão ridículo isso pode ser!
Google D.C. Talk: ACTA - The Global Treaty That Could Reshape The Internet
Detalhe, o cara barbudo, que é o primeiro dos convidados a se apresentar, é um advogado lobista das indústrias de software nos EUA.

O que mais me preocupa sobre esses movimentos de repressão à liberdades individuais na rede, é que eles tem ganhado mais força dentro dos meios empresariais e políticos no mundo todo. Inclusive aqui no Brasil! Temos como exemplo a Lei Azeredo, a loja de música digital da Nokia, etc. E essas pequenas iniciativas brasileiras de repressão, podem ser inocentes peixinhos de aquário perto do que pode ser a ACTA. Esse acordo internacional e secreto, se aprovado pelos países desenvolvidos, poderá se desdobrar para inúmeras áreas de nossas vidas cotidianas, entre elas:

- Limitações e restrições no uso da internet por nós, cidadãos comuns.
- Fim dos medicamentos genéricos
- Inclusão de sistemas DRM (gerenciador de direitos autorais) em nível de hardware em todos os aparelhos eletrônicos, e com vigilância de uso.
- Censura pela internet, em Blogs, Twitter, Youtube.
- Proibição do desenvolvimento de tecnologias livres (software e hardware) e…
- Proibição do uso de tecnologias livres, especialmente por parte do setor público.

Para mostrar alguns acontecimentos que me levam a crer que isso pode acontecer:

Genéricos:
http://www.abin.gov.br/modules/articles/article.php?id=3858

Países desenvolvidos pretendem reformas na OMC, novas regras para coibir produção de medicamentos falsificados. Mas o problema é que eles podem simplesmente passar a considerar genéricos como falsificações.

Software Livre:
http://partidopirata.org/node/283

A IIPA já publicou relatórios solicitando ao governo Americano usar de força política para coibir o uso de software livre por governos, e com uma especial ênfase para o Brasil.
E imaginando um pouquinho, não é difícil imaginar que o sonho da indústria de software seria acabar com software livre. Veja só o que está acontecendo com o SourceForge: http://sourceforge.net/blog/clarifying-sourceforgenets-denial-of-site-access-for-certain-persons-in-accordance-with-us-law/

DRM:

http://en.wikipedia.org/wiki/Digital_rights_management#Table_of_DRM_technologies_and_associated_devices

O gerenciamento de conteúdo protegido, é a forma mais avançada usada hoje em dia para coibir a reprodução de produtos digitais. Ele está presente em jogos, vídeos e músicas, etc. E esse é um sistema que de imediato julga o usuário como um contraventor em potencial e como tal, limita suas liberdades de proprietário de produtos.

http://www.eff.org/pages/customer-always-wrong-users-guide-drm-online-music

Agora imagine esse DRM potencializado…

Censura:

Bem, o que dizer aqui… Um amigo meu, escreve um blog sobre música, que era hospedado no BlogSpot - empresa do Google - e advinha… teve seu blog deletado, por acusação… SEM ACUSAÇÃO!! foi deletado! Mas todos sabemos que tem mão de indústria fonográfica nisso. E ele não foi o único!

Diga-se de passagem, blogs tem sido censurados por todo o mundo! Ou seja, os detentores do poder estão morrendo de medo da liberdade de expressão que a internet oferece às pessoas, até leis para regulamentar a censura estão sendo arquitetadas.

http://www.estadao.com.br/noticias/tecnologia+link,censura-jornais-blogs-e-liberdade-de-expressao,3188,0.shtm

http://www.trezentos.blog.br/?p=3539

http://documentotupiniquim.com/?p=792

Espero que minha opinião aqui seja tão ofensiva que queiram me censurar! Assim posso ser um mártir da ACTA :D

Conclusão:

A ACTA pode vir a restringir de maneira absurda as liberdades individuais de nós cidadãos, de maneira mandatória sem passar por nossos ritos legislativos nacionais. Isso é uma afronta à autonomia e independência dos países, especialmente dos sub ou em desenvolvimento, e UM CRIME CONTRA À DEMOCRACIA, que em minha opinião é o maior valor da cultura ocidental, que ainda está longe de ser plena, especialmente no Brasil, mas que precisa ser preservada e melhorada.

E tais restrições farão com que as inovações promovidas pela livre troca de pensamento, simplesmente morra! Ou seja, estaremos entrando em um mundo totalmente dominado pelas grandes corporações, como vemos em mundos fictícios de filmes como Resident Evil, Robocop, Aeon Flux, UltraViolet, Alien, etc.

Ou seja, fim da Democracia.

Pra Boi Durmi , ,

Aulas de Processing - Inteligência Artificial

March 26th, 2010

Nesta semana que passou, eu ministrei umas aulas no SESC Carmo sobre uma técnica de inteligência artificial chamada de “swarm behavior” ou flocking. As aulas que estão no Youtube não são exatamente para iniciantes absolutos, são necessários alguns conhecimentos prévios de programação e do Processing, porém toda a turma era de iniciantes… mas o curso já estava na sua terceira semana, quando essas aulas começaram a ser gravadas.

Caso você seja um iniciante completo, aconselho a dar uma olhada nos tutoriais que escrevi aqui. E assistir esses vídeos para ver no geral como a coisa funciona.

Nessa última semana tivemos cinco aulas, e os vídeos estão listados abaixo. Por algumas questões técnicas, os vídeos estão “fatiados”. Em cada “fatia” damos um passo em direção ao objetivo final.

Espero que seja de alguma ajuda.

abraços.

Aula 1 ———————————– Lista de reprodução do Youtube

Aula 2 ———————————– Lista de reprodução do Youtube

Aula 3 ———————————– Lista de reprodução do Youtube

Aula 4 ———————————– Lista de reprodução do Youtube

Aula 5 ———————————– Lista de reprodução do Youtube

Processing, Tutoriais , ,