-
Notifications
You must be signed in to change notification settings - Fork 0
Worklog
Nuno Miguel Soares Silva edited this page Sep 18, 2018
·
2 revisions
- Manhã no LAR a testar o pacote de calibração e descobrir como se lança a interface gráfica
- Reunião com mentores
- Tarde no carro a testar a calibração nos sensores
- camera nao funcionava, problema na consistencia da imagem. tentei resolver a situação mas ficou em standby
- Investigar o KITTI dataset
- Pesquisar outros datasets relevantes
- passei a última semana hospitalizado, só tive alta ontem.
- Tentei pegar num computador antigo que tinha para lhe instalar Ubuntu e testar o meu package numa máquina virgem
- Computador tem problemas na fonte de alimentação (bateria não carrega e desliga subitamente)
- Desisti do computador e instalar virtualbox no meu PC para poder prosseguir com isso
- Instalei ROS kinetic e estou a tentar correr o meu package a 100%
- O meu package está com alguns erros na VM que ainda não consegui resolver.
- Vou deixar isto para outra altura e começar a passar os olhos no kitti dataset para analisar a sua a estrutura de dados...
- Extração do vídeo do bag como o professor Paulo pediu
- Dum momento para o outro o que tinha feito deixou de funcionar e não sei porquê...
- O problema parece ser semelhante ao da VM mas tudo estava a funcionar antes de testar na VM...
- Maracação de reunião com o Diogo para ele me ajudar com este problema
- Investigar mais datasets além do KITTI
- Exploração das diferentes estruturas de dados e comparação dos mesmos
- Reunião com o prof. Paulo e Vitor + José Paulo (jose.paulo@ua.pt)
- Reunião com o Diogo ao fim do dia
- Não foi possivel encontrar o problema do package de calibração...
- Os outros problema foram resolvidos (problema num path estático...)
- Não foi possível trabalhar durante o fim de semana devido a um entrega de um trabalho para outra disciplina
- O Diogo mandou-me um email com uma package de calibração e o package dele (free_space_detection) atualizados
- Estive a simular a calibração com um bag
- Parte da manhã no carro a testar o package de calibração com sucesso apenas com sensores
- Camera continua com problemas de aquisição de dados no pacote de calibração...
- Consegui obter imagens da camera. Solução: mudar packet size e delay no nodelet.cpp do package do pointgrey.
- Ainda não é desta que a camera se liga ao package de calibração. Continua o mesmo erro...
- "Reboot" do trabalho
- Analíse da estrutura de dados do LaserScan no ROS
- Reunião com o prof. Paulo Dias
- Definição dos objetivos principais
- Escolha do template do documento
- Inicio da implementação de um nó que detecta a bola
- Reunião no LAR com o prof. Vítor
- Amostra do desenvolvimento do nó que detecta a bola ao prof. Paulo
- (Finalmente) Melhoria da qualidade da camera
- Problema: Linux memory buffer demasiado pequeno
- Resolução: http://www.ptgrey.com/KB/10016
- Gravação de um bag com melhor qualidade para usar nos próximos testes
- Melhoramento dos acessos à memória
- Substituição de ponteiros por cv::Mat
- Melhoria no nó
- Bola detectada quase na totalidade
- Algum ruído á volta na imagem mas fácil de remover
- Redução do rúido na imagem
- Bounding circle à volta da bola
- Bounding Box à volta da bola
- Início do desenvolvimento de click and detect
- Formação de ROS com prof. Miguel
- Preparação da Apresentação para o dia 09/02/18
- Tarde no AtlasCar
- Após um debugging intensivo, descobri (finalmente) porque é que o pacote de calibração não funcionava
- Problema: faltava um pacote "pointgrey_fl3_ge_28s4_c"
- Nunca ninguém me disse que este pacote era necessário. O pacote que o Diogo me deu para as PointGrey era outro e sempre funcionou. O pacote de calibração usa outro pacote diferente para as câmeras.
- Solução: Pacote encontrado aqui
- Desenvolvido launchfile para lançar rviz configurado com as janelas para deteção da bola
- Nó de deteção da bola agora deteta a bola a partir dum clique que determina a cor
- Desta forma é possivel calibrar a partir duma bola com uma cor arbitrária
- Gravação de rosbag de imagens da camera com a driver do pacote de calibração
- Necessário para fazer testes no pacote de calibração fora do carro
- Estrutura base do relatório preliminar
- Conclusão e entrega do relatório preliminar (estive o dia fora de Aveiro, foi o máximo que pude fazer hoje)
- Workshop de ROS
- Reunião com prof. Paulo
- Avanço no nó da calibração da camera
- detecção da bola feita
- falta publicação do centro da bola
- Avanço no nó de calibração
- Centro da bola a ser publicado
- Ficheiros .pcd gerados a partir dos centros detetados
- Parece existir alguma incoerência nos dados do pcd
- Ficheiro pcd gerado a partir da imagem da camera
- Pointcloud é gerada com o pacote de calibração
- Reunião com prof. Paulo e prof. Vitor
- Teste no carro com os sensores para calibração
- Por alguma razão o Sick LD-MRS400001 não funciona no package
- Teste no carro com os sensores para calibração
- Calibração com sensores e camera efetuada com sucesso
- O problema do Sick LD-MRS400001 era ter partes fundamentais comentadas no launchfile da sua driver no pacote de calibração (por alguma razão)
- Alteração desse mesmo launchfile para funcionar corretamente
- Gravação de um vídeo para mostrar na apresentação de amanhã
- Conclusão da preparação da apresentação
- Apresentações / LAR Meeting
- Início do desenvolvimento do nó de detecção de carros
- Experiências com LaserScans para deteção de carros
- Experiências com Imagem da camera para deteço de carros
- Primeira abordagem para deteção de carros
- Implementação do método de Optical Flow Lucas-Kanade nas imagens de camera
- Implementação de Template de Matching nas imagens da camera
- Tracking a ser feito a partir deste método
- Primeiro protótipo de tracking semi-automático
- ENEI
- Template matching guarda os templates adquiridos com uma label dada por input do utilizador
- Reunião com prof. Paulo e Vitor
- Ver MTT do Jorge Almeida
- Projetar os laserScans na imagem
- Escrever um ficheiro com uma estrutura de dados do género KITTI
- Implementação do template matching para as frames anteriores
- Otimização do algoritmo de template matching
- Substituição de arrays por queues
- Backtracking só é feito no ato de salvaguarda
- Impede que o video pare devido ao processamento destes dados no momento de aquisiço da bounding box
- Implementação de funcionalidade para remover o template / desistir do tracking
- Experiências com laserScans com a library MTT
- Reunião com prof. Paulo Dias
- Descoberta do ponto fulcral do problema do MTT: Conversão da pointCloud para Targets
- Início do desenvolvimento do nó de deteção de objetos nos laser scans usando MTT
- Resolvi um problema com este link. Já não me lembro ao certo qual era o problema mas era algo relacionado com pointclouds. Fica aí o link para se no futuro aparecer isso outra vez...
- Objetos a serem encontrados com MTT
- Os objetos são representados pela ligação dos vários pontos da pointcloud
- Cada objeto tem um ID (numérico) e este é detetado automaticamente
- O feito o tracking do objeto
- o ID não se perde na próxima mensagem, este é seguido à medida que o objeto se move
- Criação da estrutura de um protótipo do dataset
- Criação da estrutura de dados das bounding boxes para preencher o dataset
- Nó de labelling cria ficheiros de datasets
- Criação de um nó de "playback" usando os ficheiros datasets
- É apresentado um video do bag com as anotações do ficheiro dataset de input
- Reunião com prof. Paulo de Vítor
- Informação das Bounding boxes 3D deve estar nos datasets
- Projeção dos dados laser na imagem ainda está por fazer
- Avançar com o documento da tese
- Esqueleto do documento
- Secção da calibração com as melhorias e dados
- Secção a falar sobre MTT, Template Matching, ...
- Esqueleto do documento
- Datasets incluem agora a label do objeto e um ID
- Melhoria no playback do dataset
- Bounding boxes mudam cor consoante o label
- Aparece uma "tag" em cima da bouning box com a Label e o ID do objeto
- Bounding Box 3D a aparecer no Rviz
- Melhoria na filtragem do scanner
- Desenvolvimento de função para extrair limites da estrada
- Dataset suporta dados da posição 3D
- Bounding Box a partir de um clique
- Bounding Box na imagem reajusta o tamanho conforme a distancia obtida pelo MTT
- Desenvolvimento da introdução
- Desenvolvimento do state of art
- Desenvolvimento das especificaçes do hardware
- Proposta de Indice
- Bug encontrado no MTT: ao selecionar o objeto na imagem, o marker e os valores das posições ficam lentos (os valores não correspondem à realidade...)
- Início da fusão dos laser scans (já que este bug vai demorar algum tempo até o perceber/resolver)
- Fusão dos laser scans numa única pointcloud
- Transformação dos laserscans laterais para calibrar a pointcloud
- Integração dos laserScans com MTT
- Re-ajuste do algoritmo e tracking para a nova pointcloud
- Tamanho da bounding box fixed
- Avanço no Documento da Dissertação
- Mais detalhe no State of the art
- Parte da calibração com mais detalhe
- Capítulo de labelling deteção e tracking
- Mais detalhe na infraestrutura experimental
- Reunião com prof. Paulo e Vitor
- Marcador visual sobre o campo de visão da camera
- Filtragem do pointcloud a partir do clique na imagem
- A zona filtrada na pointcloud é a zona clicada na imagem
- Rosbag player incorporado no labeling node
- Problema: O player bloqueia o resto do programa
- Solução: Threading
- Problema: Aparece um erro "Timers cannot be started from another thread" que não soube resolver...
- Rosbag player node. Criação de um node para reproduzir um bag.
- Dá para pausar o bag e inclusive andar no bag passo a passo.
- Experiências com segmentação de cores para deteção da altura dos carros
- Experiências com manipulaço de brilho, contraste e redução de cores
- Resultados ainda não conclusivos
- Implementação das sugestões quando um objeto é detetado pelo MTT
- Deteção dos objetos é feita a partir do MTT e projetado na camera.
- Bounding box desenhada à volta do objeto detetado
- Melhoria da posição da bounding box das sugestões
- Reunião
- Começar a trabalhar na reprojeção da imagem
- Fazer uma anotação completa
- Arranjar métricas e mostrá-las numa tabela representativa
- Calibração intrínseca da camera para proceder projeção 3D na imagem
- Ínicio das experiências com cv::projectPoints
- Correção de alguns erros no documento da tese
- Introdução da pointcloud na imagem com cv::projectPoints
- Pontos nas aparecem onde deveriam... Parece ruído na imagem...
- Reunião
- Resolução dos exercicios de projeção que o prof. Paulo enviou
- Experiências numa frame do bag com base nos exercícios
- Projeção da pointcloud total na imagem
- Projeção da bounding box 3D na imagem
- Ajuste da posição da bounding box 3D
- Avanço na escrita do documento da tese
- Avanço na escrita do documento da tese