Dissertação

{en_GB=Video Based Live Tracking of Fishes in Tanks} {} EVALUATED

{pt=A aplicação de seguimento em vídeos tem sido uma área de interesse no domínio da video vigilância como, por exemplo, no seguimento de veículos e peões. Nesta tese exploramos os tópicos de seguimento e classificação no contexto da observação de vida animal marítima. Entre outras aplicações isto poderá a vir ajudar os biólogos ao automatizar o processo de recolha de dados. É feita uma revisão de trabalhos prévios neste contexto, discutindo as vantagens e desvantagens de cada abordagem tendo em conta as características do nosso problema. É proposto um sistema capaz de seguir e classificar peixes em tempo real. São usadas técnicas de subtração de fundo para detetar os peixes, seguidas de técnicas de associação de dados para acompanhar os movimentos destes ao longo do tempo. Para este efeito, propomos métodos capazes de lidar com algumas das desvantagens do seguimento por deteção, baseados num filtro de Kalman para prever as posições dos peixes e em filtros de partículas para a recuperação de peixes não detetados. As espécies dos peixes são identificadas através de algoritmos de classificação de imagens baseados em características apropriadas a cada ambiente. O desenvolvimento e testes do nosso sistema foram feitos com recurso a um conjunto de dados construido por nós em colaboração com o Oceanário de Lisboa. É medido e discutido o impacto dos métodos implementados para colmatar alguns dos defeitos do seguimento por deteção. O sistema proposto é capaz de seguir e classificar os peixes em tempo real com resultados satisfatórios em dois ambientes distintos., en=The application of video tracking has been a hot topic in surveillance and monitoring settings such as vehicle and pedestrian tracking in roadways. In this thesis we explore video tracking and classification in the context of real time marine wildlife observation. Among other applications it could help biologists by automating the process of gathering data, which in many cases is done manually. We review previous work done in this context, discussing the advantages and shortcomings of each approach considering the characteristics of our problem. A system to tackle the challenge of tracking and classifying fish in real time is proposed and implemented. We apply Background Subtraction techniques in order to detect the fish, followed by Feature Matching methods to track their movements over time. Here we implement methods that are able to deal with some of the shortcoming of tracking by detection, based on a Kalman Filter to predict fish positions and Particle Filtering to recover undetected fish. The species of each tracked fish is also identified through Image Classification methods, using different features appropriate to the different environments. We develop and test our system using a custom built dataset, recorded and labeled by us in collaboration with the Oceanário de Lisboa. The impact of the proposed improvements to the used tracking methods are quantified and discussed. The proposed system is able to track and classify fish in real time with satisfactory results in two distinct scenarios that provide different challenges.}
{pt=Deteção de Objetos, Seguimento por Vídeo, Classificação de Imagens, Tempo Real, Peixes, en=Object Detection, Video Tracking, Image Classification, Real Time, Fish}

Novembro 19, 2019, 13:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Helena Sofia Andrade Nunes Pereira Pinto

Departamento de Engenharia Informática (DEI)

Professor Auxiliar

ORIENTADOR

Alexandre José Malheiro Bernardino

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Associado