FenixEdu™

Dissertação

{en_GB=Visual Inertial Odometry with Event Cameras} {} EVALUATED

Detalhes: {pt=Câmaras de eventos são sensores de imagem inspirados pelo funcionamento da retina dos animais, reportando mudanças de brilho ao nível de cada pixel, denominados “eventos”, que são reportados de forma assíncrona, com um ritmo de amostragem variável e dependente da cena, com uma resolução temporal muito elevada. Com efeito, estas câmaras permitem contrastes claro/escuro elevados numa dada cena e não sofrem de motion blur (distorção causada por movimento). Trabalhos recentes mostram a viabilidade do uso deste tipo de câmaras no contexto de odometria visual-inercial, podendo mesmo ultrapassar o desempenho de câmaras convencionais, em particular em cenas com movimento elevado. Neste trabalho, propomos e analisamos o desempenho de câmaras de eventos no contexto da estimação de pose, tirando proveito de fotogramas, eventos, e uma Unidade de Medida Inercial (UMI/IMU). Mostramos que o nosso método proposto, usando um Unscented Kalman Filter com representação de estado baseado em grupos de Lie é comparável, e pode mesmo superar um sistema convencional equivalente. Tanto quanto é do nosso conhecimento, este é o primeiro trabalho propondo a fusão de informação visual e inercial usando câmaras de eventos usando um Unscented Kalman Filter, bem como o seguidor de Kanade-Lucas-Tomasi baseado em Eventos (EKLT) no contexto de estimação de pose. Para além da proposta inicial apresentada, propomos uma segunda abordagem, que melhora a primeira, onde a pose estimada atual é realimentada no seguidor e detetor de caracteríticas (features), desta forma ajudando o estimador. Esta ideia é inovadora no contexto de câmaras de eventos., en=Event cameras are image sensors inspired by animal’s retina, reporting pixel-wise changes in brightness independently, called “events”, which are streamed asynchronously, and at a varied refresh rate, with very high temporal resolution. Furthermore, these cameras allow for high contrasts within a scene (high dynamic range) and do not suffer motion blur. Recent works have shown the viability of these cameras in providing visual-inertial odometry information, that may even outperform conventional cameras in high-movement scenes. In this work, we propose and analyse the performance of event cameras in the context of pose estimation, by leveraging frames, events and Inertial Measurement Unit (IMU) information. We show that our proposed method using an Unscented Kalman Filter with Lie group embedding for state representation is comparable to, and can even outperform, an equivalent conventional approach to pose estimation. To the best of our knowledge, this is the first work proposing the fusion of visual with inertial information using events cameras by means of an Unscented Kalman Filter, as well as the use of the Event-based Kanade-Lucas-Tomasi tracker (EKLT) in the context of pose estimation. Furthermore, we propose a second approach, as an improvement to the previous method, where the current estimate of the state is fed back into the feature extractor in order to better track the features, which in turn helps with the pose estimation. Though the idea is not novel, its use in the context of pose estimation with event cameras, to the best of our knowledge, is. }
Keywords: {pt=Câmaras de eventos, Estimação de Pose, SLAM, Odometria Visual e Inercial (VIO), Unscented Kalman Filter (UKF), Grupos de Lie, en=Event cameras, Pose estimation, SLAM, Visual Inertial Odometry (VIO), Unscented Kalman Filter (UKF), Lie groups}

Discussão: setembro 21, 2021, 13:0