Dissertação

From Mockup to UI EVALUATED

O processo de desenvolvimento uma interface de utilizador tende a consumir muito tempo, pois normalmente depende do trabalho sequencial de várias pessoas, sofrendo inúmeras iterações até uma versão final ser obtida. Por norma, o primeiro passo corresponde a algo como um rascunho num quadro branco. Possuir uma ferramenta que, automaticamente, durante a geração de ideias, consiga converter esse mesmo rascunho no respectivo código da interface, levaria a um grande incremento na rapidez de todo o processo. Permitiria iterar diferentes interfaces de utilizador mais rapidamente e, consequentemente, levar a uma experimentação mais ágil dos protótipos, aumentando assim a produtividade da equipa. As soluções atuais para este problema tendem a depender de desenhos digitais, em vez de desenhos à mão livre. No entanto, a natureza abstrata dos desenhos de interfaces e a sua diversidade, sugere a utilização de técnicas de aprendizagem automática para resolver este problema. A nossa abordagem consistiu em dividir a tarefa em duas partes: primeiro detetar a posição e classe de cada elemento no desenho usando uma rede neuronal profunda; seguida da passagem dessa informação a um programa de geração de código. O modelo com melhores resultados atinge resultados de 87%, em termos de mAP (mean average precision). Este trabalho serve principalmente como um ponto de partida para a construção de uma arquitectura que consiga interpretar e inferir corretamente desenhos feitos por humanos para gerar o respectivo código, com o objectivo final de tornar a fase de prototipagem de uma interface de utilizador muito mais ágil e eficiente.
Desenho à mão livre de uma interface, Análise de imagem, Geração de código, Aprendizagem profunda

Novembro 12, 2019, 14:0

Documentos da dissertação ainda não disponíveis publicamente

Orientação

ORIENTADOR

Mário Alexandre Teles de Figueiredo

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Catedrático