FenixEdu™

Dissertação

{en_GB=VINBOT: robot vision and learning from vineyards} {} EVALUATED

Detalhes: {pt=O objectivo principal deste trabalho é de estimar o peso total das uvas após a vindima, com base numa segmentação autónoma de cachos em imagens. Primeiramente, o problema da segmentação é abordado pelo uso de uma FCN, treinada com dados da vinha do ISA, que por sua vez foram multiplicados com desdobramento de dados. A FCN foi testada e a função de custo ajustada de forma a que representasse o desequilíbrio que existe entre classes. Esta mudança é complementada com pré e pós-processamento que melhoram o resultado da métrica, o IOU, que avalia quão bem a segmentação efectuada se sobrepõe à realidade. O pré-processamento é composto por uma janela deslizante sobre a imagem e uma mudança de espaço de cor que melhorou a métrica para 62% no conjunto de teste. No pós-processamento, a operaçao morfológica "open" é usada e a imagem é reconstruída, com o objectivo de remover falsos positivos. O resultado atingido é de 64%. A segunda parte de testes é sobre a estimativa de peso. São usados dois modelos, um que estima a percentagem de cachos escondidos numa imagem, através da porosidade da vinha, outro que transforma área em peso. São usados quatro cenários diferentes, duas castas, arinto e encruzado, em duas fases, pintor e fim de maturação. Os resultados da fase pintor atingem o objectivo de menos de 10% de erro relativo ao real. Embora o processo precise de melhorias nalguns aspectos de forma a aumentar a robustez de todo o sistema, este conseguiu resultados satisfatórios. , en=The goal of this work is to estimate a vineyard's yield based on the visible area of grape bunches resulting from an autonomous segmentation in a set of images. Firstly, the problem of autonomous segmentation is tackled by the use of a FCN, trained with data from the ISA vineyard with data augmentation, operation which increases the number of images. The FCN is tested and its loss function adjusted to compensate the imbalance present in the data set. This is complemented by pre and post-processing operations that improve the segmentation's score, the IOU. This metric evaluates how well the segmentation overlaps the ground truth. The pre-processing is composed by a sliding window and a colour space change that increased the test set score to 62%. As for the post-processing, the morphological operation "open" is used and the image rebuilt removing false positives. The combination of these efforts result in a score of 64%. In the second part of testing, the yield is estimated with the use of two models, one that predicts the percentage of grape bunches hidden in the image according to the porosity of the vine, and another that transforms the total area of bunches into volume. Four different cases are presented, two varieties, encruzado and arinto in two stages, harvest and veraison. The veraison results achieve the desired score of an error less than 10% for both varieties. Although some aspects of the process need improvement, the results }
Keywords: {pt=Visão computacional, Viticultura de precisão, Estimativa de peso, Aprendizagem automática, en=Computer vision, Precision Viticulture, Yield estimation, Machine learning}

Discussão: outubro 30, 2020, 13:0