14 – Avaliação com Utilizadores


1.    Objetivos

Realizar a avaliação com utilizadores

Apresentar a avaliação com utilizadores


2.    Preparação da Aula

Realizar testes com pelo menos 15 utilizadores usando o protótipo final:

-        seguir a metodologia lecionada na aula teórica

-        analisar os resultados usando testes estatísticos

Não se esqueçam de fazer e testar o guião dos testes antes de avançarem para os testes com utilizadores. É imprescindível realizar a análise estatística desta avaliação sumativa. Incluir médias, desvios padrão e intervalos de confiança ou outros testes estatísticos que considerem relevantes dados os vossos objetivos. Assim, devem preparar um documento de até cinco páginas, em que incluem o guião dos testes, uma caracterização dos utilizadores, e para cada funcionalidade uma descrição dos resultados obtidos, análise estatística suportada por gráficos dos mesmos e discussão sobre se os objetivos de usabilidade foram atingidos ou não (e porquê).

O documento deve portanto incluir o planeamento dos testes, apresentado na aula 13 (melhorado após feedback).

Enviar o documento para ipm.leic@gmail.com até às 23h59 de dois dias antes da aula (Ex. se a aula for na quarta-feira devem enviar até às 23h59 de segunda-feira):

-        o nome do ficheiro deve ser o número do grupo seguido de A ou T de acordo com o campus (Alameda ou Taguspark). Por exemplo, “14A.pptx”

-        o "subject" da mensagem deve ser: Aula 14 - Turno_Fenix - Grupo (ex: Aula 14 - IPM3L03 – 14A)

Imprimir e trazer o documento em papel para a aula, para facilitar a discussão


3.    Tarefas na Aula

Discussão da análise dos resultados da avaliação com utilizadores com o docente.


4.    Tarefas depois da Aula

Estudar para o exame!

 

5.    Critérios de Avaliação

 

Preparação

Ambiente e Material necessários para os testes adequados e controlados

 

Introdução

Apresentação

Objetivos

Pré-Questionário (caracterização dos utilizadores)

 

Metodologia

Como se recolhem as medidas?

Ordem das tarefas

 

Balanço

Questionário Final (se aplicável)

Comentários finais

Agradecimentos

 

Tarefa 1

O quê e não como (ver aula de AUT)

Específica (ver aula de AUT)

Adequada (algo que pode ser dito verbatim aos utilizadores)

Objetivos (pelo menos um para cada um de eficácia, eficiência e satisfação, incluindo métrica e critério)

 

Tarefa 2

O quê e não como (ver aula de AUT)

Específica (ver aula de AUT)

Adequada (algo que pode ser dito verbatim aos utilizadores)

Objetivos (pelo menos um para cada um de eficácia, eficiência e satisfação, incluindo métrica e critério)

 

Tarefa 3

O quê e não como (ver aula de AUT)

Específica (ver aula de AUT)

Adequada (algo que pode ser dito verbatim aos utilizadores)

Objetivos (pelo menos um para cada um de eficácia, eficiência e satisfação, incluindo métrica e critério)

 

Experiência

Descrição de como se realizou

Quantas pessoas?

Quem eram?

 

Análise dos Resultados

Apresenta resultados para Eficiência, Eficácia e Satisfação. Para cada um deles, apresenta estatísticas descritivas (média, desvio-padrão, etc.) e os testes estatísticos relevantes (intervalos de confiança, normalmente). Compara com os objetivos iniciais (foram atingidos ou não?)

 

Discussão Global

Discussão global dos resultados. Aresenta uma explicação dos valores/resultados encontrados? (pensem: se houvesse mais uma iteração de desenvolvimento, que conclusões/explicações seriam úteis para melhorar o protótipo?)