Evaluation of The Cost of Alternate Mutation Strategies

Resumo

Entre as várias estratégias de teste existentes, “mutation testing” (teste por mutação) tem sido empiricamente demonstrado ser o mais efetivo em detectar falhas. Entretanto, “mutation testing” frequentemente impõe uma demanda inaceitável nos recursos computacionais e humanos, devido ao grande número de mutantes que necessitam ser compilados e executados em um ou mais casos de teste. Além disso, à pessoa responsável pelo teste precisa examinar vários mutantes e analisá-los em relação a uma possível equivalência com o programa sendo testado. Por estas razões, “mutation testing” é em geral considerado por engenheiros de teste como dispendioso demais para ser usado. Como um componente significativo do custo do “mutation testing” é a execução dos mutantes nos diversos casos de teste, nós acreditamos que o custo pode ser dramaticamente reduzido diminuindo-se o número de casos de teste que precisam ser examinados. Nós reportamos os resultados de um caso de teste projetado para investigar duas alternativas para a redução do custo de “mutation testing”. As alternativas consideradas são: (1) 2% das mutações selecionadas aleatoriamente e (2) mutação restrita. Apresentamos dados experimentais indicando que ambas alternativas resultam em conjuntos de teste que distinguem um número significativo de todos mutantes e fornecem alta cobertura para “todos os usos” (“all-uses”).