0006/2011 - Threats to Validity in Search-based Software Engineering Empirical Studies

Abstract

O uso de experimentos para avaliar e comparar algoritmos tem sido uma tendência recente na área de computação. O mesmo pode ser dito para a área de engenharia de software, onde os principais estudos experimentais nesta área foram publicados, normalmente, a menos de vinte anos. Experimentos em search-based software engineering (SBSE), ou engenharia de software baseada em buscas, compartilham as limitações provenientes da imaturidade de ambas suas áreas de origem (engenharia de software e otimização combinatória). Uma dessas limitações está relacionada à carência de uma lista de ameaças à validade que podem afetar experimentos em SBSE. Neste trabalho, é proposta uma lista de ameaças à validade para experimentos em SBSE baseada em um framework proposto na área de Engenharia de Software Experimental (ESE). Ainda é apresentada uma abordagem sistemática para avaliar quão abrangentes um artigo científico é em relação à descrição de tais ameaças. Ao aplicar esta abordagem a artigos científicos publicados nas duas primeiras edições do International Symposium on Search-Based Software Engineering (SSBSE), percebeu-se que as principais limitações do projeto experimental dos experimentos descritos nesses artigos estão relacionadas à descrição de ameaças à validade internas, externas e de constructo, enquanto que ameaças à validade de conclusão são mais bem abordadas por estes artigos.