Status HTTP, robots.txt, meta tags
Pesquisa de códigos de status HTTP
Gerar arquivos robots.txt
Gerar meta tags HTML
Verificar cabeçalhos de resposta HTTP
Analisar strings de User Agent