Estado HTTP, robots.txt, meta tags
Búsqueda de códigos de estado HTTP
Generar archivos robots.txt
Generar meta tags HTML
Verificar encabezados de respuesta HTTP
Analizar cadenas User Agent