HTTP स्टेटस, robots.txt, मेटा टैग
Recherche de codes d’état HTTP
Générer des fichiers robots.txt
Générer des meta tags HTML
Vérifier les en-têtes de réponse HTTP
Analyser les chaînes User Agent