HTTPステータス、robots.txt、メタタグ
HTTPステータスコード検索
robots.txtファイルを生成
HTMLメタタグを生成
HTTPレスポンスヘッダーを確認
ユーザーエージェント文字列を解析