HTTP 상태, robots.txt, 메타 태그
HTTP 상태 코드 조회
robots.txt 파일 생성
HTML 메타 태그 생성
HTTP 응답 헤더 확인
사용자 에이전트 문자열 파싱 및 분석