Этот инструмент выполняет следующее:
- Делает HTTP запрос к указанной вами странице сайта.
- Указав произвольный IP сервера вы можете обратиться к серверу отличному от того который указан в ДНС
- Получает ответ вебсервера
- Проверяет корректность HTML тэгов на странице. Проверяется, что бы теги требующие закрывающего тега его имели и не нарушалась структура вложенности тегов.
- Находит на странице все ссылки созданные HTML тэгом <A></A>
- Выводит на экран список найденных ссылок и для каждой показывает не закрыта ли она от индексирования. Проверяется следующие способы закрытия:
- Тегом <noindex></noindex>
- Параметром <A rel="nofollow"></A>
- Тэгом <META NAME="ROBOTS" CONTENT="NOINDEX">