Список страниц сайта

Использование

Обычно, для получения всех страниц сайта достаточно просто ввести любую его страницу в поле "Сайт" и нажать на кнопку "Получить страницы сайта".

Если по каким-то причинам не удалось получить страницы, то прочитайте следующий раздел.

Как работает сервис

В большинстве случаев, у каждого сайта есть файл, в котором перечислены все его внутрненние ссылки и называется Sitemap. Как правило, он находится по адресу [сайт]/sitemap.xml (напр.: vivazzi.pro/sitemap.xml). По этому файлу данный сервис извлекает все внутренние ссылки сайта.

Также сервис учитывает сайты с большим количеством страниц, которые имеют несколько sitemap в одном главном sitemap. Иногда дочерние файлы sitemap в главном Sitemap-файле имеют расширение, отличное от .xml (например, .zip для архивации файлов). В этом случае сервис проигнорирует данные файлы и выдаст соответствующее сообщение.

Путь до файла sitemap обычно указывают в файле [сайт]/robots.txt в разделе Sitemap, например vivazzi.pro/robots.txt:

User-agent: * 
Host: https://vivazzi.pro 
Sitemap: https://vivazzi.pro/sitemap.xml

В редких случаях, разработчики сайта могут использовать другое месторасположение файла Sitemap. В этом случае сервис попытается найти файл, указанный в robots.txt. Если robots.txt у сайта не доступен или sitemap-файл, указанный в robots.txt, не существует, то сервис не сможет выдать страницы сайта, так как сервис не осуществляет автоматический обход страниц по ссылкам сайта, как это делают поисковые системы (Google, Yandex и т. д.) или программы-пауки (majento, xenu и т. д.).

Если вы не получили страницы сайта, то попробуйте использовать различные программы-пауки, но, возможно, обычному пользователю будет трудно разобраться.

Ещё есть способ получить все ссылки сайта через поисковую систему Google или Yandex, вписав в адресную строку запрос:

site:[сайт]

Например: site:vivazzi.pro (Более подробно ознакомится с командой site: вы можете на странице Исключить поддомены командой site: в google)

Но этот способ имеет недостаток: показываются только те страницы, которые вошли в поиск, а остальные страницы будут проигнорированы, если они не вошли в поиск (не проиндексировались) по каким-то причинам.

Также вы можете найти все ссылки на странице, используя различные сервисы. Например: pr-cy.ru/link_extractor - покажет внутренние и внешние ссылки на странице. Данный сервис будет мало полезен, если вы хотите получить все ссылки сайта, так как link_extractor не осуществляет обход по всем ссылкам сайта.

Автор сервиса: Мальцев Артём