Как загрузить весь сайт?

Попробуйте пример 10 из здесь :

wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL

• –mirror : включить параметры, подходящие для зеркалирования.

• -p : загрузить все файлы, необходимые для правильного отображения заданного HTML-страницу.

• --convert-links : после скачать, конвертировать ссылки в документ для локального просмотра.

• -P ./LOCAL-DIR : сохранить все файлы и каталоги до указанного каталог.

httrack - это инструмент, который вы ищете.

  

HTTrack позволяет загружать веб-сайт World Wide Web из Интернета в локальный каталог, рекурсивно создавая все каталоги, получая HTML, изображений и других файлов с сервера на компьютер. HTTrack упорядочивает относительную структуру ссылок исходного сайта.

С wget вы можете загрузить весь сайт, вы должны использовать -r для рекурсивной загрузки. Например,

wget -r http://www.google.com

WEBHTTACK WEBITE COPIER - удобный инструмент для загрузки всего веб-сайта на ваш жесткий диск для автономного просмотра. Запустите программный центр ubuntu и введите «копир веб-сайта» без кавычек в поле поиска. выберите и загрузите его из программного центра в вашу систему. запустите webHTTrack либо из laucher, либо из меню start, оттуда вы сможете начать пользоваться этим отличным инструментом для загрузки вашего сайта.

Я не знаю о субдоменах, т. е. подсайтах, но wget можно использовать для захвата полного сайта. Взгляните на этот вопрос суперпользователя . В нем говорится, что вы можете использовать -D domain1.com,domain2.com для загрузки разных доменов в одном скрипте. Я думаю, вы можете использовать эту опцию для загрузки поддоменов i.e -D site1.somesite.com,site2.somesite.com

Я использую Burp - инструмент паук гораздо более интеллектуальный, чем wget, и его можно настроить, чтобы избежать необходимости при необходимости. Burp Suite - это мощный набор инструментов для тестирования, но инструмент для пауков очень эффективен.

Если скорость вызывает беспокойство (а благополучия сервера нет), вы можете попробовать puf , который работает как wget , но можно загрузить несколько страниц параллельно. Это, однако, не готовый продукт, не поддерживаемый и ужасно недокументированный. Тем не менее, для загрузки веб-сайта с большим количеством мелких файлов это может быть хорошим вариантом.

Вы можете загрузить весь сайт с помощью этой команды:

wget -r -l 0 website

Пример:

    wget -r -l 0 http://google.com

 -r
       --recursive
           Turn on recursive retrieving.    The default maximum depth is 5.

-l depth
       --level=depth
           Specify recursion maximum depth level depth.

Смотрите этот учебник для более

Источники: man wget