Как загрузить весь сайт?

71

Я хочу загрузить весь сайт (с субсайтами). Есть ли какой-нибудь инструмент для этого?

    
задан UAdapter 07.01.2011 в 15:19
источник

8 ответов

115

Попробуйте пример 10 из здесь :

wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
  • –mirror : включить параметры, подходящие для зеркалирования.

  • -p : загрузить все файлы, необходимые для правильного отображения заданного HTML-страницу.

  • --convert-links : после скачать, конвертировать ссылки в документ для локального просмотра.

  • -P ./LOCAL-DIR : сохранить все файлы и каталоги до указанного каталог.
ответ дан shellholic 07.01.2011 в 15:34
источник
33

httrack - это инструмент, который вы ищете.

  

HTTrack позволяет загружать веб-сайт World Wide Web из Интернета в локальный каталог, рекурсивно создавая все каталоги, получая HTML, изображений и других файлов с сервера на компьютер. HTTrack упорядочивает относительную структуру ссылок исходного сайта.

    
ответ дан Sid 07.01.2011 в 15:31
7

С wget вы можете загрузить весь сайт, вы должны использовать -r для рекурсивной загрузки. Например,

wget -r http://www.google.com
    
ответ дан Arthur Knopper 07.01.2011 в 15:44
5

WEBHTTACK WEBITE COPIER - удобный инструмент для загрузки всего веб-сайта на ваш жесткий диск для автономного просмотра. Запустите программный центр ubuntu и введите «копир веб-сайта» без кавычек в поле поиска. выберите и загрузите его из программного центра в вашу систему. запустите webHTTrack либо из laucher, либо из меню start, оттуда вы сможете начать пользоваться этим отличным инструментом для загрузки вашего сайта.

    
ответ дан frizeR 22.10.2012 в 03:30
3

Я не знаю о субдоменах, т. е. подсайтах, но wget можно использовать для захвата полного сайта. Взгляните на этот вопрос суперпользователя . В нем говорится, что вы можете использовать -D domain1.com,domain2.com для загрузки разных доменов в одном скрипте. Я думаю, вы можете использовать эту опцию для загрузки поддоменов i.e -D site1.somesite.com,site2.somesite.com

    
ответ дан binW 07.01.2011 в 15:31
1

Я использую Burp - инструмент паук гораздо более интеллектуальный, чем wget, и его можно настроить, чтобы избежать необходимости при необходимости. Burp Suite - это мощный набор инструментов для тестирования, но инструмент для пауков очень эффективен.

    
ответ дан Rory Alsop 07.01.2011 в 21:54
0

Если скорость вызывает беспокойство (а благополучия сервера нет), вы можете попробовать puf , который работает как wget , но можно загрузить несколько страниц параллельно. Это, однако, не готовый продукт, не поддерживаемый и ужасно недокументированный. Тем не менее, для загрузки веб-сайта с большим количеством мелких файлов это может быть хорошим вариантом.

    
ответ дан loevborg 07.01.2011 в 16:14
0

Вы можете загрузить весь сайт с помощью этой команды:

wget -r -l 0 website

Пример:

    wget -r -l 0 http://google.com

 -r
       --recursive
           Turn on recursive retrieving.    The default maximum depth is 5.

-l depth
       --level=depth
           Specify recursion maximum depth level depth.

Смотрите этот учебник для более

Источники: man wget

    
ответ дан Harish Kotikalapudi 18.06.2016 в 11:49