Я хочу загрузить весь сайт (с субсайтами). Есть ли какой-нибудь инструмент для этого?
Я хочу загрузить весь сайт (с субсайтами). Есть ли какой-нибудь инструмент для этого?
Попробуйте пример 10 из здесь :
wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
–mirror
: включить параметры, подходящие
для зеркалирования.
-p
: загрузить все файлы, необходимые для правильного отображения заданного
HTML-страницу. Р>
--convert-links
: после
скачать, конвертировать ссылки в
документ для локального просмотра.
-P ./LOCAL-DIR
: сохранить все файлы и каталоги до указанного
каталог. С wget
вы можете загрузить весь сайт, вы должны использовать -r
для рекурсивной загрузки. Например,
wget -r http://www.google.com
WEBHTTACK WEBITE COPIER - удобный инструмент для загрузки всего веб-сайта на ваш жесткий диск для автономного просмотра. Запустите программный центр ubuntu и введите «копир веб-сайта» без кавычек в поле поиска. выберите и загрузите его из программного центра в вашу систему. запустите webHTTrack либо из laucher, либо из меню start, оттуда вы сможете начать пользоваться этим отличным инструментом для загрузки вашего сайта.
Я не знаю о субдоменах, т. е. подсайтах, но wget можно использовать для захвата полного сайта. Взгляните на этот вопрос суперпользователя .
В нем говорится, что вы можете использовать -D domain1.com,domain2.com
для загрузки разных доменов в одном скрипте. Я думаю, вы можете использовать эту опцию для загрузки поддоменов i.e -D site1.somesite.com,site2.somesite.com
Я использую Burp - инструмент паук гораздо более интеллектуальный, чем wget, и его можно настроить, чтобы избежать необходимости при необходимости. Burp Suite - это мощный набор инструментов для тестирования, но инструмент для пауков очень эффективен.
Если скорость вызывает беспокойство (а благополучия сервера нет), вы можете попробовать puf , который работает как wget , но можно загрузить несколько страниц параллельно. Это, однако, не готовый продукт, не поддерживаемый и ужасно недокументированный. Тем не менее, для загрузки веб-сайта с большим количеством мелких файлов это может быть хорошим вариантом.
Вы можете загрузить весь сайт с помощью этой команды:
wget -r -l 0 website
Пример:
wget -r -l 0 http://google.com
-r
--recursive
Turn on recursive retrieving. The default maximum depth is 5.
-l depth
--level=depth
Specify recursion maximum depth level depth.
Смотрите этот учебник для более
Источники: man wget