Веб-паук для Ubuntu

11

Я ищу веб-паук для Ubuntu, как этот Webripper - Calluna Software . Вы можете загрузить весь сайт, как вы можете, с помощью

wget -r -m example.com

, но функция, которую я ищу, вы можете ввести поисковый запрос, такой как «Linux», и он ищет в Интернете и загружает их. Существуют ли какие-либо программы на Ubuntu?

    
задан zeitue 23.12.2011 в 07:24
источник

4 ответа

4

Вы можете использовать Google Alerts для создания своего рода страницы поиска, доставленной в фид, а затем использовать RSS-ридер или Thunderbird для их чтения.

Я использую Thunderbird для RSS. Я не знаю, есть ли какие-либо читатели RSS, которые могли бы экспортировать фид в простой html.

    
ответ дан To Do 23.12.2011 в 10:39
источник
9

Дайте httrack (CLI) или webhttrack (веб-интерфейс) выстрел, он находится в репо. Я не уверен, что вы описываете функцию поиска, но она предлагает множество легко настраиваемых параметров.

Ссылка

HTTrack Website Copier - бесплатное программное обеспечение Offline Browser (GNU GPL)

    
ответ дан bkzland 23.12.2011 в 10:14
3

Вы можете дать ссылку попробовать.

Вот некоторые функции, размещенные на веб-сайте:

Free Software (GPL 3)
Generic (works with almost every website)
Runs on GNU/Linux and Windows
Nearly undetectable / blockable by servers
Built with python and pygtk

Снимок экрана

Наблюдайте за учебником от разработчика httpripper:

Ссылка для скачивания:

Он работал для меня под Ubuntu 11.10 x64

    
ответ дан blade19899 29.02.2012 в 14:01
-1

В CPAN Perl имеются соответствующие модули. Вам просто нужно немного скриптов perl.

В частности, посмотрите модуль WWW: Механизм на WWW: Механизировать модуль .     

ответ дан chris 08.01.2012 в 01:16