Как загрузить файлы (которые перечислены в текстовом файле), используя wget или какой-либо другой автоматический способ?
Пример списка файлов:
www.example.com/1.pdf
www.example.com/2.pdf
www.example.com/3.pdf
Как загрузить файлы (которые перечислены в текстовом файле), используя wget или какой-либо другой автоматический способ?
Пример списка файлов:
www.example.com/1.pdf
www.example.com/2.pdf
www.example.com/3.pdf
wget имеет встроенный флаг для этого: wget -i your_list
Вы можете найти это, прочитав man wget
Получить их параллельно с
cat urlfile | parallel --gnu "wget {}"
По умолчанию в нем будет запущено столько процессов, сколько у вас есть ядер, возможно, вы можете развернуть его еще на 10 раз, если вы действительно хотите быстро их вывести, добавив после этого «-j 20».
xargs -i wget 'http://{}' < your_list
parallel имеет встроенный флаг --arg-file ( -a ), который будет использовать входной файл в качестве источника, поэтому вы можете избежать cat | . Вы можете использовать
parallel --gnu -a urlfile wget
Или просто parallel --gnu wget < urlfile
awk '{print "http://" $0;}' list.txt | xargs -l1 wget
, где list.txt - это ваш файл списка
Я увидел ответ Флориана Дьеша.
Я получил его для работы, включив в команду параметр bqc .
xargs -i wget -bqc 'http://{}' < download.txt
Все загрузки запускаются параллельно в фоновом режиме.
-b : Фон. Перейдите на задний план сразу после запуска. -q : Тихо. Выключить вывод wget -c : Продолжить. Продолжить получение частично загруженного файла Ссылка на файл links.txt
Команда для загрузки всех файлов ссылок вниз
cat links.txt | wget -i