Загрузка файлов из списка

Навигация по ответам
111

Как загрузить файлы (которые перечислены в текстовом файле), используя wget или какой-либо другой автоматический способ?

Пример списка файлов: 

www.example.com/1.pdf
www.example.com/2.pdf
www.example.com/3.pdf
    
задан Sourav 12.02.2012 в 16:39
источник

7 ответов

194

wget имеет встроенный флаг для этого: wget -i your_list Вы можете найти это, прочитав man wget

    
ответ дан aureianimus 12.02.2012 в 16:56
источник
81

Получить их параллельно с 

cat urlfile | parallel --gnu "wget {}"

По умолчанию в нем будет запущено столько процессов, сколько у вас есть ядер, возможно, вы можете развернуть его еще на 10 раз, если вы действительно хотите быстро их вывести, добавив после этого «-j 20».

    
ответ дан meawoppl 17.10.2013 в 15:57
источник
9
xargs -i wget 'http://{}'  < your_list
    
ответ дан Florian Diesch 12.02.2012 в 16:53
источник
7

parallel имеет встроенный флаг --arg-file ( -a ), который будет использовать входной файл в качестве источника, поэтому вы можете избежать cat | . Вы можете использовать 

parallel --gnu -a urlfile wget

Или просто parallel --gnu wget < urlfile

    
ответ дан yxogenium 18.06.2016 в 12:01
источник
5
awk '{print "http://" $0;}' list.txt | xargs -l1 wget

, где list.txt - это ваш файл списка

    
ответ дан flo 12.02.2012 в 16:51
источник
4

Я увидел ответ Флориана Дьеша.

Я получил его для работы, включив в команду параметр bqc . 

xargs -i wget -bqc 'http://{}' < download.txt

Все загрузки запускаются параллельно в фоновом режиме.

  • -b : Фон. Перейдите на задний план сразу после запуска.
  • -q : Тихо. Выключить вывод wget
  • -c : Продолжить. Продолжить получение частично загруженного файла
ответ дан streetlife 04.05.2015 в 16:56
источник
1

Ссылка на файл links.txt

Команда для загрузки всех файлов ссылок вниз 

    cat links.txt | wget -i
    
ответ дан DreamCoder 19.05.2015 в 02:54
источник

Ознакомьтесь с другими вопросами по меткам

Как сделать выделенную вкладку в терминале более заметной Как включить репозиторий «Вселенная»?