Как получить URL-адрес из файла с помощью сценария оболочки

10

У меня есть файл, который состоит из URL . Я пытаюсь получить URL из этого файла с помощью сценария оболочки.

В файле URL-адрес выглядит следующим образом:

('URL', 'http://url.com');

Я попытался использовать следующее:

cat file.php | grep 'URL' | awk '{ print  }'

Он выводит как:

'http://url.com');

Но мне нужно получить только url.com в переменной внутри скрипта оболочки. Как я могу это сделать?

    
задан Tarun 17.02.2014 в 14:54
источник

7 ответов

10

Что-то вроде этого?

grep 'URL' file.php | rev | cut -d "'" -f 2 | rev

или

grep 'URL' file.php | cut -d "'" -f 4 | sed s/'http:\/\/'/''/g

Чтобы удалить http: //.

    
ответ дан Frantique 17.02.2014 в 14:58
источник
14

Вы можете сделать все с помощью простого grep :

grep -oP "http://\K[^']+" file.php 

От man grep :

   -P, --perl-regexp
          Interpret  PATTERN  as  a  Perl  regular  expression  (PCRE, see
          below).  This is highly experimental and grep  -P  may  warn  of
          unimplemented features.
   -o, --only-matching
          Print  only  the  matched  (non-empty) parts of a matching line,
          with each such part on a separate output line.

Хитрость заключается в использовании \K , которое в Perl regex означает discard everything matched to the left of the \K . Таким образом, регулярное выражение ищет строки, начинающиеся с http:// (которые затем отбрасываются из-за \K ), за которыми следует как можно больше символов ' . В сочетании с -o это означает, что будет напечатан только URL-адрес.

Вы также можете сделать это прямо в Perl:

perl -ne "print if s/.*http:\/\/(.+)\'.*/$1/" file.php\
    
ответ дан terdon 17.02.2014 в 17:35
5

Попробуйте это,

awk -F// '{print }' file.php | cut -d "'" -f 1
    
ответ дан souravc 17.02.2014 в 15:02
4

Повторяя это снова и пытаясь использовать ничего, кроме оболочки Bash, другое однострочное решение:

while read url; do url="${url##*/}" && echo "${url%%\'*}"; done < file.in > file.out

Где file.in содержит «грязный» список URL-адресов, а файл file.out будет содержать «чистый» список URL-адресов. Внешних зависимостей нет, и нет необходимости создавать новые процессы или подоболочки. Далее следует оригинальное объяснение и более гибкий сценарий. Существует хорошее резюме метода здесь , см. Пример 10-10. Это подстановка параметров на основе шаблонов в Bash.

Расширение идеи:

src="define('URL', 'http://url.com');"
src="${src##*/}"        # remove the longest string before and including /
echo "${src%%\'*}"      # remove the longest string after and including '

Результат:

url.com

Не нужно вызывать внешние программы. Кроме того, следующий сценарий bash, get_urls.sh , позволяет вам читать файл напрямую или из stdin:

#!/usr/bin/env bash

# usage: 
#     ./get_urls.sh 'file.in'
#     grep 'URL' 'file.in' | ./get_urls.sh

# assumptions: 
#     there is not more than one url per line of text.
#     the url of interest is a simple one.

# begin get_urls.sh

# get_url 'string'
function get_url(){
  local src=""
  src="${src##*/}"        # remove the longest string before and including /
  echo "${src%%\'*}"      # remove the longest string after and including '
}

# read each line.
while read line
do
  echo "$(get_url "$line")"
done < "${1:-/proc/${$}/fd/0}"

# end get_urls.sh
    
ответ дан AsymLabs 17.02.2014 в 22:30
3

Если все строки содержат URL-адрес:

awk -F"'|http://" '{print }' file.php 

Если только некоторые строки содержат URL-адрес:

awk -F"'|http://" '/^define/ {print }' file.php 

В зависимости от других строк вам может потребоваться изменить ^define regex

    
ответ дан Florian Diesch 17.02.2014 в 15:12
0

Простой:

php -r 'include("file.php"); echo URL;'

, и если вам нужно удалить «http: //», то:

php -r 'include("file.php"); echo URL;' | sed 's!^http://\(.*\)!!'

Итак:

myURL=$(php -r 'include("file.php"); echo URL;' | sed 's!^http://\(.*\)!!')

Если вам нужна определенная часть URL-адреса, которую вам нужно уточнить в вашей терминологии, URL-адрес all следующих, а иногда и больше:

URL := protocol://FQDN[/path][?arguments]

FQDN := [hostname.]domain.tld
    
ответ дан Sammitch 17.02.2014 в 21:19
0

для меня, другие grep ответят на заданную информацию о возвращаемой строке после ссылки.

Это помогло мне только вытащить url :

egrep -o "(http(s)?://){1}[^'\"]+"
    
ответ дан user509619 21.02.2016 в 16:31