Как подсчитать вхождения каждого символа?

10

Например, у меня есть файл 1.txt , который содержит:

Moscow
Astana
Tokyo
Ottawa

Я хочу подсчитать количество всех символов как:

a - 4,
b - 0,
c - 1,
...
z - 0
    
задан Set-xx 06.03.2015 в 07:56
источник

11 ответов

16

Вы можете использовать это:

sed 's/\(.\)/\n/g' 1.txt | sort | uniq -ic
  4  
  5 a
  1 c
  1 k
  1 M
  1 n
  5 o
  2 s
  4 t
  2 w
  1 y

Часть sed помещает новую строку после каждого символа. Затем мы sort выходим в алфавитном порядке. И наконец, uniq подсчитывает количество вхождений. Флаг -i uniq может быть пропущен, если вы не хотите, чтобы нечувствительность к регистру.

    
ответ дан chaos 06.03.2015 в 08:22
источник
5

Немного поздно, но для завершения набора, другого подхода на основе python (3), отсортированного результата:

#!/usr/bin/env python3
import sys

chars = open(sys.argv[1]).read().strip().replace("\n", "")
[print(c+" -", chars.count(c)) for c in sorted(set([c for c in chars]))]

A - 1
M - 1
O - 1
T - 1
a - 4
c - 1
k - 1
n - 1
o - 4
s - 2
t - 3
w - 2
y - 1

Объяснение

  1. Прочитайте файл, пропустите пробелы и вернитесь как «символы»:

    chars = open(sys.argv[1]).read().strip().replace("\n", "")
    
  2. Создайте (отсортированный) набор уникалей:

    sorted(set([c for c in chars]))
    
  3. Подсчитать и распечатать запись для каждого из символов:

    print(c+" -", chars.count(c)) for c in <uniques>
    

Как использовать

  1. Вставьте код в пустой файл, сохраните его как chars_count.py
  2. Запустите его с файлом в качестве аргумента либо:

    /path/to/chars_count.py </path/to/file>
    

    , если скрипт выполним, или:

    python3 /path/to/chars_count.py </path/to/file>
    

    , если это не

ответ дан Jacob Vlijm 06.03.2015 в 15:20
5

По умолчанию в awk F ield S eparator (FS) - это пробел или вкладка . Поскольку мы хотим подсчитать каждый символ, нам нужно будет переопределить FS ни к чему ( FS="" ), чтобы разделить каждый символ в отдельной строке и сохранить его в массив, а в конце внутри END{..} , напечатать их общее количество следующий awk команда:

$ awk '{for (i=1;i<=NF;i++) a[$i]++} END{for (c in a) print c,a[c]}' FS="" file
A 1
M 1
O 1
T 1
a 4
c 1
k 1
n 1
o 4
s 2
t 3
w 2
y 1

В блоке {for (i=1;i<=NF;i++) a[$i]++} ... FS="" ... мы просто разбиваем символы. И
в блоке END{for (c in a) print c,a[c]} мы перебираем массив a и печатаем сохраненный символ в нем print c и его количество вхождений a[c]

    
ответ дан sddgob 06.03.2015 в 16:17
3

Сделайте цикл for для всех символов, которые вы хотите подсчитать, и используйте grep -io , чтобы получить все вхождения символа и игнорировать регистр, и wc -l для подсчета экземпляров и распечатать результат.

Вот так:

#!/bin/bash

filename="1.txt"

for char in {a..z}
do
    echo "${char} - 'grep -io "${char}" ${filename} | wc -l',"
done

Сценарий выводит это:

a - 5,
b - 0,
c - 1,
d - 0,
e - 0,
f - 0,
g - 0,
h - 0,
i - 0,
j - 0,
k - 1,
l - 0,
m - 1,
n - 1,
o - 5,
p - 0,
q - 0,
r - 0,
s - 2,
t - 4,
u - 0,
v - 0,
w - 2,
x - 0,
y - 1,
z - 0,

ИЗМЕНИТЬ после комментария

Чтобы создать цикл для всех печатных символов, вы можете сделать это:

#!/bin/bash

filename="a.txt"

for num in {32..126}
do
   char='printf "\x$(printf %x ${num})"'
   echo "${char} - 'grep -Fo "${char}" ${filename} | wc -l',"
done

Это будет считать все символы ANSI от 32 до 126 - это наиболее часто читаемые. Обратите внимание, что это не использует случай игнорирования.

вывод из этого будет:

- 0,
! - 0,
" - 0,
# - 0,
$ - 0,
% - 0,
& - 0,
' - 0,
( - 0,
) - 0,
* - 0,
+ - 0,
, - 0,
- - 0,
. - 0,
/ - 0,
0 - 0,
1 - 0,
2 - 0,
3 - 0,
4 - 0,
5 - 0,
6 - 0,
7 - 0,
8 - 0,
9 - 0,
: - 0,
; - 0,
< - 0,
= - 0,
> - 0,
? - 0,
@ - 0,
A - 1,
B - 0,
C - 0,
D - 0,
E - 0,
F - 0,
G - 0,
H - 0,
I - 0,
J - 0,
K - 0,
L - 0,
M - 1,
N - 0,
O - 1,
P - 0,
Q - 0,
R - 0,
S - 0,
T - 1,
U - 0,
V - 0,
W - 0,
X - 0,
Y - 0,
Z - 0,
[ - 0,
\ - 0,
] - 0,
^ - 0,
_ - 0,
' - 0,
a - 4,
b - 0,
c - 1,
d - 0,
e - 0,
f - 0,
g - 0,
h - 0,
i - 0,
j - 0,
k - 1,
l - 0,
m - 0,
n - 1,
o - 4,
p - 0,
q - 0,
r - 0,
s - 2,
t - 3,
u - 0,
v - 0,
w - 2,
x - 0,
y - 1,
z - 0,
{ - 0,
| - 0,
} - 0,
~ - 0,
    
ответ дан stalet 06.03.2015 в 08:18
3

Здесь другое решение (в awk) ...

awk '
        { for (indx=length($0); indx >= 1; --indx)
                ++chars[tolower(substr($0, indx, 1))]
        }
END     { for (c in chars) print c, chars[c]; }
' 1.txt | sort
  • Он создает ассоциативный массив с каждым символом в качестве значения индекса, а счетчик - как значение массива.
  • Действие END печатает массив.
ответ дан Howard H 06.03.2015 в 16:19
2

Следующий perl oneliner будет выполнять подсчет. Я поместил регулярное выражение в контекст списка (чтобы получить количество совпадений) и поместил его в скалярный контекст:

$ perl -e '$a=join("",<>);for("a".."z"){$d=()=$a=~/$_/gi;print"$_ - $d,\n"}' 1.txt
a - 5,
b - 0,
c - 1,
d - 0,
e - 0,
f - 0,
g - 0,
h - 0,
i - 0,
j - 0,
k - 1,
l - 0,
m - 1,
n - 1,
o - 5,
p - 0,
q - 0,
r - 0,
s - 2,
t - 4,
u - 0,
v - 0,
w - 2,
x - 0,
y - 1,
z - 0,
    
ответ дан Sylvain Pineau 06.03.2015 в 08:50
2

Вот решение, использующее Python:

#!/usr/bin/env python2
import collections, string
with open('1.txt') as f:
    input_string = f.read().replace('\n', '').lower()
    count_dict = collections.Counter(input_string)
    for char in string.lowercase:
        print char + ' - ' + str(count_dict[char]) + ','

Здесь мы использовали класс collections модуля Counter для подсчета количества вхождений каждого символа, а затем для целей печати мы использовали модуль string , чтобы получить все строчные буквы переменной string.lowercase .

Сохраните приведенный выше сценарий в файле, указав ему любое имя, которое вы хотите, например. count.py. Теперь из того же каталога, в котором сохранен файл, вы можете просто запустить python count.py для выполнения файла, из любого другого каталога используйте абсолютный путь к файлу для его выполнения, т. Е. python /absolute/path/to/count.py .

    
ответ дан heemayl 06.03.2015 в 08:31
1

Некоторое время назад я написал программу на C, потому что мне нужно было посмотреть файлы large и создать некоторую статистику.

#include <stdlib.h>
#include <stdint.h>
#include <stdio.h>
#include <ctype.h>
#include <limits.h>
#include <math.h>
#include <sysexits.h>


inline static double square(double x)
{
    return x * x;
}


int main()
{
    static const unsigned distribution_size = 1 << CHAR_BIT;

    int rv = EX_OK;
    uintmax_t *distribution = calloc(distribution_size, sizeof(*distribution));

    {
        int c;
        while ((c = getchar()) != EOF)
            distribution[c]++;

        if (ferror(stdin)) {
            perror("I/O error on standard input");
            rv = EX_IOERR;
        }
    }

    uintmax_t sum = 0;
    for (unsigned i = 0; i != distribution_size; i++)
        sum += distribution[i];
    double avg = (double) sum / distribution_size;

    double var_accum = 0.0;
    for (unsigned i = 0; i != distribution_size; i++)
    {
        const uintmax_t x = distribution[i];

        printf("'%c' (%02X): %20ju", isprint((int) i) ? i : ' ', i, x);
        if (x != 0) {
            var_accum += square((double) x - avg);
            printf(" (%+.2e %%)\n", ((double) x / avg - 1.0) * 100.0);
        } else {
            var_accum += square(avg);
            putchar('\n');
        }
    }

    double stdev = sqrt(var_accum / distribution_size);
    double varcoeff = stdev / avg;
    printf(
        "total: %ju\n"
        "average: %e\n"
        "standard deviation: %e\n"
        "variation coefficient: %e\n",
        sum, avg, stdev, varcoeff);

    free(distribution);
    return rv;
}

скомпилировать с (если исходный код находится в character-distribution.c ):

cc -std=c99 -O2 -g0 -o character-distribution character-distribution.c

выполните с помощью

./character-distribution < 1.txt

Если у вас нет компилятора C, установите GCC:

sudo apt-get install gcc build-essential
    
ответ дан David Foerster 08.03.2015 в 16:29
0

Аналогичное решение для @heemayl, с более строгим кодом, которое работает на Python 2.7 и Python 3.

#!/usr/bin/python

import collections
import fileinput
import itertools
import string

count = collections.Counter(itertools.chain(*fileinput.input()))
print(',\n'.join('{} - {}'.format(c, count[c] + count[c.upper()])
                 for c in string.ascii_lowercase))

Первое утверждение, count = collections.Counter(…) выполняет всю реальную работу.

  • fileinput.input() читает каждую строку ввода, которая может быть передана через stdin или в качестве аргументов командной строки.
  • * заставляет его рассматривать символ за раз, а не строку за раз.
  • count = Counter(…) учитывает вхождения каждого символа эффективно за один проход и сохраняет результат в переменной count .

Вторая строка просто распечатывает результаты.

  • '{} - {}'.format(c, count[c] + count[c.upper()]) for c in string.ascii_lowercase составляет список каждого символа и его счет.
  • print(',\n'.join(…)) помещает его в желаемый формат: по одному на строку, разделен запятыми, но не имеет запятой в последней строке.
ответ дан 200_success 06.03.2015 в 22:28
0

GNU awk 4.1

awk -iwalkarray '{for (;NF;NF--) b[$NF]++} END {walk_array(b)}' FS=
[A] = 1
[O] = 1
[w] = 2
[k] = 1
[y] = 1
[T] = 1
[n] = 1
[a] = 4
[o] = 4
[c] = 1
[s] = 2
[t] = 3
[M] = 1

Если у вас есть более ранняя версия GNU awk, вы можете использовать for (c in b) print c, b[c] .

    
ответ дан Steven Penny 07.03.2015 в 05:21
0

Вот ответ с использованием ruby. Это делается путем изменения строки в список uniq разных символов и использование метода count для каждого из них.

#!/usr/bin/env ruby

String content = IO.read("1.txt")
content.split("").uniq.sort.each { |chr| puts( chr + ' - ' + content.count(chr).to_s) }
    
ответ дан stalet 08.03.2015 в 17:11