Посчитать количество вхождений слова в файлах - РЕШЕНО

[Skala]

Когда-то видел на ЛОРе: А вот сколько раз употреблено такое-то слово в исходниках ядра, а вот кто оставлял свои копирайты...
В связи с этим вопрос: Как действительно посчитать, сколько раз какое-то слово встречалось в файлах? - Смотрел man find, но точ-то не уверен, что в этом направлении ищу.

[Rootlexx]

Skala, используйте grep с параметром -c (--count).

[serzh-z]

grep с параметром -c

Он считает лишь строки.

[Skala]

Skala, используйте grep с параметром -c (--count).

find же ищет по имени. А по содержимому там как?

[broom]

ну например
find . | xargs grep "искомое" | wc -w
если, конечно, у вас нет всяких пробелов в именах файлов...

upd. хотя ведь можно и с одним пайпом -
grep "искомое" * | wc -w

[edoc_modnar]

ну например
find . | xargs grep "искомое" | wc -w
если, конечно, у вас нет всяких пробелов в именах файлов...

upd. хотя ведь можно и с одним пайпом -
grep "искомое" * | wc -w

Если нужно посчитать именно число вхождений каждого слова, то это не подходит. Кроме того, варианты сильно отличаются: второй вариант не будет искать в файлах, находящихся в поддиректории.

Но не в этом дело: по умолчанию grep выводит соответствие регекспу вместе с контекстом, то есть со всей строкой. При этом на другом конце пайпа считается число слов (wc -w). Правильно будет выводить только соответствующие регекспу слова (grep -o), а тут уже считать строки или слова - без разницы (потому что все слова будут выводиться на отдельной строке). Кроме того, изврат с xargs совсем не нужен:

Код: Выделить всё

find . -name "*.txt" -exec grep -o "fuck" '{}' \; | wc -l

Skala, а чтобы понять и разобраться:

Код: Выделить всё

man find
man grep
man wc

[Skala]

Код: Выделить всё

find . -name "*.txt" -exec grep -o "fuck" '{}' \; | wc -l

Skala, а чтобы понять и разобраться:

Код: Выделить всё

man find
man grep
man wc

Большое спасибо за оба варианта (к сожалению, сейчас я не дома, когда приду домой- обязательно посмотрю)!

[t.t]

изврат с xargs

Ну, положим, что больший изврат -- xargs или find -exec -- можно ещё поспорить

[edoc_modnar]

изврат с xargs

Ну, положим, что больший изврат -- xargs или find -exec -- можно ещё поспорить

По-моему, больший изврат там, где нужно больше пайпов (:

[Portnov]

Если чо, у grep-а есть опция "-c"
grep -rc linus /usr/src/linux

[t.t]

По-моему, больший изврат там, где нужно больше пайпов (:

Это по-твоему. А по-моему, читабельность и скорость важнее.

Если чо, у grep-а есть опция "-c"
grep -rc linus /usr/src/linux

Уже обсуждалось выше, это не то, что нужно:

-c, --count
Suppress normal output; instead print a count of matching lines for each input file.

читабельность и скорость

Оп-па.. Интересно. Потестировал на предмет скорости (дабы не оставаться голословным, ага )... Ну, насчёт самой скорости всё как и ожидалось, но вот результаты -- разные; причём сильно разные:

Код: Выделить всё

$ time (find . -exec grep -o "op" '{}' \; | wc -l)
301043

real    2m37.804s
user    0m36.318s
sys     0m40.911s
$ time (find . -print0 | xargs -0 grep -o "op" | wc -l)
319473

real    1m37.292s
user    0m13.297s
sys     0m8.217s

[edoc_modnar]

Ну ничего необычного. Чем больше входных файлов, тем более заметен отрыв в скорости. Потому что в моем случае создается новый процесс grep для каждого файла. С xargs все зависит от ограничений ОС на число аргументов и их длинну.

[Rootlexx]

А второй тест проводился сразу после первого? Тогда большая часть файлов находилась в кэше.

[edoc_modnar]

Я тоже так думал, пока не провел тесты на своей системе:

Код: Выделить всё

rc@random ~ $ cd /usr/src/linux
rc@random linux $ time (find . -print0 | xargs -0 grep -o "op" | wc -l)
301451

real    0m48.585s
user    0m5.584s
sys     0m3.936s
rc@random linux $ time (find . -exec grep -o "op" '{}' \; | wc -l)
301451

real    4m55.437s
user    3m26.645s
sys     0m40.875s

Так что признаю, что я - осел, а xargs в данном случае - не изврат (:

Все-таки создание процесса - дорогая штука (как и вызов функции). Керниган и Ритчи нас надули. Два раза. И почти в одинаковых местах (:

[t.t]

Мне всё-таки другое интересно: почему разный результат мог получиться...