Выбор языка (обработка log-файлов)

[petrushka_sch2]

Дано:
есть log-файл, где подряд идут строки по 5-10 разным шаблонам, примеры:

[15.01.2008 13:42:19.341] player 10002222 entered inn id=17, (39, 124)
[15.01.2008 14:22:25.982] player 123243546576 entered building id=24, (44, 128)
[15.01.2008 14:22:30.654] player 123243546576 left building
[15.01.2008 14:26:57.763] error found! 0x005573e0 -> 0x00557419

Задача:
Отловить две подряд идущие для конкретного player'а (т.е. между ними могут быть события для других player'ов) одинаковые строки:
[15.01.2008 13:42:19.341] player 10002222 entered inn id=17, (39, 124)
либо
[15.01.2008 13:42:19.341] player 10002222 entered building id=17, (39, 124)
И выцепить оттуда 10002222
Например:

[15.01.2008 13:42:19.654] player 10002222 entered inn id=17, (39, 124)
[15.01.2008 14:22:30.654] player 123243546576 left building
[15.01.2008 13:42:19.654] player 10002222 entered inn id=17, (39, 124)

Строчки выделенные жирным для player'а 10002222 идут подряд, несмотря на то, что между ними вклинилось событие другого player'а.
Программа\скрипт должна выцепить из этого входа 10002222


Понятно, что можно это сделать с помощью c\c++, но просто, во-первых, хочется изучить какой-нибудь новый язык, а во-вторых, хочется использовать инструмент для обработки текста.

Был бы очень благодаерен за советы и направления куда копать.

[Poor Fred]

Понятно, что можно это сделать с помощью c\c++, но просто, во-первых, хочется изучить какой-нибудь новый язык, а во-вторых, хочется использовать инструмент для обработки текста.

Был бы очень благодаерен за советы и направления куда копать.

grep, perl

[petrushka_sch2]

А можно с грепом поподробнее? Я пытался с помощью него наваять, но ни малейшеей идеи как отловить тот факт что две строчки (в общем случае, идущие не подряд) одинаковы с помощью grep. А насчет перла, почему именно perl?

[diesel]

несколько непонятен вопрос. у тебя есть логфайл, тебе с него надо выцепить просто все цифры которые идут за player? - в таком случае это достаточно несложно сделать с помощью стандартных unix-tools. тебе надо выцепить id которые встречаются в файле _исключительно_ два раза, не больше и не меньше? если исключительно два раза, то есть ли граница "близости" этих строк - т.е. через строчку - это еще подряд, если 10 строчек - то уже не надо, или возможно на дату надо смотреть?

почему Perl? - потому что он в достаточной мере удобен для работы с текстом, в конце-концов его для этого делали.

[petrushka_sch2]

Мне нужно отлавливать следующее событие:
Если конкретный player два раза подряд entered inn id=17, (39, 124), то мне нужно знать id player'а. Причем, если между этими двумя разами какие-то события происходили с другими player'ами - мне все равно.

[diesel]

ну если в перловых выражениях то первое что приходит в голову, это делаем хэш, формата player id=>action, и идем по логу ежели данный плейер в хэше есть и экшн такой же - печатаем, если экшн другой - заменяем новым, если нет ... то добавляем нового плейера-экшин(ну с этим нет проблем).

[Poor Fred]

А можно с грепом поподробнее?

Ну в общем случае, без привязки к твоей задаче:

Код: Выделить всё

grep "your_expr" file.txt

или

Код: Выделить всё

cat file.txt | grep "your_expr"

[/dev/random]

Если файл уже "готовый", и не требуется работать с потоком:

Код: Выделить всё

sort файл | uniq -d | sed 's/.*player \([[:digit:]]*\).*/\1/'

[petrushka_sch2]

Если файл уже "готовый", и не требуется работать с потоком:

Код: Выделить всё

sort файл | uniq -d | sed 's/.*player \([[:digit:]]*\).*/\1/'

Не получится, т.к. строчки не совсем одинаковые -вначале каждой строки стоит дата и время...

[petrushka_sch2]

А можно с грепом поподробнее?

Ну в общем случае, без привязки к твоей задаче:

Код: Выделить всё

grep "your_expr" file.txt

или

Код: Выделить всё

cat file.txt | grep "your_expr"

Согласись, бесполезный ответ Это знает почти каждый, кто открывал терминал.

Если файл уже "готовый", и не требуется работать с потоком:

Код: Выделить всё

sort файл | uniq -d | sed 's/.*player \([[:digit:]]*\).*/\1/'

А в общем, супер! Огромное спасибо за наводку.

ну если в перловых выражениях то первое что приходит в голову, это делаем хэш, формата player id=>action, и идем по логу ежели данный плейер в хэше есть и экшн такой же - печатаем, если экшн другой - заменяем новым, если нет ... то добавляем нового плейера-экшин(ну с этим нет проблем).

Спасибо и здесь Попробую оба способа )

Если файл уже "готовый", и не требуется работать с потоком

Кстати, а если с потоком - какой совет?

[petrushka_sch2]

sort файл | uniq -d | sed 's/.*player \([[:digit:]]*\).*/\1/'

Понял, что не поможет, т.к. при сортировке файла (если не учитывать первый два поля: дату и время) потеряется порядок событий, и уже нельзя будет сказать, подряд они были для данного Player'a или нет

[/dev/random]

Чтобы порядок не потерялся, нужно вызывать sort с ключами -s (стабильная сортировка) и -k 4,4 (а не -k 4) (чтобы учитывалось ТОЛЬКО четвертое поле, а не все начиная с четвертого).

[Folderx]

Работает для разных плееров, на больших логах не проверял.

Загрузка не сработала
http://ifolder.ru/5036172

[petrushka_sch2]

Спасибо!