sed обработка логов. (обработка большого кол-ва лог файлов.)

[Voler]

Добрый день

Есть больше 2000 папок, в которых есть txt файлов.
Подскажите:
1. нужно обработать все файлы старше 1 дня,
2. удалить не нужные строки,
3. Повторяющиеся строки, нужно подсчитать и удалить дубли.

1. Файлы старше -type f -mtime +1 найти можно так
2. sed -i '/BPDU/d;/username/d' удалить строки содержащие слова.
3. Как обработать дублирующие строки, тут решение не нашел.

Скажу, дополнительно логи собираются syslog-ng, в нем есть параметр отвечающий за подсчет дублирующих сообщений, но выставлять большое значение побоялся сейчас стоит 600 сек.

[Bizdelnick]

Повторяющиеся строки, нужно подсчитать и удалить дубли.

Дубли, идущие подряд, или вообще все? Я так понимаю, сортировка строк в файле недопустима?

[SLEDopit]

Без сортировки sed'ом сложно. На awk существенно проще (заодно и посчитать можно). Но это если файлы не очень большие.

[Voler]

в логах есть поле дата. Можно до последнего повтора объединять.

[Bizdelnick]

Без сортировки sed'ом сложно. На awk существенно проще (заодно и посчитать можно).

Тогда уж perl лучше, фигли.

Можно до последнего повтора объединять.

Не понял. Можно пример?

[Voler]

Во вложении кусок лога, если нужно могу в личку дать более объемный.

[Bizdelnick]

Я имел в виду пример того, что нужно сделать. Что понимается под «объединением»?

[Voler]

Oct 20 04:10:08 172.18.61.176 interface,info ether2 link down
Oct 20 04:10:14 172.18.61.176 interface,info ether2 link up (speed 100M, full duplex)
Oct 20 04:10:17 172.18.61.176 bridge,stp ether2 learning
Oct 20 04:10:17 172.18.61.176 bridge,stp ether2 forwarding
Oct 20 04:10:25 172.18.61.176 interface,info ether2 link down
Oct 20 04:10:27 172.18.61.176 interface,info ether2 link up (speed 100M, full duplex)
Oct 20 04:10:25 172.18.61.176 interface,info ether2 link down
Oct 20 04:10:27 172.18.61.176 interface,info ether2 link up (speed 100M, full duplex)
Oct 20 04:10:25 172.18.61.176 interface,info ether2 link down
Oct 20 04:10:27 172.18.61.176 interface,info ether2 link up (speed 100M, full duplex)
Это объединить, только если строки одинаковые рядом.
Oct 20 04:10:30 172.18.61.176 bridge,stp ether2 learning
Oct 20 04:10:30 172.18.61.176 bridge,stp ether2 forwarding

[Bizdelnick]

Это объединить, только если строки одинаковые рядом.

Всё равно не понял, что значит «объединить». В результате-то что должно получиться?

[Voler]

Oct 20 04:10:25 172.18.61.176 interface,info ether2 link down (message was repeated 3 times)
Oct 20 04:10:27 172.18.61.176 interface,info ether2 link up (speed 100M, full duplex) (message was repeated 3 times)

[Bizdelnick]

Погдите, ерунда какая-то. Во-первых, получается повтор не одной, а двух строк. Во-вторых, то, что время тоже повторяется — это часть условия задачи, или Вы просто скопировали эти строки, а в реальности оно будет разным?
Ну и потом, с чисто практической точки зрения, если сеть постоянно отваливается, это повод для беспокойства, и негоже представлять это в логе как единичный отвал.

[Voler]

Я согласен, что постоянный отвал не хорошо. Но при этом, я же не удалять хочу, а сократить кол-во записей.
Повтор двух строк, верно. Но я не прошу их рассматривать совместно.
Конечно скопировал, для примера.

[Bizdelnick]

На вопрос-то ответьте. Ну и если подразумевается удаление повтора неопределённого количества разных строк, то задача простого решения не имеет (а сложное будет крайне неэффективным).

[Voler]

Ответил

[Bizdelnick]

Повтор двух строк, верно. Но я не прошу их рассматривать совместно.

А каким образом их надо рассматривать? Опишите желаемый алгоритм словами (или псевдокодом).

[SLEDopit]

Тогда уж perl лучше, фигли.

Питона на тебя нет

[Voler]

пока оптимизирую syslog-ng, но вопрос обработки логов остался.