Как Вы анализируете логи?

Для новичков как вообще в Linux, так и в конкретной теме, к которой относится вопрос.

Модераторы: broom, Bizdelnick

azsx
Сообщения: 2424
ОС: calculate linux, debian, ubuntu

Как Вы анализируете логи?

Сообщение azsx » 20.07.2018 04:06

Как анализирую логи я.
В основном мне надо найти строку с ошибкой по времени и просто почитать чего там написано. Иногда, мне это даже помогает. Иногда мне надо сделать какую то выборку. Тогда я пользуюсь grep. Всё, что сложнее обычной выборки, я пишу мини программки на lazarus или php (по настроению, но чаще php стал).
Я очень часто слышу, что это совершенно не правильно, так и говорят, под анализ логов есть куча программ и специальных библиотек, вручную их смотреть не верно, разберись в теме и юзай нормальные инструменты. При этом что юзать -- отправляют в гугл.
Какие мне логи нужны, а всякие разные. Например, от чужой джава программы, свой формат лога, несколько сотен мегобайт в день.
Вопросы.
А как Вы анализируете логи?
А как это делать правильно?
Спасибо сказали:

Аватара пользователя
Bizdelnick
Модератор
Сообщения: 14482
Статус: grammatikführer
ОС: Debian GNU/Linux

Re: Как Вы анализируете логи?

Сообщение Bizdelnick » 20.07.2018 08:19

Анализировать логи (для сбора статистики, поиска подозрительной активности и т.п.) и искать в логе конкретную ошибку — разные вещи. Для поиска ошибки пользуюсь less и иногда tail. Анализом не занимаюсь, просто знаю, что для этого есть специализированный софт.
Любая программа разбирает логи с помощью регулярных выражений, адаптация под новый формат лога сводится к переписыванию регулярного выражения.
Пишите правильно:
в консоли
вкупе (с чем-либо)
в общем
вообще
в течение (часа)
команда
новичок
нюанс
приемлемо
проблема
пробовать
трафик
Спасибо сказали:

Аватара пользователя
yoricI
Сообщения: 527
ОС: gentoo fluxbox

Re: Как Вы анализируете логи?

Сообщение yoricI » 20.07.2018 10:13

Слишком обширный вопрос. Системные логи и логи какой-то мифической джава-программы - две большие разницы. Как и задачи от этого зависящие.
А вот интересно, что может быть сложнее обычной выборки из логов и что с этим можно делать?
Спасибо сказали:

Аватара пользователя
Vascom
Сообщения: 1266
ОС: Fedora 29

Re: Как Вы анализируете логи?

Сообщение Vascom » 20.07.2018 10:22

yoricI писал:
20.07.2018 10:13
А вот интересно, что может быть сложнее обычной выборки из логов и что с этим можно делать?
Это легко. Например как-либо автоматизировать действия по содержимому логов.
Например можно грепнуть системный лог на наличие блокировок SELinux, перенаправить на audit2allow и получить готовое правило селинукса.
Спасибо сказали:

Аватара пользователя
SLEDopit
Модератор
Сообщения: 4549
Статус: фанат консоли (=
ОС: GNU/Debian, RHEL

Re: Как Вы анализируете логи?

Сообщение SLEDopit » 20.07.2018 11:00

azsx писал(а):
20.07.2018 04:06
Всё, что сложнее обычной выборки, я пишу мини программки на lazarus или php (по настроению, но чаще php стал).
Кому какие развлечения больше нравятся )

Пишу все логи в ELK, а ошибки собираются в sentry. Там их анализировать гораздо проще и удобнее. И быстрее (логи там уже индексированные). А тот же sentry ещё и группирует ошибки по типу.
UNIX is basically a simple operating system, but you have to be a genius to understand the simplicity. © Dennis Ritchie
The more you believe you don't do mistakes, the more bugs are in your code.
Спасибо сказали: