Текущее время: Вс, дек 17 2017, 14:11

Часовой пояс: UTC + 4 часа




Начать новую тему Ответить на тему  [ Сообщений: 11 ] 
Автор Сообщение
 Заголовок сообщения: обработка alerts и мониторинг SAP HANA
СообщениеДобавлено: Чт, май 25 2017, 21:00 
Начинающий
Начинающий

Зарегистрирован:
Пт, май 19 2017, 10:57
Сообщения: 7
Добрый день.

Есть у меня задача - реагировать на алерты, возникающие в базе HANA и впоследствии вывести информацию по алертам во внешнюю систему мониторинга 24\7.

Что могу я и система мониторинга: а) парсить логи и выводить нужные сообщения
б) отслеживать на операционке заполнение файловых систем и живы\умерли процессы indexserver, nameserver и прочие.
в) делать селекты к STATISTICS_ALERTS и прочим интересным вьюшкам и выводить нужные сообщения.

Возникли следующие вопросы:
1) если хочу отработать все алерты, то беру список из Sap Note 1969700 и иду по alert_id ? или что-то упускаю ?
2) какой алерт критически важный, а какой может подождать ? как их классифицировать ? ну например alert_id=28 (Open connections) на это надо реагировать незамедлительно и выяснять причину увеличения коннектов до предельных величин, а например alert_id=22 можно и вообще не отрабатывать. тащить вообще все критические и мажорные алерты из HANA во внешний мониторинг - не вариант, надо выбрать. Как выбрать ? Основной параметр отбора "чтобы база жила ближайшие время и не проседала производительность".

Пока в голове крутятся первые несколько мыслей.
1) мониторинг ФС, CPU usage, Memory usage - это critical severity, однозначно мониторить нонстоп.
2) alert_id=65 и 36 и 38 - major severity, мониторить раз в час

Интересны Ваши мысли, что ещё добавить в отделы critical minor major, какие alertы внезапно могут доставить проблем.
Сам буду добавлять свои решения в эту тему по мере реализации.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: обработка alerts и мониторинг SAP HANA
СообщениеДобавлено: Пт, май 26 2017, 12:26 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Чт, дек 20 2007, 19:21
Сообщения: 957
У нас из критических алертов пока только полное падедение ноды (баг в хане) и ООМ дампы процессов. Остальное даже не смотрим. Я думаю начать надо с анализа того что сейчас у вас в логах и что реально доставляет проблемы при этом.

Какую используете систему мониторинга?

_________________
я твой сап эфай внедрял


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: обработка alerts и мониторинг SAP HANA
СообщениеДобавлено: Пт, май 26 2017, 19:36 
Ассистент
Ассистент

Зарегистрирован:
Сб, окт 17 2015, 14:11
Сообщения: 44
Вообще, алерты на то и алерты, чтобы на них обращать внимание. Но т.к. критичность может быть разная, то можно фильтровать по градации
Есть 2 полезные вьюхи в _SYS_STATISTICS:
1. STATISTICS_ALERTS
2. STATISTICS_CURRENT_ALERTS

первая содержит список всех алертов, вторая за текущий день.
Соответственно, чтобы отработать все алерты, можно делать селекты типа:
Код:
select * from _sys_statistics.STATISTICS_ALERTS where alert_rating > 3
- отобразит все алерты уровня High и выше.
В индекссервере есть функциональность почтового агента, соответственно, он может слать сообщения на почту по определенным типам алертов.
По описанию есть отдельная нота, 2147247
Разумно быстро реагировать на алерты уровня выше 3го (High and over)
Что точно надо мониторить:
1,3,4,30,36,38,42,47-49,52,54,61,73,74
Помимо этого, имеет смысл мониторить [indexserver|nameserver|whatever]_alert.trc файлы, которые содержат техническую информацию об ошибках потенциальных и существующих проблемах.

Параметр отбора очень непростой. Т.к. HANA спроектирована с учетом максимально эффективного потребления имеющихся аппаратных мощностей, я бы не рассчитывал на предсказание "чтобы не проседала производительность" по алертам. Тут разумнее workload management настроить.

Мониторинг ФС лучше проводить с уровня ОС, причем средствами файловой системы, т.к. от нее очень много зависит (особенно, если она не родная для Linux, как, например GPFS).

По памяти - также имеет смысл настроить workload management и установить разумный statement_memory_limit. Это позволит избежать большинства потенциальных Out-of-Memory ситуаций. Но в целом мониторить database used memory и indexserver memory used - хорошая идея.

Кстати, при желании, можно оперативно реагировать на текущие показатели производительности, периодически опрашивая специальную системную вьюху следующим селектом:
Код:
select * from m_load_history_service order by time desc
- содержит все то же, что доступно в Administration-Performance-Load HANA студии, но только в табличном виде и доступном для опроса через SQL. Потребляя этот вывод в каком-нибудь обработчике данных, с помощью парсинга и простейших скриптов можно вполне себе наколенную систему мониторинга БД сделать, если стандартные не подходят по к.-л. причинам

Кроме того, важное значение для производительности имеет количество т.н. uncommitted versions в MVCC, при превышении определенных значений (over 1M versions) доступное в виде алерта, попадающее в indexserver_alert файл. Текущее значение можно посмотреть в вышеупоминавшейся вьюхе (m_load_history_service, метрика MVCC_VERSION_COUNT) либо в отдельной вьюхе, M_MVCC_OVERVIEW (соответствующие алерты 47,48,73,74)


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: обработка alerts и мониторинг SAP HANA
СообщениеДобавлено: Пт, май 26 2017, 20:30 
Начинающий
Начинающий

Зарегистрирован:
Пт, май 19 2017, 10:57
Сообщения: 7
Спасибо за советы.

1) Посмотрел в логи (trc), составил список часто встречающихся ошибок. Их буду обрабатывать в первую очередь.
Одна из самых интересных и, на мой взгляд, опасных - "Cursor open for XXX minutes found", добавил поиск по логу этой конструкции в систему мониторинга. Это alert_id=42. Буду звонить и ругаццо, почему приклад курсор не закрывает.

2) Сделал селект к вьюхам, составил список часто встречающихся ошибок. Как я уже писал, чаще встречаются 65 и 36 и 38, в ближайшее время добавлю обработку 1,3,4,30,36,38,47-49,52,54,61,73,74

3) мониторинг ФС средствами ОС работает.

Возник такой вопрос, насколько полно информация об алертах продублирована в трейсах и вьюшках ? где полнее ? Пока что я видел, что алерты можно достать и из вьюх и из трейсов. А какие, по вашему опыту есть ошибки, которые можно найти только в одном местоположении ?


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: обработка alerts и мониторинг SAP HANA
СообщениеДобавлено: Сб, май 27 2017, 12:34 
Ассистент
Ассистент

Зарегистрирован:
Сб, окт 17 2015, 14:11
Сообщения: 44
Первичны трейсы и вьюхи. Алерты есть ни что иное, как результат работы статистиксервиса, который на периолической основе в эти трейсы и вьюхи смотрит хранимой процедурой.
Если уровень трассировки поднять до DEBUG, то можно обеспечить себя увлекательным чтением низкоуровневой информации на выходные (Administration-Trace Configuration- User-Specific Trace). Только избегайте этого делать на продуктиве без прямого указания саппорта.
Если HANA перегружена так, что статистиксервис вообще не имеет возможности запуститься, то и алертов сгенерировано не будет. При этом в трейсах концы все же можно найти. Во вьюхах тоже все будет, но не факт, что SQL к ним отработает, он может просто подвиснуть в ожидании свободных процессорных мощностей. Но это в ситуациях критического падения производительности, которые достаточно редки, а при настроенном workload management'e вообщ практически не встречаются.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: обработка alerts и мониторинг SAP HANA
СообщениеДобавлено: Чт, июн 08 2017, 15:07 
Начинающий
Начинающий

Зарегистрирован:
Пт, май 19 2017, 10:57
Сообщения: 7
Возник ещё один вопрос про мониторинг.
Количество строк в таблице ограничено 2 млрд строк.

Как лучше мониторить топ10 таблиц с самым большим количеством строк ?
Или есть какая-то специальная вьюха ? Или сап-нота, в которой есть запрос ?

Подскажите направление, куда копать :D


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: обработка alerts и мониторинг SAP HANA
СообщениеДобавлено: Пт, июн 09 2017, 18:59 
Ассистент
Ассистент

Зарегистрирован:
Сб, окт 17 2015, 14:11
Сообщения: 44
Немного не так - количество строк в партиции ограничено 2^32, если таблица, состоящая из одной партиции начинает активно расти, то имеет смысл задуматься о репартицировании (добавлении партиций). В целом, хорошей практикой считается добавление партиций начиная с 500М строк.
О приближении к лимиту заранее оповестит алерт статистиксервиса.
Текущее число записей, потребление памяти в Main и Delta, а также другую полезную информацию можно посмотреть в SAP HANA Cockpit'e, а также следующим селектом:
Код:
select * from m_cs_tables order by record_count desc limit 10

Все вышеперечисленное относится к Column store


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: обработка alerts и мониторинг SAP HANA
СообщениеДобавлено: Пн, июн 19 2017, 19:29 
Начинающий
Начинающий

Зарегистрирован:
Пт, май 19 2017, 10:57
Сообщения: 7
Tayho_Junior писал(а):
...

2) Сделал селект к вьюхам, составил список часто встречающихся ошибок. Как я уже писал, чаще встречаются 65 и 36 и 38, в ближайшее время добавлю обработку 1,3,4,30,36,38,47-49,52,54,61,73,74 .....


Добрый день. Взял свою цитату, чтобы сравнить, что добавил.
Итак, добавил обработку сообщений с alert_id 1,2,3,4,5,30,31,36,38,42,47,48,49,52,54,61,65,73,74 с разной периодичностью вывода в круглосуточный мониторинг. Считаю, что для первичной настройки мониторинга этот список можно считать базовым. Остальные алерты просматриваю по утрам :D

Теперь возник вопрос, а какие базовые синтетические метрики добавить ? ну из разряда "взять поле из этой таблицы, соотвествующее ему поле из той таблицы, помножить на коэффицент из третьей таблицы и если значение больше, чем в четвёртой таблице - вывести текстовое сообщение об этом ?


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: обработка alerts и мониторинг SAP HANA
СообщениеДобавлено: Пт, июн 30 2017, 19:42 
Ассистент
Ассистент

Зарегистрирован:
Сб, окт 17 2015, 14:11
Сообщения: 44
Любые на основе системных вьюх, например, M_LOAD_HISTORY_[HOST|SERVICE]

Код:
select top 10 * from M_LOAD_HISTORY_SERVICE where CPU > X and WAITING_THREAD_COUNT > Y


или
Код:
select * from M_SAVEPOINTS where CRITICAL_PHASE_DURATION > 1000000


и тп, зависит от фантазии


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: обработка alerts и мониторинг SAP HANA
СообщениеДобавлено: Пт, июл 07 2017, 13:00 
Начинающий
Начинающий

Зарегистрирован:
Пт, май 19 2017, 10:57
Сообщения: 7
Добрый день. Спасибо за ответы.
Столкнулся с такой особенностью при обработке алертов, но пока даже не знаю, в какую сторону копать.

Итак, alert_id=4 (restarted services)
1-2 раза в неделю от HANA прилетают алерты, что либо один, либо все процессы базы рестартовали.
но на самом деле этого не было.
Пока что временно добавил скрипт, который при поступлении таких сообщений проверяет наличие и время старта процессов в операционке, дабы исключить из мониторинга ложные сообщения.

Вот что это такое ? откуда в statistics_alerts появляются эти сообщения, если ни в операционке, ни во вкладке Studio\Landscape ничего про рестарты не видно, да и пользователи не жалуются ?

Версия HANA 1.00.122.01


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: обработка alerts и мониторинг SAP HANA
СообщениеДобавлено: Сб, июл 22 2017, 18:28 
Ассистент
Ассистент

Зарегистрирован:
Сб, окт 17 2015, 14:11
Сообщения: 44
Приведите вывод следующей команды:
Код:
call get_object_definition('_SYS_STATISTICS','ALERT_CHECK_RESTARTED_SERVICES')


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 11 ] 

Часовой пояс: UTC + 4 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB