Текущее время: Сб, апр 29 2017, 07:32

Часовой пояс: UTC + 4 часа




Начать новую тему Ответить на тему  [ Сообщений: 5 ] 
Автор Сообщение
 Заголовок сообщения: Долгое формирование индексов
СообщениеДобавлено: Чт, авг 11 2016, 09:07 
Начинающий
Начинающий

Зарегистрирован:
Ср, апр 02 2014, 18:27
Сообщения: 9
Добрый день!

Возникла следующая проблема: цепочки процессов перестали успевать отрабатывать за ночь и соответственно к началу рабочего дня данные были не готовы. Анализ журналов показал, что большую часть времени(примерно 4 часа) занимает процесс формирования индексов в инфо-кубе. Процесс загрузки данных в куб построен таким образом, что перед запуском DTP индексы удаляются, а после загрузки формируются заново. Количество записей в таблице фактов 45 млн записей, максимальное количество записей в таблицах измерений 600 тыс., т.е. чуть больше 1%. Есть ли у кого-нибудь советы или предложения по данной проблеме ?


Пометить тему как нерешенную
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Долгое формирование индексов  Тема решена
СообщениеДобавлено: Чт, авг 11 2016, 12:37 
Ассистент
Ассистент

Зарегистрирован:
Вт, сен 05 2006, 01:33
Сообщения: 36
Откуда: Москва
Сжатие кубов нужно делать.


Пометить тему как нерешенную
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Долгое формирование индексов
СообщениеДобавлено: Чт, авг 11 2016, 13:28 
Начинающий
Начинающий

Зарегистрирован:
Пт, апр 27 2007, 13:13
Сообщения: 14
данные грузятся дельтой? какое кол-во записей приходит в куб за одну загрузку? (я к тому что если записей относительно немного, то может быстрее будет не удалять и не пересчитывать индекс)


Пометить тему как нерешенную
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Долгое формирование индексов
СообщениеДобавлено: Чт, авг 11 2016, 14:05 
Начинающий
Начинающий

Зарегистрирован:
Ср, апр 02 2014, 18:27
Сообщения: 9
Данные загружаются за последние 2 месяца, а это порядка 4 млн записей, поэтому индексы нужно удалять, иначе может упасть в ошибку при загрузке. Сейчас по совету DenL делаю сжатие, посмотрю завтра на время формирования индексов.


Пометить тему как нерешенную
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Долгое формирование индексов
СообщениеДобавлено: Пт, авг 12 2016, 08:11 
Начинающий
Начинающий

Зарегистрирован:
Ср, апр 02 2014, 18:27
Сообщения: 9
DenL писал(а):
Сжатие кубов нужно делать.


DenL спасибо, это оказалось правильным решением. После сжатия время формирования индексов снизилось с 4 часов до 4 минут!


Пометить тему как нерешенную
Вернуться к началу
 Профиль Отправить email  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 5 ] 

Часовой пояс: UTC + 4 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB