Текущее время: Вт, мар 19 2024, 11:29

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 9 ] 
Автор Сообщение
 Заголовок сообщения: Ускорение загрузки в куб
СообщениеДобавлено: Чт, авг 17 2017, 15:26 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
Добрый день.

Подскажите плиз методики ускорения загрузки данных в куб.

Условия:
Дельта загрузка из ДСО в Куб - паралельность 4, размер пакета 50к.
Есть фильтр на отборе данных, семантические группы не проставлены.
Преобразование 1 к 1... только ДСО в 1,5 раза шире, создание SIDов во время активации.
В кубе 153 поля, из которых порядка 123 признаки и 30 показатели.
BW 7.4 MsSQL.

Дельта в 800к строк загружается 5-6 часов.
В кубе 3 млн строк.
Индекс сноситься.

Про что почитать, где посмотреть?

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пт, авг 18 2017, 10:22 
Начинающий
Начинающий

Зарегистрирован:
Пт, авг 18 2017, 10:14
Сообщения: 1
Посмотрите в мониторе загрузки DTP какой именно процесс занимает дольше всего времени: Экстракция, Трансформация (преобразование) или Обновление?
У нас например долго висел процесс выбора данных из исходной DSO, так как также как у вас были фильтры на выбор данных. Помогло создание индекса на DSO на фильтруемых инфо-объектах.
Загрузка с 8 часов сократилась до 30 минут.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пт, авг 18 2017, 10:50 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
"Определить или отозвать ИдОД" (Find or Take SIDs) - 20 минут для 17к записей.

Выборка - моментная, преобразования - моментные, запись - моментная.

_________________
Нас всех отчислят... как это мило


Последний раз редактировалось Gek Пт, авг 18 2017, 11:25, всего редактировалось 1 раз.

Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пт, авг 18 2017, 11:18 
Почетный гуру
Почетный гуру

Зарегистрирован:
Чт, фев 03 2005, 10:18
Сообщения: 503
В RSRV прогоните тесты для всех признаков входящих в состав DSO.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пт, авг 18 2017, 13:52 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
RSRV вообще проблем не нашел.
Прогнал RSDMD_CHECKPRG_ALL (насколько я понимаю это аналог RSRV), выявил ошибку в признаке 0DOC_NUMBER - 500 значений.
Поправил, посмотрю ускорилась ли загрузка.

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пн, авг 21 2017, 15:15 
Директор
Директор

Зарегистрирован:
Чт, апр 16 2009, 13:30
Сообщения: 782
Пол: Мужской
добрый день!
в DTP заходили в настройки менеджера партий? там можно увеличить число параллельных процессов при загрузке
иногда это помогает
результаты можно отслеживать через обзор фоновых заданий


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Вт, авг 22 2017, 11:54 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
Заходили, у нас 4 CPU и стоит паралельность 4 потока.
Это может увеличить скорость обработки общей.. но как снизить обработку одной сессии?

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Вт, авг 22 2017, 14:11 
Директор
Директор

Зарегистрирован:
Чт, апр 16 2009, 13:30
Сообщения: 782
Пол: Мужской
попробуйте поставить 7 или 10.
потом посмотрите фоновые задания, если они распараллелятся, то должно быть ускорение.
я так понял, что Вам надо увеличить общую скорость загрузки.
посмотрите может быть в сторону оптимизации структуры куба, если есть такая возможность.
если в фильтре на DTP есть исключения, попробуйте заменить их ограничениями. тоже может помочь.
в интернете есть отдельные how to по оптимизации быстродействия bw, почитайте их, там могут быть подходящие варианты.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пт, окт 20 2017, 14:42 
Старший специалист
Старший специалист

Зарегистрирован:
Вт, авг 17 2004, 08:49
Сообщения: 319
Откуда: Мариуполь
А какие индексы используются? rowindex или columnindex?


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 9 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: Yandex [Bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB