SAPфорум.RU https://sapboard.ru/forum/ |
|
Ускорение загрузки в куб https://sapboard.ru/forum/viewtopic.php?f=12&t=95305 |
Страница 1 из 1 |
Автор: | Gek [ Чт, авг 17 2017, 15:26 ] |
Заголовок сообщения: | Ускорение загрузки в куб |
Добрый день. Подскажите плиз методики ускорения загрузки данных в куб. Условия: Дельта загрузка из ДСО в Куб - паралельность 4, размер пакета 50к. Есть фильтр на отборе данных, семантические группы не проставлены. Преобразование 1 к 1... только ДСО в 1,5 раза шире, создание SIDов во время активации. В кубе 153 поля, из которых порядка 123 признаки и 30 показатели. BW 7.4 MsSQL. Дельта в 800к строк загружается 5-6 часов. В кубе 3 млн строк. Индекс сноситься. Про что почитать, где посмотреть? |
Автор: | LrK [ Пт, авг 18 2017, 10:22 ] |
Заголовок сообщения: | Re: Ускорение загрузки в куб |
Посмотрите в мониторе загрузки DTP какой именно процесс занимает дольше всего времени: Экстракция, Трансформация (преобразование) или Обновление? У нас например долго висел процесс выбора данных из исходной DSO, так как также как у вас были фильтры на выбор данных. Помогло создание индекса на DSO на фильтруемых инфо-объектах. Загрузка с 8 часов сократилась до 30 минут. |
Автор: | Gek [ Пт, авг 18 2017, 10:50 ] |
Заголовок сообщения: | Re: Ускорение загрузки в куб |
"Определить или отозвать ИдОД" (Find or Take SIDs) - 20 минут для 17к записей. Выборка - моментная, преобразования - моментные, запись - моментная. |
Автор: | Air_demon [ Пт, авг 18 2017, 11:18 ] |
Заголовок сообщения: | Re: Ускорение загрузки в куб |
В RSRV прогоните тесты для всех признаков входящих в состав DSO. |
Автор: | Gek [ Пт, авг 18 2017, 13:52 ] |
Заголовок сообщения: | Re: Ускорение загрузки в куб |
RSRV вообще проблем не нашел. Прогнал RSDMD_CHECKPRG_ALL (насколько я понимаю это аналог RSRV), выявил ошибку в признаке 0DOC_NUMBER - 500 значений. Поправил, посмотрю ускорилась ли загрузка. |
Автор: | vtb [ Пн, авг 21 2017, 15:15 ] |
Заголовок сообщения: | Re: Ускорение загрузки в куб |
добрый день! в DTP заходили в настройки менеджера партий? там можно увеличить число параллельных процессов при загрузке иногда это помогает результаты можно отслеживать через обзор фоновых заданий |
Автор: | Gek [ Вт, авг 22 2017, 11:54 ] |
Заголовок сообщения: | Re: Ускорение загрузки в куб |
Заходили, у нас 4 CPU и стоит паралельность 4 потока. Это может увеличить скорость обработки общей.. но как снизить обработку одной сессии? |
Автор: | vtb [ Вт, авг 22 2017, 14:11 ] |
Заголовок сообщения: | Re: Ускорение загрузки в куб |
попробуйте поставить 7 или 10. потом посмотрите фоновые задания, если они распараллелятся, то должно быть ускорение. я так понял, что Вам надо увеличить общую скорость загрузки. посмотрите может быть в сторону оптимизации структуры куба, если есть такая возможность. если в фильтре на DTP есть исключения, попробуйте заменить их ограничениями. тоже может помочь. в интернете есть отдельные how to по оптимизации быстродействия bw, почитайте их, там могут быть подходящие варианты. |
Автор: | qwerty [ Пт, окт 20 2017, 14:42 ] |
Заголовок сообщения: | Re: Ускорение загрузки в куб |
А какие индексы используются? rowindex или columnindex? |
Страница 1 из 1 | Часовой пояс: UTC + 3 часа |
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group http://www.phpbb.com/ |