SAPфорум.RU
https://sapboard.ru/forum/

Ускорение загрузки в куб
https://sapboard.ru/forum/viewtopic.php?f=12&t=95305
Страница 1 из 1

Автор:  Gek [ Чт, авг 17 2017, 15:26 ]
Заголовок сообщения:  Ускорение загрузки в куб

Добрый день.

Подскажите плиз методики ускорения загрузки данных в куб.

Условия:
Дельта загрузка из ДСО в Куб - паралельность 4, размер пакета 50к.
Есть фильтр на отборе данных, семантические группы не проставлены.
Преобразование 1 к 1... только ДСО в 1,5 раза шире, создание SIDов во время активации.
В кубе 153 поля, из которых порядка 123 признаки и 30 показатели.
BW 7.4 MsSQL.

Дельта в 800к строк загружается 5-6 часов.
В кубе 3 млн строк.
Индекс сноситься.

Про что почитать, где посмотреть?

Автор:  LrK [ Пт, авг 18 2017, 10:22 ]
Заголовок сообщения:  Re: Ускорение загрузки в куб

Посмотрите в мониторе загрузки DTP какой именно процесс занимает дольше всего времени: Экстракция, Трансформация (преобразование) или Обновление?
У нас например долго висел процесс выбора данных из исходной DSO, так как также как у вас были фильтры на выбор данных. Помогло создание индекса на DSO на фильтруемых инфо-объектах.
Загрузка с 8 часов сократилась до 30 минут.

Автор:  Gek [ Пт, авг 18 2017, 10:50 ]
Заголовок сообщения:  Re: Ускорение загрузки в куб

"Определить или отозвать ИдОД" (Find or Take SIDs) - 20 минут для 17к записей.

Выборка - моментная, преобразования - моментные, запись - моментная.

Автор:  Air_demon [ Пт, авг 18 2017, 11:18 ]
Заголовок сообщения:  Re: Ускорение загрузки в куб

В RSRV прогоните тесты для всех признаков входящих в состав DSO.

Автор:  Gek [ Пт, авг 18 2017, 13:52 ]
Заголовок сообщения:  Re: Ускорение загрузки в куб

RSRV вообще проблем не нашел.
Прогнал RSDMD_CHECKPRG_ALL (насколько я понимаю это аналог RSRV), выявил ошибку в признаке 0DOC_NUMBER - 500 значений.
Поправил, посмотрю ускорилась ли загрузка.

Автор:  vtb [ Пн, авг 21 2017, 15:15 ]
Заголовок сообщения:  Re: Ускорение загрузки в куб

добрый день!
в DTP заходили в настройки менеджера партий? там можно увеличить число параллельных процессов при загрузке
иногда это помогает
результаты можно отслеживать через обзор фоновых заданий

Автор:  Gek [ Вт, авг 22 2017, 11:54 ]
Заголовок сообщения:  Re: Ускорение загрузки в куб

Заходили, у нас 4 CPU и стоит паралельность 4 потока.
Это может увеличить скорость обработки общей.. но как снизить обработку одной сессии?

Автор:  vtb [ Вт, авг 22 2017, 14:11 ]
Заголовок сообщения:  Re: Ускорение загрузки в куб

попробуйте поставить 7 или 10.
потом посмотрите фоновые задания, если они распараллелятся, то должно быть ускорение.
я так понял, что Вам надо увеличить общую скорость загрузки.
посмотрите может быть в сторону оптимизации структуры куба, если есть такая возможность.
если в фильтре на DTP есть исключения, попробуйте заменить их ограничениями. тоже может помочь.
в интернете есть отдельные how to по оптимизации быстродействия bw, почитайте их, там могут быть подходящие варианты.

Автор:  qwerty [ Пт, окт 20 2017, 14:42 ]
Заголовок сообщения:  Re: Ускорение загрузки в куб

А какие индексы используются? rowindex или columnindex?

Страница 1 из 1 Часовой пояс: UTC + 3 часа
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
http://www.phpbb.com/