Текущее время: Пн, окт 23 2017, 00:47

Часовой пояс: UTC + 4 часа




Начать новую тему Ответить на тему  [ Сообщений: 9 ] 
Автор Сообщение
 Заголовок сообщения: Ускорение загрузки в куб
СообщениеДобавлено: Чт, авг 17 2017, 16:26 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 18:24
Сообщения: 151
Добрый день.

Подскажите плиз методики ускорения загрузки данных в куб.

Условия:
Дельта загрузка из ДСО в Куб - паралельность 4, размер пакета 50к.
Есть фильтр на отборе данных, семантические группы не проставлены.
Преобразование 1 к 1... только ДСО в 1,5 раза шире, создание SIDов во время активации.
В кубе 153 поля, из которых порядка 123 признаки и 30 показатели.
BW 7.4 MsSQL.

Дельта в 800к строк загружается 5-6 часов.
В кубе 3 млн строк.
Индекс сноситься.

Про что почитать, где посмотреть?

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пт, авг 18 2017, 11:22 
Начинающий
Начинающий

Зарегистрирован:
Пт, авг 18 2017, 11:14
Сообщения: 1
Посмотрите в мониторе загрузки DTP какой именно процесс занимает дольше всего времени: Экстракция, Трансформация (преобразование) или Обновление?
У нас например долго висел процесс выбора данных из исходной DSO, так как также как у вас были фильтры на выбор данных. Помогло создание индекса на DSO на фильтруемых инфо-объектах.
Загрузка с 8 часов сократилась до 30 минут.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пт, авг 18 2017, 11:50 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 18:24
Сообщения: 151
"Определить или отозвать ИдОД" (Find or Take SIDs) - 20 минут для 17к записей.

Выборка - моментная, преобразования - моментные, запись - моментная.

_________________
Нас всех отчислят... как это мило


Последний раз редактировалось Gek Пт, авг 18 2017, 12:25, всего редактировалось 1 раз.

Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пт, авг 18 2017, 12:18 
Почетный гуру
Почетный гуру

Зарегистрирован:
Чт, фев 03 2005, 11:18
Сообщения: 443
В RSRV прогоните тесты для всех признаков входящих в состав DSO.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пт, авг 18 2017, 14:52 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 18:24
Сообщения: 151
RSRV вообще проблем не нашел.
Прогнал RSDMD_CHECKPRG_ALL (насколько я понимаю это аналог RSRV), выявил ошибку в признаке 0DOC_NUMBER - 500 значений.
Поправил, посмотрю ускорилась ли загрузка.

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пн, авг 21 2017, 16:15 
Директор
Директор

Зарегистрирован:
Чт, апр 16 2009, 14:30
Сообщения: 766
Пол: Мужской
добрый день!
в DTP заходили в настройки менеджера партий? там можно увеличить число параллельных процессов при загрузке
иногда это помогает
результаты можно отслеживать через обзор фоновых заданий


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Вт, авг 22 2017, 12:54 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 18:24
Сообщения: 151
Заходили, у нас 4 CPU и стоит паралельность 4 потока.
Это может увеличить скорость обработки общей.. но как снизить обработку одной сессии?

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Вт, авг 22 2017, 15:11 
Директор
Директор

Зарегистрирован:
Чт, апр 16 2009, 14:30
Сообщения: 766
Пол: Мужской
попробуйте поставить 7 или 10.
потом посмотрите фоновые задания, если они распараллелятся, то должно быть ускорение.
я так понял, что Вам надо увеличить общую скорость загрузки.
посмотрите может быть в сторону оптимизации структуры куба, если есть такая возможность.
если в фильтре на DTP есть исключения, попробуйте заменить их ограничениями. тоже может помочь.
в интернете есть отдельные how to по оптимизации быстродействия bw, почитайте их, там могут быть подходящие варианты.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пт, окт 20 2017, 15:42 
Старший специалист
Старший специалист

Зарегистрирован:
Вт, авг 17 2004, 09:49
Сообщения: 316
Откуда: Мариуполь
А какие индексы используются? rowindex или columnindex?


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 9 ] 

Часовой пояс: UTC + 4 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: BingBot и гости: 10


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB