Текущее время: Чт, авг 07 2025, 15:35

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 12 ] 
Автор Сообщение
 Заголовок сообщения: Параллельная загрузка
СообщениеДобавлено: Вт, фев 21 2012, 09:45 
Ассистент
Ассистент

Зарегистрирован:
Вт, ноя 23 2010, 12:16
Сообщения: 40
Подскажите, пожалуйста, как лучше осуществлять параллельную загрузку данных в куб. .Я пытался вызывать одновременно один DTP с разными параметрами фильтра, но система позволяет одновременно запускать только разные DTP, а такой вариант мне не подходит.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Вт, фев 21 2012, 13:13 
Младший специалист
Младший специалист
Аватара пользователя

Зарегистрирован:
Чт, июл 28 2011, 20:21
Сообщения: 88
Откуда: Кибертрон
Пол: Мужской
Можно поставить кол-во параллельных процессов для DTP: открыть DTP, выбрать команду основного меню: GoTo->Settings for Batch Manager, установить необходимое число процессов и сохранить. Для этого DTP будет действовать эта установка.

_________________
Порхаю как пчела, жалю как бабочка.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Вт, фев 21 2012, 13:36 
Ассистент
Ассистент

Зарегистрирован:
Вт, ноя 23 2010, 12:16
Сообщения: 40
Спасибо,но это не то. Данная настройка не позволяет вызывать ( например, через фм) один и тот же пакет несколько раз параллельно.
Это возможно в принципе?


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Вт, фев 21 2012, 14:00 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Ср, фев 09 2011, 07:19
Сообщения: 753
Откуда: Сибирь
Пол: Мужской
sanura написал(а):
Спасибо,но это не то. Данная настройка не позволяет вызывать ( например, через фм) один и тот же пакет несколько раз параллельно.
Это возможно в принципе?

Скажите, а для каких целей может понадобиться такая параллельная загрузка?

_________________
Ешьте рыбу, в ней фосфор.
__
Чат в Telegram по SAP BW: http://t.me/BW_SAP


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Вт, фев 21 2012, 14:24 
Ассистент
Ассистент

Зарегистрирован:
Вт, ноя 23 2010, 12:16
Сообщения: 40
грузил данные из плоского файла через DSO, получается очень долго. Грузим теперь напрямую в куб. Чтобы ускорить процесс хочется сразу запускать много параллельных пакетов, которые удаляются по имени более новыми.

Может есть более рациональный способ?


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Вт, фев 21 2012, 17:27 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
Из вариантов создать пачку процессов переноса с неперекрывающимися фильтрами (по заводу/БЕ или датам)...
И запускать все одновременно в кучу потоков...
Из ДСО в куб должно рокатить...

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Ср, фев 22 2012, 08:28 
Ассистент
Ассистент

Зарегистрирован:
Вт, ноя 23 2010, 12:16
Сообщения: 40
да, пришлось пачку делать.
Из ДСО в куб прокатывает, но очень долго. Активация ДСО -самый долгий процесс


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Ср, фев 22 2012, 10:31 
Специалист
Специалист

Зарегистрирован:
Чт, фев 24 2005, 17:48
Сообщения: 160
Откуда: Красногорск
Для активации DSO тоже можно настроить количество процессов.
Главное не забейте все :)


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Ср, фев 22 2012, 19:34 
Начинающий
Начинающий

Зарегистрирован:
Ср, янв 17 2007, 20:27
Сообщения: 22
Отключите генерацию сидов на ДСО, если не планируете стоить на нем отчеты.
При загрузке в куб сиды будут генерится праллельными потоками (мона настроить
их количество). Как правило это значительно ускоряет процесс.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Пт, фев 24 2012, 12:20 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
А как настроить количество процессов при активации данных?

И кстати, может подскажите, как можно ускорить процесс сжатия куба.
Сделана инфраструктура по запасу с хранимими каждодневными данными.
Соответсвенно все заливается в куб в 3 захода (собственный запас, консигнация, переоценки) и после каждой заливки сжимаем куб.
Процесс довольно продолжительный - сжатие может быть от 30 минут до 3х-5ти часов.
Галка о "скрытии нулей" стоит.

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Пт, фев 24 2012, 15:23 
Специалист
Специалист

Зарегистрирован:
Чт, фев 24 2005, 17:48
Сообщения: 160
Откуда: Красногорск
А может три отдельных куба сделать и через мультик работать.

И грузить сможете паралельно и сжимать и уровень абстракции получите дополнительный и паралельную выборку данных из куба обеспечите. Хотя все зависит от модели, конечно.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Пт, фев 24 2012, 19:42 
Начинающий
Начинающий

Зарегистрирован:
Ср, янв 17 2007, 20:27
Сообщения: 22
Gek написал(а):
А как настроить количество процессов при активации данных?


Транзакция RSBATCH


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 12 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB