Текущее время: Ср, авг 06 2025, 22:08

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 12 ] 
Автор Сообщение
 Заголовок сообщения: Параллельная загрузка
СообщениеДобавлено: Вт, фев 21 2012, 09:45 
Ассистент
Ассистент

Зарегистрирован:
Вт, ноя 23 2010, 12:16
Сообщения: 40
Подскажите, пожалуйста, как лучше осуществлять параллельную загрузку данных в куб. .Я пытался вызывать одновременно один DTP с разными параметрами фильтра, но система позволяет одновременно запускать только разные DTP, а такой вариант мне не подходит.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Вт, фев 21 2012, 13:13 
Младший специалист
Младший специалист
Аватара пользователя

Зарегистрирован:
Чт, июл 28 2011, 20:21
Сообщения: 88
Откуда: Кибертрон
Пол: Мужской
Можно поставить кол-во параллельных процессов для DTP: открыть DTP, выбрать команду основного меню: GoTo->Settings for Batch Manager, установить необходимое число процессов и сохранить. Для этого DTP будет действовать эта установка.

_________________
Порхаю как пчела, жалю как бабочка.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Вт, фев 21 2012, 13:36 
Ассистент
Ассистент

Зарегистрирован:
Вт, ноя 23 2010, 12:16
Сообщения: 40
Спасибо,но это не то. Данная настройка не позволяет вызывать ( например, через фм) один и тот же пакет несколько раз параллельно.
Это возможно в принципе?


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Вт, фев 21 2012, 14:00 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Ср, фев 09 2011, 07:19
Сообщения: 753
Откуда: Сибирь
Пол: Мужской
sanura написал(а):
Спасибо,но это не то. Данная настройка не позволяет вызывать ( например, через фм) один и тот же пакет несколько раз параллельно.
Это возможно в принципе?

Скажите, а для каких целей может понадобиться такая параллельная загрузка?

_________________
Ешьте рыбу, в ней фосфор.
__
Чат в Telegram по SAP BW: http://t.me/BW_SAP


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Вт, фев 21 2012, 14:24 
Ассистент
Ассистент

Зарегистрирован:
Вт, ноя 23 2010, 12:16
Сообщения: 40
грузил данные из плоского файла через DSO, получается очень долго. Грузим теперь напрямую в куб. Чтобы ускорить процесс хочется сразу запускать много параллельных пакетов, которые удаляются по имени более новыми.

Может есть более рациональный способ?


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Вт, фев 21 2012, 17:27 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
Из вариантов создать пачку процессов переноса с неперекрывающимися фильтрами (по заводу/БЕ или датам)...
И запускать все одновременно в кучу потоков...
Из ДСО в куб должно рокатить...

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Ср, фев 22 2012, 08:28 
Ассистент
Ассистент

Зарегистрирован:
Вт, ноя 23 2010, 12:16
Сообщения: 40
да, пришлось пачку делать.
Из ДСО в куб прокатывает, но очень долго. Активация ДСО -самый долгий процесс


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Ср, фев 22 2012, 10:31 
Специалист
Специалист

Зарегистрирован:
Чт, фев 24 2005, 17:48
Сообщения: 160
Откуда: Красногорск
Для активации DSO тоже можно настроить количество процессов.
Главное не забейте все :)


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Ср, фев 22 2012, 19:34 
Начинающий
Начинающий

Зарегистрирован:
Ср, янв 17 2007, 20:27
Сообщения: 22
Отключите генерацию сидов на ДСО, если не планируете стоить на нем отчеты.
При загрузке в куб сиды будут генерится праллельными потоками (мона настроить
их количество). Как правило это значительно ускоряет процесс.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Пт, фев 24 2012, 12:20 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
А как настроить количество процессов при активации данных?

И кстати, может подскажите, как можно ускорить процесс сжатия куба.
Сделана инфраструктура по запасу с хранимими каждодневными данными.
Соответсвенно все заливается в куб в 3 захода (собственный запас, консигнация, переоценки) и после каждой заливки сжимаем куб.
Процесс довольно продолжительный - сжатие может быть от 30 минут до 3х-5ти часов.
Галка о "скрытии нулей" стоит.

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Пт, фев 24 2012, 15:23 
Специалист
Специалист

Зарегистрирован:
Чт, фев 24 2005, 17:48
Сообщения: 160
Откуда: Красногорск
А может три отдельных куба сделать и через мультик работать.

И грузить сможете паралельно и сжимать и уровень абстракции получите дополнительный и паралельную выборку данных из куба обеспечите. Хотя все зависит от модели, конечно.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Параллельная загрузка
СообщениеДобавлено: Пт, фев 24 2012, 19:42 
Начинающий
Начинающий

Зарегистрирован:
Ср, янв 17 2007, 20:27
Сообщения: 22
Gek написал(а):
А как настроить количество процессов при активации данных?


Транзакция RSBATCH


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 12 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: Yandex [Bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB