Добрый день.

Требуется загрузить в BW большой объем данных (около 30 млн строк) из внешнего источника.
Как вариант рассматриваем закачку из CSV.
Имеем 3 сервера (основной и 2 апликейшена).
Создал PSA с загрузкой из сервера приложений, без последующих обработок.
Файл для загрузки весит около 600 МБ и имеет более 3х млн. строк
Если просто загружать, подключаются все 3 сервера и загрузка вылетает минут через 5-15, по проблеме "В BW не поступило подтверждение об окончании из ис".
Если загружать через 1 сервер, то грузиться очень долго... 3 млн записей - 3 часа.

Подтолкните где порыться/что донастроить в загрузке... врядли такие скорости есть норма....

Из опыта:
- уберите из инфо-источника все проверки на соответствии инфо-объектам (если можете)
- сократите кол-во строк... (сам был в шоке, когда 3 строки объединили в одну, на больших объемах это дает выйгрыш)
- в случае загрузки на 1м сервере, увеличте число диалоговых процессов
- положите файл на application

А какие объемы можно качать через CSV?
Как оказалось мы ошиблись порядком и надо закачать около 180 млн строк в PSA.

Поставил закачку файла с сервака в много потоков... вдает не более 1 млн в час и то, скорость постоянно падает...
Думаю возможно ли еще чтото подкрутить или уже нет.

Можно увеличить размер пакета sbiw-Общие параметры настройки-Ведение управляющих параметров для переноса данных.
Там есть неплохое описание. Подкрутите для исходной системы типа файл максимальное число строк (или размер в кб) и число диалоговых процессов.

Еще вот советуют ASCII файлы исползовать, если возможно:
http://www.erphowtos.com/sap-bw/34-impr ... files.html

Вообще, у вас реально параллельно загружается? В sm50 занято несколько процессов? Памяти хватает, много ее используется в ходе загрузки? (st02, Curr.Use % CurUse[KB]).

Еще стоит активировать статистику BW и посмотреть потом в st03 на что тратиться время при загрузки. Возможно, это настройки БД или ее версия влияет. Есть также рекомендации от сапа по настройкам специально для BW, думаю найти на service.sap.com не проблема.

Посмотрел - загрузка запускается многопоточная...
Грузятся по 10к значений одновременно более 10 штук, которые деляться на пакеты по 1 к...
В SBIW вообще никаких настроек по размерам нет...
Со временем скорость падает...

Нигде не могу найти как настроить загрузку PSA (число записей в пакетах)
Количество процессов и количество серверов проводящих обработку настраивается.
Вид/тип данных и наличии или нет постобработки тоже.
Но этого мало... 1-2 млн записей в час слишком долго..

Хотелось бы услышать советы/ссылку на легбез и т.п. по поводу закачки большого объема информации (более 100 млн строк, около 7 гигов) из Не САП источника (MS SQL).
Развернуть DB Connector возможности нет, так как нужен виндовый апликейшен, а базисник его не в состоянии сейчас развернуть.
Как еще можно извернуться... или нудно читать мат часть???

1к - это очень мало. Поставьте для начала 10 000, а воообще можно увеличивать пока не начнутся ошибки в загрузке.
Настраивается тут:
sbiw-Общие параметры настройки-Ведение управляющих параметров для переноса данных.
Если там нет записи для исходной целевой системы типа файл, ее надо создать. Затем в столбец МаксСтрок внести 10 000.

Еще можно индивидуально для каждого пакета настраивать - в ведении инфо-пакета выбрать вверху в меню:
Планировщик-ИстДанн: Предварит настрока переноса данных. Но там можно указать не больше, чем уже указано в sbiw.

1. Подготовь файл для загрузки:
 - Формат файла: ASCII
 - Раздели один файл на несколько частей
 - Длинная строка лучше, чем большее число строк 

2. Настрой параметры источника данных
 - Формат данных: ASCIICONV
- Адаптер: OPEN_DS ( с AS)
- Убери все правила преобразования для полей ИЛИ установи галку «PSA в символьном формате» 

3. Установи параметры инфопакета
- Создай несколько пакетов – по числу частей файла
- Установи параллельную обработку: укажи число процессов (по умолчания 3) и группу серверов для загрузки  (RZ12)
- При необходимости увеличь время таймаута (по умолчанию 7 часов)
- Настрой число записей для каждого пакета в отдельности (Shift+F8) или вообще – RSCUSTV6. Конкретных значений не дашь, т.к. все будет зависит от технических возможностей сервера.
 
4. Цепочка загрузки
- Собери все пакеты в цепочку и запускай пакеты параллельно.

Еще:
- Спланируй время запуска на время минимальной загрузки системы.
- Если возможно - увеличь число доступных процессов.
- Посоветуйся с базисом – м.б. можно оптимизировать таблицу PSA  (/BIC/B*)
- Убедись в возможностях сети, если DB и APP серверы установлены на разных машинах. В таком случае лучше грузить сразу на DB.
- Ну еще проверь настройки параметров профиля: rsdb/obj* , rsdb/esm* и rsdisp/*. Но это больше к базису.

Всем спасибо за советы - очень помогло.

Надо было грамотно читать курсы =) в одном из них было прописано пару строк...
Настройка закачки для внешнх систем в SBIW и для CSV файлов в RSCUSTV6.

Поправил последнее и 80 млн записей за час...

Какие значения параметров установили?

Частота IDOC статуса 10
Размер пакета 100000
Размер раздела

Число процессов 10 Параллельная обработка