Добрый день.

Подскажите как лучше организовать следующую задачу:

В САПе ведется ПЗ (признак закупаемости Товара на Завод - таблица около 15 млн. записей).
Он ежедневно может меняться на 1-5 % (100 тыс. -2 млн. записей).
Сделали самописный источник данных который вытаскивает из таблицы значения с ПЗ=1, их примерно 6 млн - полная загрузка.
В BW надо иметь признак (на который завязано много агрегатов на кубах), который содержит актуальное состояние ПЗ в САПе.

На мой взгляд есть 2 варианта:
1) Обнулять текущее состояние в BWном признаке и полностью его грузить.
Но подозреваю что слишком долго будет идти прогон изменений.

2) Сделать загрузку из источника данных в ОДС и от туда уже проводить загрузку в признак.
Тут проблема в том, что надо как-то вычленить обнуление ПЗ с момента последней загрузки.
В голову приходит только провести сравнение загружаемых данных и текущих.
Если в текущих есть строки (ключевые) которых нет в загружаемых, то их при активации данных обнулять (это и будет обнуление ПЗ в САПе).

Если у кого-то есть идеи или уже реализовывали что-то подобное буду очень рад советам.

Думаю, надо экстрактор допиливать, чтобы дельту давал. А то сегодня 6 млн, а через месяц еще столько же....

Были подобные задачи...

1. По возможности - расширяли исходную систему... в исходной всего лишь нужен timestamp и generic delta готова, а так в BI целый огород. Да и огород этот не высокопроизводительный ни разу. Попробуйте поговорить похорошенму с функциональщиками... если не выйдет... замерьте скорость текущего решения и к application manager'y


Огород:

2. Делали прогрузку DSO саму на себя с full c очисткой - но без активации... потом full из исходной (в вашем случае с ограничением), активация... дельта в признак. (основная причина почему так сделали - надо было компенсировать удаление записи в исходной таблице)

3. Создали в исходной Z-table куда писалcя ключ, timestamp и Флаг удаления. Далее в view на z-table и исходной и generic delta. (причина - на отрез отказались модифицировать стандартную таблицу, но было BADI на изменение - туда и вклинились. С одной стороны - +1 таблица в ERP, тоже нифига не маленькая... с другой - BI уже получает только нужные данные)

Огород:

2. Делали прогрузку DSO саму на себя с full c очисткой - но без активации... потом full из исходной (в вашем случае с ограничением), активация... дельта в признак. (основная причина почему так сделали - надо было компенсировать удаление записи в исходной таблице)

А можно поподробней как делать прогрузку ОДС на себя с фул очисткой... или ссылку на док...
Буду очень благодарен.
И не совсем понятен принцип...
Требуется 2 ОДС?

Извините, a какая у Вас версия системы?

странный признак. истории нету. перетерли и забыли))) ну если честно, то это в SAP кто-то уже криво что-то внедряет и это "криво" вы будете гнать в BW. и что дает признак "на сейчас" непонятно.
если это какое-то транзакционное значение "на сегодня", то может и не стоит его в мастер-данные грузить?

Версия SAP NetWeaver BI 7.0 SAPKW70022

Смысл признака в том, что он сохраняется в ОДС подневно (дабы потом на оснвое этого ОДС делать серьзный анализ) и должен присутствовать в признаке (с данными на вчера).
Так как источник данных заточен на полное извлечение только активных данных (не дельта-источник и врядли им станет, ибо слишком большая и сложная выборка данных, как говорят), то для заполнения данных признака требуются извращения.

Как я понимаю варианты решения:
1) Настроить дельта источник - не дают в ЕРП
2) Ежедневно делать полное удаление и полную заливку в признаке - слишком долгая активация агрегатов.
3) Сделать загрузку из DSO саму в себя + загрузку из PSA с последующей активацией. Полученную дельту грузить в признак.

Сейчас пытаюсь организовать 3ий вариант (но опыта пока мало), и нахожусь в задумчивости правильно ли я понял про его реализацию.

Подскажите так ли надо делать и может есть еще какие-либо методы?

Ну сообственно как и писал.

1. Делаете трансформацию из DSO в неё же.
2. Все значения которые надо занулить делаете #
3. Пакет на эту трансформацию - full

1. добавляем в dso поле-флаг ZFLAG type char(1)
2. в правилах обновления из R/3 в ZFLAG пишите 'X' для всех материалов, которые пришли сегодня.
3. после загрузки из R/3 активируете DSO!
4. на правилах обновления из себя в себя пишете несложный код, как то - для записей, где материал активен и ZFLAG <> 'X', то 0RECORDMODE = 'D' и тут же для всех записей пишете сброс флага ZFLAG. должно работать.
5. активируем DSO

good luck