Ребята, возникла такая задача, что нужно из хранилища удалять данные 10 летней давности и всегда за этим следить.

Данные надо зачищать получается в ОДС и Кубе.

Количество записей от 300 000шт и будет больше.

Вот думаю как это в BW реализовать...

Предложения мои теоретические:
Данные добавляются ежедневно из исходной системы. Получается в подпрограмму(при загрузке) можно написать скрипт, который будет ежедневно проходить по всем записям, отыскивать те, у которых дата не входит в диапазон и удалять эти строки в ОДС и Куб.

Как реализовывать пока точно не знаю это, так как в BW работаю 3 месяца всего.

1) Я бы создал настроечную таблицу с двумя полями: цель данных и срок давности.
2) Далее создал бы программу, например такую как здесь, в которой обращался бы к настроечной таблице и определял цель и год за который нужно удалить записи.
3) Вставил программу в цепочку процессов.

на стороне R3 такая процедура называется архивирование данных. Данные из таблиц переносятся в плоский файл на медленный носитель, затем по истечению хранения архива удаляются.
В bw может тоже есть архивирование, поищите. Архивирование idoc я точно видел.
Что касается прямого удаления, то это делается и в одс, и в кубе без проблем, причем как средствами администратора, так и с помощью ABAP кода.
В зависимости от СУБД может понадобиться перестроение индексов после массового удаления данных.
На мой взгляд лучше организация ежемесячного удаления (или раз в год), чем ежедневного.
Удачи!

p.s. Данные поступают в свежих пакетах за 10 летнюю давность?
у Вас фулапдейт или дельта апдейт, уточните пож-та?
если фулапдейт и выбирает старые данные - то в пакете в критериях выбора можно указать переменную со сдвигом

Пока отвечу на простые вопросы

to sergeyt



Нет, данные поступают всегда актуальные, но с течением времени, они все равно будут когда-то старыми. И юристы говорят, что мы не можем хранить эти данные более 10 лет.



Схема такая: Куб(данные должны удалять) <- ОДС(данные должны удалять) <- ОДС

ну вот, в BW про архивирование что-то есть:
ищи на help.sap.com

Data Warehousing\Data Warehouse Management\Information Lifecycle Management\Data Archiving Process


Для 3.5 другая справка.

по архивации BW360

Тут еще подумал, а возможно реализовать так???:
1) Создать трансформацию саму на себя
2) В подпрограмме завершения учесть дату каждой записи и не нужные не добавлять в пакет.
3) Сделать цепочку такую и запускать каждый год.

Я именно так удаляю данные из куба.
Только не по сроку, а просто, когда некорректное что-то попадает.

Подпрограмма-то зачем? В ДТП пишете год и всё. Ежегодную операцию смысла автоматизировать нет -- все будет меняться быстрее, чем операция выполняться.