Текущее время: Вт, авг 05 2025, 14:55

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 4 ] 
Автор Сообщение
 Заголовок сообщения: Архитектура ОДС для экстракции данных во внешную систему
СообщениеДобавлено: Чт, июн 14 2012, 10:03 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
Добрый день, есть задача "построить хранилище данных для экспорта во внешную систему напрямую из базы".
Есть поток данных - параметры товаров (заливаются ежедневно, на текущую дату, не меняются исторически, из 2х источников - поставляющих разные части).
Примерно 60 млн. строк в месяц.
Данные будут забираться напрямую из Оракла во внешную систему, ежедневно за последний день.
BW 7,0,

Сейчас взвешиваем варианты:
1) Строить простой ОДС и разбивать его помесячно
2) Строить простой ОДС и разбивать его по годам
3) Попытаться построить ОДС с инкрементальным обновлением и разбивать его по месяцам/годам

Есть ряд вопросов:
Что посоветуете?
1) На каком объеме данных ОДС будут крутиться - 720 млн строк в год будут нормально заливаться и активироваться или лучше разбить на месяцы.
2) Возможно ли тут создавать ОДС с инкрментальным обновлением/имеет ли смысл?

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Архитектура ОДС для экстракции данных во внешную систему
СообщениеДобавлено: Чт, июн 14 2012, 13:25 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Цель этого грандиозного хранилища "залить в ODS"?! И все?!
Ну тогда заливать по 60 / 22 (если только по рабочим дням) = 2,7 млн в день в ODS, оптимизированный для записи, а если потребуется обычный ODS, тогда в настройках указать без создания SID-ов, чтобы активация быстрее проходила


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Архитектура ОДС для экстракции данных во внешную систему
СообщениеДобавлено: Чт, июн 14 2012, 13:44 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
Цель - использовать BW как хранилище... соответсвенно думаем что для этого оптимально подойдет ОДС (так как есть только одна таблица +- строяться доп индексы)... только вот какого вида?

Правильно ли я понимаю, что если ОДС будет использоваться во внешней системе, то можно убрать галку по формированию SIDов - в таком случае загрузка будет быстрей, но будет утеряна проверка признаков на консистентность со справочниками?

Ну сейчас в ОДС 2 млн записей заливаются за час (каждый день, в том числе и выходной). В самом BW данные не будут использоваться.

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Архитектура ОДС для экстракции данных во внешную систему
СообщениеДобавлено: Чт, июн 14 2012, 16:04 
Начинающий
Начинающий
Аватара пользователя

Зарегистрирован:
Пт, авг 24 2007, 09:44
Сообщения: 15
Галочка "отключить генерация SID" ускорит не загрузку, а активацию данных, на консистентность данных это не влияет. SID в ODS нужны в основном для системы отчетности, если SID'ов нет , то при построении запросов, они будут генерироваться. Вывод: если не планируете строить отчетность средствами BEx, тогда SID можно выключать.


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 4 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB