Текущее время: Вт, июн 24 2025, 13:18

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 4 ] 
Автор Сообщение
 Заголовок сообщения: Загрузка в куб realtime
СообщениеДобавлено: Пт, май 30 2014, 13:58 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, фев 16 2006, 15:46
Сообщения: 451
Откуда: Россия
Привет всем.

Тут появилась такая задачка. Есть большой куб с условно, ZBIGDATA данными. Он грузится из DSO ZBIGDSO. Хочется обновлять данные в нём каждый час или даже чаще.

Проблема, что при загрузке нужно сносить из куба индексы. На этот момент все отчёты, конечно, работать не будут. Если система по какой-то причине падает, то отчёты не будут работать долго, пользователи недовольны, всё плохо, кушать нечего, попса одна по ящику.

Как вариант схемы, есть такой: делаем куб "догрузки" ZBIGDATA_DAY, куда грузим только новые данные из ZBIGDSO, а ночью дозагружаем всё из ZBIGDSO и ZBIGDATA и чистим ZBIGDATA_DAY.

На ZBIGDATA и ZBIGDATA_DAY строим мультипровайдер, и получается всё (вроде?) очень шоколадно. Даже если загрузки падают, то мы просто не видим свежей информации, что совсем не так плохо как если мы не видим всей. Если индексы на свежем кубе падают, то отчёты всё равно работают, т.к. данных там не очень много, ну можно и без индекса худо-бедно переворить.

Вопрос - как элегантнее всего сделать загрузку в ZBIGDATA_DAY только новых данных из ZBIGDSO, т.е. только тех, которые появились с момента последней загрузки основной цепочки.

_________________
Ян Владимирович,
http://www.vladimirovich.net


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Загрузка в куб realtime
СообщениеДобавлено: Сб, май 31 2014, 09:17 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Ну и в чем, собственно, проблема?! :wink: Почистили ваш ZBIGDATA_DAY ночью и тут же выполнили в него инициализацию без переноса данных из ZBIGDSO. Днем обычная дельта раз в час


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Загрузка в куб realtime
СообщениеДобавлено: Вс, июн 01 2014, 18:36 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, фев 16 2006, 15:46
Сообщения: 451
Откуда: Россия
Дельта пакет к кубу может быть только один, вот в чём проблема.

_________________
Ян Владимирович,
http://www.vladimirovich.net


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Загрузка в куб realtime
СообщениеДобавлено: Вс, июн 01 2014, 20:14 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Что такое "дельта пакет"?! Вы грузите через инфо-пакеты или DTP? Скорее всего через DTP, т.к. для инфо-пакета создать пакет инициализации без переноса данных не составит труда. В случае с DTP, пакет, настроенный на загрузку дельты, может быть использован как для самой дельты, так и для ее инициализации без переноса данных, если запускать его вручную. Однако такой режим не работает в цепочках. На SDN-е достаточно примеров, как программно вызвать DTP без передачи данных для инициализации дельты.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 4 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: Ahrefs [Bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB