Текущее время: Пн, авг 18 2025, 13:40

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 26 ]  На страницу 1, 2  След.
Автор Сообщение
 Заголовок сообщения: Доступность данных в отчетах
СообщениеДобавлено: Вт, мар 10 2009, 17:44 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Цепочка загрузки построена таким образом, что данные в целевой куб попадают в несколько этапов.
Основные процессы за один цикл загрузки следующие:

Удаление индексов
1-й запрос
2-й запрос
Создание индексов
Сжатие куба

Процесс загрузки происходит 5 раз в день. Пользователи активны в течение всего рабочего дня.
Каким образом синхронизировать доступ пользователей к отчетам? То есть пользователи должны всегда
видеть данные в кубе после этапа сжатия. Грубо говоря все пять этапов должны представлять собой транзакцию,
иначе отчеты поплывут. Как этого добиться? Заранее спасибо


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Вт, мар 10 2009, 23:07 
Старший специалист
Старший специалист
Аватара пользователя

Зарегистрирован:
Вт, янв 30 2007, 17:10
Сообщения: 488
А чем по вашему будут отличаться данные после 3-го этапа и 5-го???

_________________
Карма - это суперпозиция граблей, на которые мы уже успели наступить, но которые еще не долетели...


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Ср, мар 11 2009, 10:42 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
После 3 и 5 ничем, за исключением того факта, что отсутствие индексов (а также их построение) приведет к
замедлению выполнения запросов со стороны пользователей. А вот после второго пользователи получат несогласованные данные,
так как сразу после загрузки 1-го запроса он получит статус "доступен для отчетов" (как загрузить данные в куб и оставить их
недоступными для отчетов я не понял, если честно). Пока идея использовать ограничеие в отчетах по ид. запросов = 0, то есть сжатых.
Может есть другие решения? Не охота все отчеты редактировать


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Ср, мар 11 2009, 10:45 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Ср, авг 16 2006, 03:22
Сообщения: 464
Пол: Мужской
Через другую цель грузить?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Ср, мар 11 2009, 12:38 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Зачем же искусственно увеличивать время загрузки?


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Ср, мар 11 2009, 17:26 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
При ограничении запроса по 0REQUID = 0 (не присвоено) выскакивает сообщение про отключенный кэш (чую, что это плохо) и актуальность от 0 -> 9. Фиг поймешь, чем BEX не доволен ... Может кто знает о чем речь?

Если делать через дополнительную цель... то придется сначала 1-й запрос гнать в некий промежуточный куб, затем 2-й туда же... а затем из промежуточного делать полное обновление в целевой? А в это случае запросы из промежуточного ложатся как один?

Просто решаю что же делать... то ли запросы править, то ли промежуточные кубы вводить :wink:


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Ср, мар 11 2009, 17:29 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Ср, авг 16 2006, 03:22
Сообщения: 464
Пол: Мужской
А почему 2 запроса? из разных источников идут?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Ср, мар 11 2009, 18:12 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Схема загрузки сложная... два это еще мало... может будет и три


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Ср, мар 11 2009, 18:28 
Старший специалист
Старший специалист

Зарегистрирован:
Вт, дек 23 2008, 17:09
Сообщения: 315
murmur написал:
Зачем же искусственно увеличивать время загрузки?

Имхо, ожидание сжатия запросов тоже отодвигает момент доступности данных. Если решите все же править отчеты, то можно попробовать извратиться и на переменной-экзите исключать из рассмотрения один-два последних запроса в зависимости от их состояния.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Чт, мар 12 2009, 11:31 
Директор
Директор
Аватара пользователя

Зарегистрирован:
Вс, июн 26 2005, 22:41
Сообщения: 1135
Откуда: Москва
Пол: Мужской
murmur написал:
Просто решаю что же делать... то ли запросы править, то ли промежуточные кубы вводить :wink:

Вводить промежуточные кубы.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Чт, мар 12 2009, 11:42 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Ср, авг 16 2006, 03:22
Сообщения: 464
Пол: Мужской
Попробовал 0REQUID = # (не присвоено) сделать не в фильтре а в значениях по умолчанию, вроде не ругается


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Чт, мар 12 2009, 13:58 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Да, вроде не ругается... знать бы еще почему :wink:

Еще проблемка такая. Кубов шесть штук... они все объединены в мультикуб.
В процессе загрузки данные в каждом из кубов становятся доступны для отчетов
в разное время... следовательно, в какой-то момент времени пользователь обратившись
к мультикубу через отчет получит несогласованные данные?! А тут как быть?! :wink:


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Чт, мар 12 2009, 14:01 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Ср, авг 16 2006, 03:22
Сообщения: 464
Пол: Мужской
Не ругается потому как данные из куба сначала выбираются все, а потом то что выбралось фильтруется по 0REQUID = #


Последний раз редактировалось Lench Чт, мар 12 2009, 14:15, всего редактировалось 2 раз(а).

Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Чт, мар 12 2009, 14:03 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Это не объясняет "почему не ругается" :wink:

А как насчет второй части вопроса?


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Чт, мар 12 2009, 14:15 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Ср, авг 16 2006, 03:22
Сообщения: 464
Пол: Мужской
По второму вопросу придумал :D

Тогда схема будет иная, без фильтрации по 0REQUID = #. Можно сделать виртуальный признак, который для новых запросов всегда 1. Как только все загрузки одного этапа завершились успешно, признак принимает значение 0. В отчете настроен фильтр по значению признака. Прийдется немного поабапить ))

Если данных много, то эта схема может не прокатить
Тогда, как вариант, остается грузить через промежуточную цель

Online написал(а):
Имхо, ожидание сжатия запросов тоже отодвигает момент доступности данных. Если решите все же править отчеты, то можно попробовать извратиться и на переменной-экзите исключать из рассмотрения один-два последних запроса в зависимости от их состояния.

А так возможно будет даже быстрее


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 26 ]  На страницу 1, 2  След.

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: Yandex [Bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB