Текущее время: Пн, авг 18 2025, 11:31

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 26 ]  На страницу 1, 2  След.
Автор Сообщение
 Заголовок сообщения: Доступность данных в отчетах
СообщениеДобавлено: Вт, мар 10 2009, 17:44 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Цепочка загрузки построена таким образом, что данные в целевой куб попадают в несколько этапов.
Основные процессы за один цикл загрузки следующие:

Удаление индексов
1-й запрос
2-й запрос
Создание индексов
Сжатие куба

Процесс загрузки происходит 5 раз в день. Пользователи активны в течение всего рабочего дня.
Каким образом синхронизировать доступ пользователей к отчетам? То есть пользователи должны всегда
видеть данные в кубе после этапа сжатия. Грубо говоря все пять этапов должны представлять собой транзакцию,
иначе отчеты поплывут. Как этого добиться? Заранее спасибо


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Вт, мар 10 2009, 23:07 
Старший специалист
Старший специалист
Аватара пользователя

Зарегистрирован:
Вт, янв 30 2007, 17:10
Сообщения: 488
А чем по вашему будут отличаться данные после 3-го этапа и 5-го???

_________________
Карма - это суперпозиция граблей, на которые мы уже успели наступить, но которые еще не долетели...


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Ср, мар 11 2009, 10:42 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
После 3 и 5 ничем, за исключением того факта, что отсутствие индексов (а также их построение) приведет к
замедлению выполнения запросов со стороны пользователей. А вот после второго пользователи получат несогласованные данные,
так как сразу после загрузки 1-го запроса он получит статус "доступен для отчетов" (как загрузить данные в куб и оставить их
недоступными для отчетов я не понял, если честно). Пока идея использовать ограничеие в отчетах по ид. запросов = 0, то есть сжатых.
Может есть другие решения? Не охота все отчеты редактировать


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Ср, мар 11 2009, 10:45 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Ср, авг 16 2006, 03:22
Сообщения: 464
Пол: Мужской
Через другую цель грузить?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Ср, мар 11 2009, 12:38 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Зачем же искусственно увеличивать время загрузки?


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Ср, мар 11 2009, 17:26 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
При ограничении запроса по 0REQUID = 0 (не присвоено) выскакивает сообщение про отключенный кэш (чую, что это плохо) и актуальность от 0 -> 9. Фиг поймешь, чем BEX не доволен ... Может кто знает о чем речь?

Если делать через дополнительную цель... то придется сначала 1-й запрос гнать в некий промежуточный куб, затем 2-й туда же... а затем из промежуточного делать полное обновление в целевой? А в это случае запросы из промежуточного ложатся как один?

Просто решаю что же делать... то ли запросы править, то ли промежуточные кубы вводить :wink:


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Ср, мар 11 2009, 17:29 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Ср, авг 16 2006, 03:22
Сообщения: 464
Пол: Мужской
А почему 2 запроса? из разных источников идут?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Ср, мар 11 2009, 18:12 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Схема загрузки сложная... два это еще мало... может будет и три


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Ср, мар 11 2009, 18:28 
Старший специалист
Старший специалист

Зарегистрирован:
Вт, дек 23 2008, 17:09
Сообщения: 315
murmur написал:
Зачем же искусственно увеличивать время загрузки?

Имхо, ожидание сжатия запросов тоже отодвигает момент доступности данных. Если решите все же править отчеты, то можно попробовать извратиться и на переменной-экзите исключать из рассмотрения один-два последних запроса в зависимости от их состояния.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Чт, мар 12 2009, 11:31 
Директор
Директор
Аватара пользователя

Зарегистрирован:
Вс, июн 26 2005, 22:41
Сообщения: 1135
Откуда: Москва
Пол: Мужской
murmur написал:
Просто решаю что же делать... то ли запросы править, то ли промежуточные кубы вводить :wink:

Вводить промежуточные кубы.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Чт, мар 12 2009, 11:42 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Ср, авг 16 2006, 03:22
Сообщения: 464
Пол: Мужской
Попробовал 0REQUID = # (не присвоено) сделать не в фильтре а в значениях по умолчанию, вроде не ругается


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Чт, мар 12 2009, 13:58 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Да, вроде не ругается... знать бы еще почему :wink:

Еще проблемка такая. Кубов шесть штук... они все объединены в мультикуб.
В процессе загрузки данные в каждом из кубов становятся доступны для отчетов
в разное время... следовательно, в какой-то момент времени пользователь обратившись
к мультикубу через отчет получит несогласованные данные?! А тут как быть?! :wink:


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Чт, мар 12 2009, 14:01 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Ср, авг 16 2006, 03:22
Сообщения: 464
Пол: Мужской
Не ругается потому как данные из куба сначала выбираются все, а потом то что выбралось фильтруется по 0REQUID = #


Последний раз редактировалось Lench Чт, мар 12 2009, 14:15, всего редактировалось 2 раз(а).

Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Чт, мар 12 2009, 14:03 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Это не объясняет "почему не ругается" :wink:

А как насчет второй части вопроса?


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Доступность данных в отчетах
СообщениеДобавлено: Чт, мар 12 2009, 14:15 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Ср, авг 16 2006, 03:22
Сообщения: 464
Пол: Мужской
По второму вопросу придумал :D

Тогда схема будет иная, без фильтрации по 0REQUID = #. Можно сделать виртуальный признак, который для новых запросов всегда 1. Как только все загрузки одного этапа завершились успешно, признак принимает значение 0. В отчете настроен фильтр по значению признака. Прийдется немного поабапить ))

Если данных много, то эта схема может не прокатить
Тогда, как вариант, остается грузить через промежуточную цель

Online написал(а):
Имхо, ожидание сжатия запросов тоже отодвигает момент доступности данных. Если решите все же править отчеты, то можно попробовать извратиться и на переменной-экзите исключать из рассмотрения один-два последних запроса в зависимости от их состояния.

А так возможно будет даже быстрее


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 26 ]  На страницу 1, 2  След.

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB