Текущее время: Чт, авг 21 2025, 03:50

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 9 ] 
Автор Сообщение
 Заголовок сообщения: Инфо-набор в качестве источника данных
СообщениеДобавлено: Вт, июл 21 2009, 17:34 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Использую инфо-набор в качестве источника данных. Для этих целей соединяю ODS (с оптим. по записи) с кубом. В ODS единственный полезный признак PID и в кубе есть соответствующий признак, на нем образовано одно из измерений куба. По этому признаку и выполняю соединение. В инфо-набор входят все признаки куба. В E-таблице куба сейчас примерно 50 млн. записей... в ODS примерно 3000. Общая выборка, которую дает инфо-набор в результате может быть примерно 300000... иногда больше иногда меньше... а время выполнения запроса на выборку данных составляет 25 минут... почему так долго? как можно ускорить? Вроде и статистику собирал в базе данных... план выполнения запроса увидеть пока не смог, но предварительно такое впечатление создается, что данные куба тупо последовательно сканируются... может кто подскажет куда посмотреть и где прочитать про правильное сипользование инфо-наборов в качестве источников данных? :cry:


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Инфо-набор в качестве источника данных
СообщениеДобавлено: Ср, июл 22 2009, 10:04 
Старший специалист
Старший специалист

Зарегистрирован:
Ср, авг 18 2004, 09:17
Сообщения: 477
Откуда: Москва
Пол: Мужской
murmur написал:
В ODS единственный полезный признак PID и в кубе есть соответствующий признак, на нем образовано одно из измерений куба.

Зачем инфонабор? Фильтруете данные в кубе по PID из DSO?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Инфо-набор в качестве источника данных
СообщениеДобавлено: Ср, июл 22 2009, 11:58 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Правильно ли я понял?! У меня в ODS примерно 3000 записей. Если я буду из куба делать полное обновление в него же и в фильтре напишу подпрограмму, в которой прочитаю записи ODS и подготовлю таблицу фильтрации, заполния в ней поле LOW для всех 3000, то ведь все равно данные куба будут читаться с диска полностью, а затем уже фильтроваться. Таким образом все-равно все 50 млн записей будут полностью сканироваться... или я не прав? Тогда в чем? :wink:


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Инфо-набор в качестве источника данных
СообщениеДобавлено: Ср, июл 22 2009, 12:00 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Да и количество записей в ODS непостоянно и может доходить и до 5000-8000...


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Инфо-набор в качестве источника данных
СообщениеДобавлено: Пт, июл 24 2009, 15:26 
Старший специалист
Старший специалист

Зарегистрирован:
Ср, авг 18 2004, 09:17
Сообщения: 477
Откуда: Москва
Пол: Мужской
А чего хочется достичь? :) 25 минут для выборки из куба в 50 млн. записей по такому критерию - это не так долго.
Можно, конечно, попробовать несколько способов и при удачном стечении обстоятельств уменьшить это время, например, раза в 2. Это качественно что-то изменит?
Первое, куда надо копать, - это SQL Trace. Смотреть план запроса к БД. Фильтр, на мой взгляд, существенно лучших результатов не даст. И потом, фильтр с 8000 критериями...
Чтобы оптимизировать, надо понимать суть задачи и распределение данных. Есть ли возможность как-то ограничить выборку из куба, например, по признакам времени?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Инфо-набор в качестве источника данных
СообщениеДобавлено: Пт, ноя 06 2009, 17:14 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Не используйте инфо-наборы. Используйте подпрограмму фильтра в ППД


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Инфо-набор в качестве источника данных
СообщениеДобавлено: Пн, ноя 09 2009, 15:48 
Старший специалист
Старший специалист

Зарегистрирован:
Ср, авг 18 2004, 09:17
Сообщения: 477
Откуда: Москва
Пол: Мужской
murmur написал:
Не используйте инфо-наборы. Используйте подпрограмму фильтра в ППД

На основании чего сделаны такие выводы космического масштаба? :lol:


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Инфо-набор в качестве источника данных
СообщениеДобавлено: Пн, ноя 09 2009, 18:27 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
На основании практического опыта.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Инфо-набор в качестве источника данных
СообщениеДобавлено: Пн, ноя 09 2009, 20:08 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Когда реализовывали сторнирование в кубе, то в таблице выбора в фильтре ППД заполняли LOW примерно для 5000 - 6000 записей... куб при этом не читается весь... сначала идет чтение измерений, а потом к ним добавляются записи факта... таким образом производительность по сравнению с теми же инфо-соединениями была гораздо выше... план выполнения в ST05 не смотрели, но фактическая производительность была такова, что сторнирование куба, в котором было уже примерно 100 000 000 записей, из которых сторнировались примерно 150 000 - 200 000, проходило примерно за 5 минут и оставалось постоянным при дальнейшем росте записей в кубе.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 9 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: Ahrefs [Bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB