Текущее время: Чт, авг 21 2025, 06:45

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 9 ] 
Автор Сообщение
 Заголовок сообщения: Инфо-набор в качестве источника данных
СообщениеДобавлено: Вт, июл 21 2009, 17:34 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Использую инфо-набор в качестве источника данных. Для этих целей соединяю ODS (с оптим. по записи) с кубом. В ODS единственный полезный признак PID и в кубе есть соответствующий признак, на нем образовано одно из измерений куба. По этому признаку и выполняю соединение. В инфо-набор входят все признаки куба. В E-таблице куба сейчас примерно 50 млн. записей... в ODS примерно 3000. Общая выборка, которую дает инфо-набор в результате может быть примерно 300000... иногда больше иногда меньше... а время выполнения запроса на выборку данных составляет 25 минут... почему так долго? как можно ускорить? Вроде и статистику собирал в базе данных... план выполнения запроса увидеть пока не смог, но предварительно такое впечатление создается, что данные куба тупо последовательно сканируются... может кто подскажет куда посмотреть и где прочитать про правильное сипользование инфо-наборов в качестве источников данных? :cry:


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Инфо-набор в качестве источника данных
СообщениеДобавлено: Ср, июл 22 2009, 10:04 
Старший специалист
Старший специалист

Зарегистрирован:
Ср, авг 18 2004, 09:17
Сообщения: 477
Откуда: Москва
Пол: Мужской
murmur написал:
В ODS единственный полезный признак PID и в кубе есть соответствующий признак, на нем образовано одно из измерений куба.

Зачем инфонабор? Фильтруете данные в кубе по PID из DSO?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Инфо-набор в качестве источника данных
СообщениеДобавлено: Ср, июл 22 2009, 11:58 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Правильно ли я понял?! У меня в ODS примерно 3000 записей. Если я буду из куба делать полное обновление в него же и в фильтре напишу подпрограмму, в которой прочитаю записи ODS и подготовлю таблицу фильтрации, заполния в ней поле LOW для всех 3000, то ведь все равно данные куба будут читаться с диска полностью, а затем уже фильтроваться. Таким образом все-равно все 50 млн записей будут полностью сканироваться... или я не прав? Тогда в чем? :wink:


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Инфо-набор в качестве источника данных
СообщениеДобавлено: Ср, июл 22 2009, 12:00 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Да и количество записей в ODS непостоянно и может доходить и до 5000-8000...


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Инфо-набор в качестве источника данных
СообщениеДобавлено: Пт, июл 24 2009, 15:26 
Старший специалист
Старший специалист

Зарегистрирован:
Ср, авг 18 2004, 09:17
Сообщения: 477
Откуда: Москва
Пол: Мужской
А чего хочется достичь? :) 25 минут для выборки из куба в 50 млн. записей по такому критерию - это не так долго.
Можно, конечно, попробовать несколько способов и при удачном стечении обстоятельств уменьшить это время, например, раза в 2. Это качественно что-то изменит?
Первое, куда надо копать, - это SQL Trace. Смотреть план запроса к БД. Фильтр, на мой взгляд, существенно лучших результатов не даст. И потом, фильтр с 8000 критериями...
Чтобы оптимизировать, надо понимать суть задачи и распределение данных. Есть ли возможность как-то ограничить выборку из куба, например, по признакам времени?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Инфо-набор в качестве источника данных
СообщениеДобавлено: Пт, ноя 06 2009, 17:14 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Не используйте инфо-наборы. Используйте подпрограмму фильтра в ППД


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Инфо-набор в качестве источника данных
СообщениеДобавлено: Пн, ноя 09 2009, 15:48 
Старший специалист
Старший специалист

Зарегистрирован:
Ср, авг 18 2004, 09:17
Сообщения: 477
Откуда: Москва
Пол: Мужской
murmur написал:
Не используйте инфо-наборы. Используйте подпрограмму фильтра в ППД

На основании чего сделаны такие выводы космического масштаба? :lol:


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Инфо-набор в качестве источника данных
СообщениеДобавлено: Пн, ноя 09 2009, 18:27 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
На основании практического опыта.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Инфо-набор в качестве источника данных
СообщениеДобавлено: Пн, ноя 09 2009, 20:08 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Когда реализовывали сторнирование в кубе, то в таблице выбора в фильтре ППД заполняли LOW примерно для 5000 - 6000 записей... куб при этом не читается весь... сначала идет чтение измерений, а потом к ним добавляются записи факта... таким образом производительность по сравнению с теми же инфо-соединениями была гораздо выше... план выполнения в ST05 не смотрели, но фактическая производительность была такова, что сторнирование куба, в котором было уже примерно 100 000 000 записей, из которых сторнировались примерно 150 000 - 200 000, проходило примерно за 5 минут и оставалось постоянным при дальнейшем росте записей в кубе.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 9 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB