Текущее время: Сб, июн 21 2025, 22:00

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 13 ] 
Автор Сообщение
 Заголовок сообщения: Физическое партиционирование, частные итоги
СообщениеДобавлено: Пт, окт 22 2010, 15:01 
Специалист
Специалист

Зарегистрирован:
Чт, фев 24 2005, 17:48
Сообщения: 160
Откуда: Красногорск
Тема подымалась... и были правильные фразы, что физическое партицирование вещь не всегда однозначная...
Правда так и не были понятны критерии, в каком случае оно давало бы положительный эффект.

На проекте пользуемся логическим партицированием, но Мультик не резиновый... решили посмотреть, может что либо дать физическое партицирование...

Взяли кубик (32.000.000) сделали копию, партицировали копию, закачали данные, сжали, построили индексы, собрали статистику.
Написали 2 совершенно одинаковых простых запроса... запускали через RSRT, итог мягко говоря был не очень...

При выборе данных
за месяц, 2 сек (непартиц) и 6 (партиц)
за 4 месяца, 7 vs 58
за 9, 17 vs 164

максимум когда партицирование дало эффект, когда был запрос выбирающий каждый 5 день месяца в течении года... - 32 vs 27
Но для моих пользователей, такие запросы исключение, чем правило... 99% выбирают последовально с и до по.

В общем, стало как то грусно, поиск нот (мож, чего где прописать надо) ни к чему не привел...
Интересно было бы услышать какие у Вас были цифры по применению физического партицирования... удачно или неудачно

Доп.данные: BI 7.0 SP 20, ORACLE 10.2.0.2.0
TLK


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Физическое партиционирование, частные итоги
СообщениеДобавлено: Пн, окт 25 2010, 10:13 
Старший специалист
Старший специалист
Аватара пользователя

Зарегистрирован:
Вт, янв 30 2007, 17:10
Сообщения: 488
Вопрос: а эти партиции у вас на одном и том же дисковом накопителе лежат? Попробуйте на разные разнести.

_________________
Карма - это суперпозиция граблей, на которые мы уже успели наступить, но которые еще не долетели...


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Физическое партиционирование, частные итоги
СообщениеДобавлено: Пн, окт 25 2010, 15:51 
Ассистент
Ассистент

Зарегистрирован:
Чт, июн 07 2007, 11:07
Сообщения: 43
Oracle или SQL?

Советую для проверки отчетов отключить кеширование.

Лучше проверять скорость загрузки данных, как минимум можно на 25% сократить длительность.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Физическое партиционирование, частные итоги
СообщениеДобавлено: Пн, окт 25 2010, 19:15 
Менеджер
Менеджер
Аватара пользователя

Зарегистрирован:
Вт, сен 13 2005, 10:41
Сообщения: 558
Откуда: Гондурас (округ Москвы)
Пол: Мужской
для объективной оценки вашего результата надо видеть ваш bex-запрос.
если в rsrt запрос не читает ненужных кубов, а только те, которые попадают в диапазон, то
уже хорошо.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Физическое партиционирование, частные итоги
СообщениеДобавлено: Вт, окт 26 2010, 14:08 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Вт, авг 17 2004, 09:59
Сообщения: 1097
Откуда: Moscow
Пол: Мужской
а вот для этого надо либо самому сделать пеерменную - выбор кубов по введенным параметрам, либо использовать ноту 911939

так же помошут оттюнинговать вам работу квери на мультике ноты
895530
607164 ( она правда для 3 была - надо посмотреть для 7-ки рабоатет или нет)

_________________
In SAP we trust !


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Физическое партиционирование, частные итоги
СообщениеДобавлено: Вт, окт 26 2010, 17:40 
Менеджер
Менеджер
Аватара пользователя

Зарегистрирован:
Вт, сен 13 2005, 10:41
Сообщения: 558
Откуда: Гондурас (округ Москвы)
Пол: Мужской
жизнь показывает, что эффективнее нарезки по 0calmonth на физические кубы с накрытием сверху мультом ничего не будет. имеется ввиду объем 10-30 мил.записей/месяц. да, можно пытаться качать это в один куб, но никакое партицирование не поможет, когда надо перегрузить один месяц.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Физическое партиционирование, частные итоги
СообщениеДобавлено: Пт, окт 29 2010, 07:47 
Специалист
Специалист

Зарегистрирован:
Чт, фев 24 2005, 17:48
Сообщения: 160
Откуда: Красногорск
Soulsurfer написал(а):
Вопрос: а эти партиции у вас на одном и том же дисковом накопителе лежат? Попробуйте на разные разнести.


Читал в паре топиков об этом, ходил к базису... но они сказали, что дюже умный у нас массив, и со стороны ОС и БД - это одно большое пространство... в общем не могут помочь :(
Но за совет, спасибо.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Физическое партиционирование, частные итоги
СообщениеДобавлено: Пт, окт 29 2010, 07:55 
Специалист
Специалист

Зарегистрирован:
Чт, фев 24 2005, 17:48
Сообщения: 160
Откуда: Красногорск
rconz написал(а):
Oracle или SQL?

Советую для проверки отчетов отключить кеширование.

Лучше проверять скорость загрузки данных, как минимум можно на 25% сократить длительность.


ORACLE 10.2.0.2.0, есть какие мысли?

кеширование - так и делал
Загрузка - эт хорошо... но т.к. загрузка проходит ночью, то интересовала больше отчетность...


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Физическое партиционирование, частные итоги
СообщениеДобавлено: Пт, окт 29 2010, 07:58 
Специалист
Специалист

Зарегистрирован:
Чт, фев 24 2005, 17:48
Сообщения: 160
Откуда: Красногорск
bwbams написал:
для объективной оценки вашего результата надо видеть ваш bex-запрос.
если в rsrt запрос не читает ненужных кубов, а только те, которые попадают в диапазон, то
уже хорошо.


поверьте, он очень простой... один показатель, один признак в развертке, и фильтр через переменную по дате.
на счет кубов, не совсем понял... я же пишу о физическом партицировании - куб один, на нем отчет...


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Физическое партиционирование, частные итоги
СообщениеДобавлено: Пт, окт 29 2010, 08:02 
Специалист
Специалист

Зарегистрирован:
Чт, фев 24 2005, 17:48
Сообщения: 160
Откуда: Красногорск
BW - ник написал:
а вот для этого надо либо самому сделать пеерменную - выбор кубов по введенным параметрам, либо использовать ноту 911939

так же помошут оттюнинговать вам работу квери на мультике ноты
895530
607164 ( она правда для 3 была - надо посмотреть для 7-ки рабоатет или нет)


Наверно, нечетно описал... но для теста партицирования использовался простой куб, и отчет на нем...
никаких мультиков...


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Физическое партиционирование, частные итоги
СообщениеДобавлено: Пт, окт 29 2010, 08:13 
Специалист
Специалист

Зарегистрирован:
Чт, фев 24 2005, 17:48
Сообщения: 160
Откуда: Красногорск
bwbams написал:
жизнь показывает, что эффективнее нарезки по 0calmonth на физические кубы с накрытием сверху мультом ничего не будет. имеется ввиду объем 10-30 мил.записей/месяц. да, можно пытаться качать это в один куб, но никакое партицирование не поможет, когда надо перегрузить один месяц.


Да в общем так и делали... правда резали годами, самые большие кубы... но сейчас пришли к тому что в некоторых мультах до 15 кубов висит... (уникальных 8, остальные лог.партицирование) почитав разные топы - встретил рекомендательные цифры от 5 до 20 кубов в мульте.
Сообственно, из за этого возник вопрос - проверить физическое партицирование...

А какой максимум был у Ваc использования кубов в мульте?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Физическое партиционирование, частные итоги
СообщениеДобавлено: Пт, окт 29 2010, 11:06 
Ассистент
Ассистент

Зарегистрирован:
Чт, июн 07 2007, 11:07
Сообщения: 43
ToliK написал(а):

ORACLE 10.2.0.2.0, есть какие мысли?

кеширование - так и делал
Загрузка - эт хорошо... но т.к. загрузка проходит ночью, то интересовала больше отчетность...


Когда работал на MS SQL тестировал 100 мил. зап. с партициями - не так как на ORACLE скорость росла 10-15% на загрузке, на ORACLE получше.

Думаю если партиции не помогают значит отчет с большим количеством join к разным таблицам, возможно full scan.
Я бы посоветовал Агрегаты(но тогда в отчете при запуске не должно быть детальной информации, тогда все возьмется из агрегатов)


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Физическое партиционирование, частные итоги
СообщениеДобавлено: Пт, окт 29 2010, 13:00 
Менеджер
Менеджер
Аватара пользователя

Зарегистрирован:
Вт, сен 13 2005, 10:41
Сообщения: 558
Откуда: Гондурас (округ Москвы)
Пол: Мужской
по поводу числа кубов в мульте - у нас сильно больше 15, это точно.
если у вас тех.имена кубов вменяемые, допустим ZCUBE1001... ZCUBE1012, то несложно (кроме того, что предлагает SAP) в запросе вычислять user-exit переменную "ограничения по именам кубов" из ограничения по периоду времени. физическое партицирование это наверное хорошо, средняя температура по палате будет лучше, но не так ощутимо.
вот когда вам надо перезалить месяц или сделать легкий реинжиниринг - вот тут наступает момент истины...


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 13 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB