Текущее время: Ср, июл 23 2025, 02:27

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 4 ] 
Автор Сообщение
 Заголовок сообщения: Объем активации данных в ОДС
СообщениеДобавлено: Вт, июн 19 2012, 14:39 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
Добрый день, подскажите какие есть ограничения на объем единовременно активируемых данных в ОДС или сориентируйте где про это можно почитать?

Перегружаем ОДС с данными из ПСА, соовтественно, льется огромное число пакетов - 3к-4к...
Уже не первый раз сталкиваюсь - пишет что не может активировать более какого-то количества пакетов (от 400 до 1000, не понятно от чего зависит).
Сейчас гружу кусками (300-400 пакетов) через цепочки, когда падает активация, приходится руками активировать часть пакетов и перезапускать цепочку.

По объему вроде ограничений нет (80-200 млн записей активировал... часов за 8), но по пакетам периодически ругается.

Что подскажите, заранее спасибо.

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Объем активации данных в ОДС
СообщениеДобавлено: Ср, июн 20 2012, 08:00 
Специалист
Специалист

Зарегистрирован:
Ср, дек 03 2008, 10:01
Сообщения: 126
Откуда: Novosibirsk
Пол: Мужской
Объем активируемых данных зависит от undo сегмента. Сколько под undo сегмент на дисковом массиве выделено - столько можно использовать. В момент загрузки / активации данные лежат в данном сегменте и если объем данных большой и undo забивается то активация обламывается.

Подозреваю что у вас этот случай, но могут быть и другие - надо смотреть дамп процесса активации и читать, что там пишут.

Еще активация может падать из-за параллельных загрузок / обращений к данным. Попробуйте снизить количество параллельных процессов активации (зависит конечно от железа, но в нашем случае снижение количества параллельных процессов не привело к увеличению времени активации) т.к. при большом количестве параллельных процессов в БД могут возникать лочки из-за которых активация на каком то этапе останавливается.

В целом причин много может быть.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Объем активации данных в ОДС
СообщениеДобавлено: Ср, июн 20 2012, 09:45 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
По поводу undo сегмента - сказали что под него выделено 70 ГИГОВ.
Посмотрел весь объем одновременно активируемого объекта - 22 ГБ (таблица ОДС) + к ней индексы 14,5, 5 и 2 ГИГОВ - всего в сумме 49 ГИГОВ.
Активировали за раз около 1/8... +- активировали второй объект но в 4-5 раз меньше и то же 1/8 (с ним все нормально).

А вообще загрузка не падает по дампу. Идет отмена задания на активацию с текстом "Слишком много запросов для активации".
Более ничего не пишут (все делалось в фоне).

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Объем активации данных в ОДС
СообщениеДобавлено: Пт, июн 22 2012, 13:37 
Специалист
Специалист

Зарегистрирован:
Ср, дек 03 2008, 10:01
Сообщения: 126
Откуда: Novosibirsk
Пол: Мужской
UNDO сегмент не сразу чистится, а спустя некоторое время (в зависимости от настроек). Если ругается на большое количество запросов - попробуйте снизить количество параллельных процессов. Поставьте 4-6 процессов максимум и посмотрите на результат.

70 гигов вполне достаточно, но если реально большой объем данных, то его можно и увеличить (я в свое время увеличивал до 120) но реально дешевле разбить на более мелкие запросы, сократить количество процессов и сделать цепочку - пакет/активация/пакет/активация и тогда все вполне гуманно и быстро решается.


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 4 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB