Текущее время: Ср, июл 23 2025, 08:59

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 4 ] 
Автор Сообщение
 Заголовок сообщения: Объем активации данных в ОДС
СообщениеДобавлено: Вт, июн 19 2012, 14:39 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
Добрый день, подскажите какие есть ограничения на объем единовременно активируемых данных в ОДС или сориентируйте где про это можно почитать?

Перегружаем ОДС с данными из ПСА, соовтественно, льется огромное число пакетов - 3к-4к...
Уже не первый раз сталкиваюсь - пишет что не может активировать более какого-то количества пакетов (от 400 до 1000, не понятно от чего зависит).
Сейчас гружу кусками (300-400 пакетов) через цепочки, когда падает активация, приходится руками активировать часть пакетов и перезапускать цепочку.

По объему вроде ограничений нет (80-200 млн записей активировал... часов за 8), но по пакетам периодически ругается.

Что подскажите, заранее спасибо.

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Объем активации данных в ОДС
СообщениеДобавлено: Ср, июн 20 2012, 08:00 
Специалист
Специалист

Зарегистрирован:
Ср, дек 03 2008, 10:01
Сообщения: 126
Откуда: Novosibirsk
Пол: Мужской
Объем активируемых данных зависит от undo сегмента. Сколько под undo сегмент на дисковом массиве выделено - столько можно использовать. В момент загрузки / активации данные лежат в данном сегменте и если объем данных большой и undo забивается то активация обламывается.

Подозреваю что у вас этот случай, но могут быть и другие - надо смотреть дамп процесса активации и читать, что там пишут.

Еще активация может падать из-за параллельных загрузок / обращений к данным. Попробуйте снизить количество параллельных процессов активации (зависит конечно от железа, но в нашем случае снижение количества параллельных процессов не привело к увеличению времени активации) т.к. при большом количестве параллельных процессов в БД могут возникать лочки из-за которых активация на каком то этапе останавливается.

В целом причин много может быть.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Объем активации данных в ОДС
СообщениеДобавлено: Ср, июн 20 2012, 09:45 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
По поводу undo сегмента - сказали что под него выделено 70 ГИГОВ.
Посмотрел весь объем одновременно активируемого объекта - 22 ГБ (таблица ОДС) + к ней индексы 14,5, 5 и 2 ГИГОВ - всего в сумме 49 ГИГОВ.
Активировали за раз около 1/8... +- активировали второй объект но в 4-5 раз меньше и то же 1/8 (с ним все нормально).

А вообще загрузка не падает по дампу. Идет отмена задания на активацию с текстом "Слишком много запросов для активации".
Более ничего не пишут (все делалось в фоне).

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Объем активации данных в ОДС
СообщениеДобавлено: Пт, июн 22 2012, 13:37 
Специалист
Специалист

Зарегистрирован:
Ср, дек 03 2008, 10:01
Сообщения: 126
Откуда: Novosibirsk
Пол: Мужской
UNDO сегмент не сразу чистится, а спустя некоторое время (в зависимости от настроек). Если ругается на большое количество запросов - попробуйте снизить количество параллельных процессов. Поставьте 4-6 процессов максимум и посмотрите на результат.

70 гигов вполне достаточно, но если реально большой объем данных, то его можно и увеличить (я в свое время увеличивал до 120) но реально дешевле разбить на более мелкие запросы, сократить количество процессов и сделать цепочку - пакет/активация/пакет/активация и тогда все вполне гуманно и быстро решается.


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 4 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: Ahrefs [Bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB