Текущее время: Сб, июл 19 2025, 05:30

Часовой пояс: UTC + 3 часа


Правила форума


ВНИМАНИЕ!

Вопросы по SAP Query и Quick View - сюда



Начать новую тему Ответить на тему  [ Сообщений: 8 ] 
Автор Сообщение
 Заголовок сообщения: Параллельная вставка больших данных в БД + производительность  Тема решена
СообщениеДобавлено: Ср, июл 10 2013, 11:25 
Младший специалист
Младший специалист

Зарегистрирован:
Ср, апр 12 2006, 14:36
Сообщения: 60
Есть несколько систем и одна центральная. Нужно передать данные одной таблицы из всех этих систем в центральную.
Передача происходит одновременно и часто.
Сейчас программа написана с помощью modify и все работает достаточно быстро, однако выяснилось, что записи могут удаляться и в центральной системе их тоже надо удалять.

Переделал на Delete все для логической системы, insert все из этой системы и начались тормоза. Одновременно висят несколько процессов и может быть мешают друг другу.

Что можете посоветовать?


Пометить тему как нерешенную
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Параллельная вставка больших данных в БД + производительность
СообщениеДобавлено: Ср, июл 10 2013, 14:07 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Пн, мар 28 2005, 15:38
Сообщения: 1257
Цитата:
Что можете посоветовать?


При таком описании проблемы - только поплакать.
Распишите точнее: кто кого вставляет\удаляет? Как таблицы связаны между собой?Как именно построен у вас SAP LUW? От этого будет зависеть, как именно реализовывать процесс.
А так.. лето .. телепаты - в отпуске

_________________
Там, где я рос, единственным развлечением было запоминать число «π».(С) Н. Стивенсон


Пометить тему как нерешенную
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Параллельная вставка больших данных в БД + производительность
СообщениеДобавлено: Ср, июл 10 2013, 17:46 
Младший специалист
Младший специалист

Зарегистрирован:
Ср, янв 25 2012, 01:54
Сообщения: 59
Димкин написал(а):
Что можете посоветовать?


лок обжекты, нормально настроенную буферизацию, селекты через фмы


Пометить тему как нерешенную
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Параллельная вставка больших данных в БД + производительность
СообщениеДобавлено: Ср, июл 10 2013, 17:50 
Гуру-модератор
Гуру-модератор
Аватара пользователя

Зарегистрирован:
Вт, май 17 2005, 13:35
Сообщения: 4871
Откуда: Москва
Пол: Мужской
Fifth написал(а):
Димкин написал(а):
Что можете посоветовать?


лок обжекты, нормально настроенную буферизацию, селекты через фмы



Fifth, автор спрашивал про вставку данных, а вы дали советы для чтения

_________________
Удача - результат нашего желания (© А. Нортон)


Пометить тему как нерешенную
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Параллельная вставка больших данных в БД + производительность
СообщениеДобавлено: Ср, июл 10 2013, 17:58 
Младший специалист
Младший специалист

Зарегистрирован:
Ср, янв 25 2012, 01:54
Сообщения: 59
разве на вставку буферизация и лок обжекты не распространяются?


Пометить тему как нерешенную
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Параллельная вставка больших данных в БД + производительность
СообщениеДобавлено: Ср, июл 10 2013, 18:49 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, окт 22 2009, 12:41
Сообщения: 473
Буферизация - если только косвенно (сброс при вставке). А что подразумевается под "лок обжектами"? И я не помню ситуаций, когда ФМ ускоряли, а не замедляли выборку.

Вы сейчас удаляете все, что относится к одной системе и вставляете все данные заново? А что за данные, никак нельзя отлавливать момент удаления данных и удалять соответвенно выборочно (например через журнал изменений таблицы или неявные расширения)? Или может быть можно рассмотреть вопрос создания локалькой копии таблицы в нецентральной системе, заполнении ее при первой передаче, а при последующих - вычисление диффа оригинала и копии, чтобы понять что добавилось/удалилось и точечном изменении таблицы в центральной системе.


Пометить тему как нерешенную
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Параллельная вставка больших данных в БД + производительность
СообщениеДобавлено: Чт, июл 11 2013, 07:02 
Старший специалист
Старший специалист

Зарегистрирован:
Вт, ноя 18 2008, 10:40
Сообщения: 342
Откуда: Пермь
Пол: Мужской
Димкин написал(а):
Переделал на Delete все для логической системы, insert все из этой системы и начались тормоза. Одновременно висят несколько процессов и может быть мешают друг другу.

Что можете посоветовать?

Создайте индекс на поле, по которому удаляете в Delete


Пометить тему как нерешенную
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Параллельная вставка больших данных в БД + производительность
СообщениеДобавлено: Чт, июл 11 2013, 09:37 
Младший специалист
Младший специалист

Зарегистрирован:
Ср, апр 12 2006, 14:36
Сообщения: 60
Я неправильно понял ситуацию. Сейчас все нормально работает с delete+insert.
Спасибо.


Пометить тему как нерешенную
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 8 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB