Текущее время: Ср, июл 30 2025, 00:09

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 15 ] 
Автор Сообщение
 Заголовок сообщения: Вставка - большой объем данных.
СообщениеДобавлено: Пн, дек 13 2010, 16:14 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Ср, июн 01 2005, 09:40
Сообщения: 536
Откуда: Belgorod
Пол: Мужской
Коллеги приветствую.
В общем проблема вроде бы простая - быстро сохранить записи инфотипа (менее 5 минут).
Есть записи инфотипа (порядка 5-10 на каждого сотрудника), сотрудников порядка 1,5 тыс.
нужно эти ~10000 записей сохранить.
1. Есть HR_INFOTYPE_OPERATION - отрабатывает больше 5 минут.
2. Есть cl_hrpa_infotype_container - отрабатывает ~5 минут.
3. Пакетный ввод даже не пробовал.
Другими средствами оперировать не умею.
Можно написать ФМ и отправить его в JOBу, но я как-то смутно представляю как можно потом проверить результат.
Кто-то может поделится нужным заклинанием?

_________________
Новый этап на проекте - устранение доработок :).


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Вставка - большой объем данных.
СообщениеДобавлено: Вт, дек 14 2010, 01:43 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вт, июл 25 2006, 14:50
Сообщения: 3481
Откуда: Moscow
Пол: Мужской
Сап на аудите написал, что пользовать hr_.oper.. некошерно, надо через пакетник.
Незаконченные джобы в sm35 болтаются.
Дальше встает вопрос между трусами и крестиком, как у батюшки на нудистком пляже :D
В смысле, между прямыми инсертами в дб и тем самым пакетником.
Еще можно через idoc в xml попробовать, но вряд быстрее будет


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Вставка - большой объем данных.
СообщениеДобавлено: Вт, дек 14 2010, 10:11 
Гуру-эксперт
Гуру-эксперт

Зарегистрирован:
Вт, авг 24 2004, 07:19
Сообщения: 3952
Откуда: ECC 6.0, South Kazakhstan
Проблема с вылетанием по тайм-ауту или просто в том, что просто долго работает?
Если первое (по тайм-ауту), то, например viewtopic.php?f=13&t=27185& (по крайней мере у меня номано SAPGUI_PROGRESS_INDICATOR работает, опять же полосу выполнения показывает).
Если второе, то использование пакет.ввода навряд-ли существенно ускорит процесс по сравнению с HR_INFOTYPE_OPERATION.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Вставка - большой объем данных.
СообщениеДобавлено: Вт, дек 14 2010, 10:13 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Ср, июн 01 2005, 09:40
Сообщения: 536
Откуда: Belgorod
Пол: Мужской
OlegDm написал(а):
Проблема с вылетанием по тайм-ауту или просто в том, что просто долго работает?
Если первое (по тайм-ауту), то, например viewtopic.php?f=13&t=27185& (по крайней мере у меня номано SAPGUI_PROGRESS_INDICATOR работает, опять же полосу выполнения показывает).
Если второе, то использование пакет.ввода навряд-ли существенно ускорит процесс по сравнению с HR_INFOTYPE_OPERATION.

Проблема первая и это WDA :).

_________________
Новый этап на проекте - устранение доработок :).


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Вставка - большой объем данных.
СообщениеДобавлено: Вт, дек 14 2010, 12:07 
Директор
Директор
Аватара пользователя

Зарегистрирован:
Пн, авг 22 2005, 14:50
Сообщения: 1285
Откуда: с работы
Пол: Женский
а какая изначальная задача, почему необходимо загонять себя в такие рамки, возможно, можно что-то распараллелить?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Вставка - большой объем данных.
СообщениеДобавлено: Вт, дек 14 2010, 12:30 
Гуру-эксперт
Гуру-эксперт

Зарегистрирован:
Пт, сен 07 2007, 07:53
Сообщения: 1398
Фоновый режим (пакетный ввод) избавляет от проблемы вылета по таймауту. Мало того, в большой системе удобно обрабатывать ошибки типа "ТН блокирован" или "ЕдРасчета блокирована для ведения данных". Успешно обработанные ТН из задания удаляются, ошибочные - нет. Через некоторое время достаточно перезапусть задание


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Вставка - большой объем данных.
СообщениеДобавлено: Вт, дек 14 2010, 14:19 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Ср, июн 01 2005, 09:40
Сообщения: 536
Откуда: Belgorod
Пол: Мужской
RoustR написал(а):
Фоновый режим (пакетный ввод) избавляет от проблемы вылета по таймауту. Мало того, в большой системе удобно обрабатывать ошибки типа "ТН блокирован" или "ЕдРасчета блокирована для ведения данных". Успешно обработанные ТН из задания удаляются, ошибочные - нет. Через некоторое время достаточно перезапусть задание


вот меня как раз и смущает что их надо кому-то перезапускать. Т.е. uname возможно уже не тот будет

_________________
Новый этап на проекте - устранение доработок :).


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Вставка - большой объем данных.
СообщениеДобавлено: Ср, дек 15 2010, 07:46 
Гуру-эксперт
Гуру-эксперт

Зарегистрирован:
Пт, сен 07 2007, 07:53
Сообщения: 1398
Брат Мигель написал:
вот меня как раз и смущает что их надо кому-то перезапускать. Т.е. uname возможно уже не тот будет


Не понял. Если кто-то делает какую-то работу, в данном случае загружает данные, то важно ведь не то, что он запустил какую-то программу, а то, что данные загружены. Нужно ведь и проконтролировать результат. И это действие не зависит от способа загрузки, хоть в диалоговом, хоть в фоновом.
Если при загрузке возникли проблемы, то в диалоговом режиме их исправлять сложнее. Диалог может вылетить по таумауту (нужно понять где остановились и перезапустить с этог места). Загрузка может быть не выполнена по части данным (нужно понять из-за чего, выявить эту часть и перезапустить).
В пакетном вводе таумаута не будет. Если часть загрузки не выполнена, то она остается в задании, и если проблема какая-то внешняя, то достаточно перезапустить задание, так как там останется только невыполненая часть.

Пример. Система большая с подразделениями по всей стране. Мне нужно для запуска какой-то подсистемы загрузить данные в ИТ. Практически гарантирую, что на момент загрузки какой-то ТН будет блокирован каким-то пользователем, а возможно что какие-то ЕдРасчета будут заблокированы. С фоновой загрузкой все просто. Запускаю. Для части ТН загрузка будет выполнена (они уйдут из задания), для части - нет. Мне не нужно их искать для запуска загрузки еще раз, я просто перезапускаю задание.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Вставка - большой объем данных.
СообщениеДобавлено: Ср, дек 15 2010, 16:33 
Младший специалист
Младший специалист

Зарегистрирован:
Пн, апр 10 2006, 17:17
Сообщения: 77
Сбрасывайте буфер, при работе через HR_INFOTYPE_OPERATION
http://www.google.ru/#hl=ru&source=hp&biw=1276&bih=789&q=HR_PSBUFFER_INITIALIZE+HR_INFOTYPE_OPERATION&aq=f&aqi=&aql=&oq=&gs_rfai=&fp=19a74332505fda1a

В нашем случае скорость увеличилась в ~100 раз.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Вставка - большой объем данных.
СообщениеДобавлено: Чт, дек 16 2010, 08:50 
Гуру-эксперт
Гуру-эксперт

Зарегистрирован:
Пт, сен 07 2007, 07:53
Сообщения: 1398
Главный признак тормозов из-за буфера - быстрая деградация скорости обработки в зависимости от объема выборки. Я когда с этим в первый раз столкнулся, производил такие замеры. Программа производила обработку табельных номер. При ограничении выборки в 100 ТН программа работала со скоростью 1 ТН в секунду, 500 ТН работали со скоростью 1 ТН в 3 секунды, а 1000 ТН - 1 ТН в 10 секунд.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Вставка - большой объем данных.
СообщениеДобавлено: Чт, дек 16 2010, 09:47 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Ср, июн 01 2005, 09:40
Сообщения: 536
Откуда: Belgorod
Пол: Мужской
Спасибо всем кто откликнулся. Решил реализовать следующую схему.
При запуске вставки сохраняю в данные в таблицу БД. Для того чтобы не плодить таблиц (возможно еще для каких-то инфотипов понадобться) создам таблицу на подобие INDX и буду работать через import/export.
После сохранения запускаю прогу в JOB (будет отрабатывать под этим же пользователем). (запуск с 1 повтором через 30 минут)
Если какие-то табельные будут блокированы, то оправляю письмо:
1. Инициатору изменений - о том, что определенный список табельных был блокирован.
2. Тем кто блокирует с просьбой освободить условно говоря например через 30 минут.

При повторном запуске та же рассылка с требованием повторно повторить по указанному списку операцию.

Есть какие-то замечания?
Спасибо.

_________________
Новый этап на проекте - устранение доработок :).


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Вставка - большой объем данных.
СообщениеДобавлено: Чт, дек 16 2010, 10:30 
Младший специалист
Младший специалист

Зарегистрирован:
Пн, апр 10 2006, 17:17
Сообщения: 77
Что дальше делать инициатору, если что-то не загрузилось со второй попытки?

Зря усложняете систему, увеличиваете TCO.
Я бы остановился на пакетниках или, в зависимости от конкретной задачи, на прямом вводе в БД.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Вставка - большой объем данных.
СообщениеДобавлено: Чт, дек 16 2010, 10:42 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Ср, июн 01 2005, 09:40
Сообщения: 536
Откуда: Belgorod
Пол: Мужской
sn написал(а):
Что дальше делать инициатору, если что-то не загрузилось со второй попытки?

Зря усложняете систему, увеличиваете TCO.
Я бы остановился на пакетниках или, в зависимости от конкретной задачи, на прямом вводе в БД.

Инициатору придется связываться с блокирующими табельные пользователями.
ТСО - расшифруйте пожалуйста.
Прямой ввод БД - однозначно нет.

_________________
Новый этап на проекте - устранение доработок :).


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Вставка - большой объем данных.
СообщениеДобавлено: Чт, дек 16 2010, 11:09 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вт, июл 25 2006, 14:50
Сообщения: 3481
Откуда: Moscow
Пол: Мужской
TCO - общая стоимость владения, поддержу sn


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Вставка - большой объем данных.
СообщениеДобавлено: Чт, дек 16 2010, 14:18 
Гуру-эксперт
Гуру-эксперт

Зарегистрирован:
Пт, сен 07 2007, 07:53
Сообщения: 1398
Брат Мигель написал:
При запуске вставки сохраняю в данные в таблицу БД. Для того чтобы не плодить таблиц (возможно еще для каких-то инфотипов понадобться) создам таблицу на подобие INDX и буду работать через import/export.


Кстати, lsmw еще неплохо использовать. Очень быстро загружает входные данные и по ним готовит пакетник. На этапе подготовки данных можно даже писать обработку на ABAP. Потом останется только пакетник запустить и проконтролировать.


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 15 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB