Некая программа, делает джоин из пары таблиц, для каждой записи отдельно ищет недостающие поля по какому-то нехилому алгоритму (делает это для всех сразу записей нельзя), и все это складывает в отдельную таблицу БД.
Количество записей порядка 500.000 и программа работает недопустимо долго. Сократить количество записей нельзя!!! Сейчас считывается небольшими порциями во внутреннюю таблицу, делаются все необходимые поиски и вся таблица отправляется в БД. Можно ли как-то оптимизировать программу.

Работайте через экстракты (a la стандартные Книги покупок/продаж) и запускайте программу в фоне.

Тормозит наверняка не выборка/запись в БД, а работа с внутренними таблицами. На прошлой неделе оптимизировал отчет выполнявшийся по 400-500 секунд. Добавление hashed/sorted для внутренних таблиц с нужным ключем сократило время выполнения до 30 секунд.
А выяснить на чем тормоза можно определить используя SE30. Там показывается что и сколько выполняется.