Semen F. параметры были выставлены произвольно или как то рассчитывались ?
проблема не в самих значениях параметров, а как найти во что упирается или как рассчитать оптимальные
да сейчас дамп исчез, а если через полгода опять повалится при текущих значениях, не хотелось бы опять бездумно увеличить эти значения

Я ставил параметры исходя из памяти доступной на сервере приложений, чтобы максимально её использовать. Значения буферов подгонял до тех пор, пока данные из них не перестали свопиться. А оставшуюся память разделил между областями roll, extended и heap memory. В принципе при текущих настройках у меня редко случаются дампы о недостатке памяти.
Чтобы определить параметр, который приводит к дампу, можно попробовать включить трассировку для проблемного пользователя в st05 прогнать транзакцию до дампа, потом посмотреть. Еще глянуть в лог диалогового процесса, может там что есть.
Сам я с таким не сталкивался, все обычно заканчивалось анализом условий селекта и размера таблицы. После этого сразу было видно что программисты запрашивают в оперативку 10 гигабайт данных...