Открываю ST02, смотрю:

Extended memory

Dialog session kB 2.929.688
Nondialog sess. kB 2.929.688
Available kB 5.115.904
Used kB 3.379.200
Maximum used kB 5.115.904

Смущает строка "used" - кто-то скушал 3 гигабайта.
если нажать extended memory blocks - то там пусто.
в SM50 - пусто, один рабочий процесс который скушал 200 мегабайт.

Куда копать???

Так, проблема решилась посредством транзакции SM04