Есть самописный отчет - писали консультанты.
В процессе выполнения программа постепенно занимает память.
По окончании выполнения отчета, когда данные уже выведены на экран и программа ничего не делает, она занимает в памяти 500 Мб.
Память освобождается только после выхода из транзакции.
Где искать грабли?

Где угодно. Самый прямой путь - сесть в отладчик и параллельно глядеть в SM04 на тему занимаемой памяти.
Скорее всего не сбрасываются внутренние таблицы.

Скорее всего все написано в контексте глобальных переменных.

И как это лечить?

Править программу, сначала найдите ошибку, у Вас таблицы не очищаются или что?

Перевести на локальные переменные. Что будет подразумевать неявное убиение таблиц после выхода из подпрограммы (я лично допускаю что сап может косячить и просто не освобождать эту память самостоятельно, но будем надеяться на лучшее)
Обычно на отчет нужны 1-3 большие таблицы, остальные все временные и могут быть убиты после использования.

Итого: Локальные переменные и CLEAR в каждой второй строке

Необязательно. Может быть просто набранны данные для последующих "проваливаний" и прочих детализаций (особенно если выборки хитро-нетривиальные). ALV-Деревья сами по себе могут неплохо есть.
Короче гадать можно до бесконечности "отчего и почему который год происходит подземный стук".
Автору темы можно только посоветовать восстановить/выяснить алгоритм проблемного отчёта и через динамический анализ искать виновников и оптимизировать отчёт. Ещё можно просто отказаться от использования отчёта.

Еще может оказаться проще переписать отчет.
Все таки консультанты - не программисты, и обычно они не задумываются о таких вещах как оптимизация и читаемость кода.
Да и программисты не все задумываются к сожалению

Разобрался - нашел неочищаемые таблицы. Очистил.
Побочно решил задачу оптимизации кода - теперь отчет вместо 30 минут выполняется за 30 сек

Напиши гигантский JOIN - будет за 5 секунд

Отладить будет нереально, поэтому рекомендую добавить на селекционный экран параметр-переключатель "Быстро/правильно"

Не будет. Будет усекновение членов базисниками после 10-го запуска в продуктиве
Если базисники мышей не ловят

Сильно. Нужно взять на заметку про этот переключатель