У нас настроена система кадрового резерва.

Через ИТ0024 (PA-PD, закладка Потенциалы) человеку присваивается рекомендуемая штатная должность из оргструктуры (стандартное соединение S-P 038).

Как настроить, чтобы при ограничении шт.должности система ругалась на оставшееся соединение с потенциальным работником (также как это сделано для соединения S-P 008, когда система ругается, что на эту дату все еще существует присвоение лица)?

То есть нужно, чтобы нельзя было ограничить штатную должность пока на нее созданы потенциалы.

Зачем вообще штатную ограничивать? Есть инфотип Устаревшее (Obsolete).

Как зачем? А как предлагаете организовать упразднение вакантной должности?
Изменения в штатном расписании отрабатываются созданием новых, ограничением существующих объектов оргплана.
Занятые штатные должности ессно помечаются как устаревшие.

она же сама ограничится при увольнении человека потом всё равно.
Стандартно ничего не могу придумать - только бади. Может, кто знает какие переключалки в T77S0

При увольнении только P-S связь ограничится, должности-то с чего?
А по теме - Бади HRBAS00_RELAT посмотреть, например.