Можно ли вернуться к первоначальному экрану выбора в случае ввода пользователем неправильных значений. При вызове сообщения об ошибке типа MESSAGE E000 программа выбрасывается из транзакции.

можно, если выводить сообщения в AT SELECTION-SCREEN [ON]

Попробуй так
SET CURSOR FIELD 'имя поля на экране заглавными буквами'.
MESSAGE ID '0000' TYPE 'E' NUMBER 0