Для ФМ gui_upload есть ограничения - см. ноту 872457 - Gui_Upload: Restricting the file size
Code:
Solution
Basically, the front-end file modules are not intended for transferring large volumes of data. Instead, large files should be loaded directly from the application server by using OPEN DATASET. If the files can only be read by using gui_upload, you need to adjust the memory space restriction of the work process correspondingly.
Еще вариант - использовать ФМ FTP_CLIENT_TO_R3 (примеры в /UI5/UI5_UPLOAD_PATCH_TO_MIME и RSFTP008). Пробовал тестовой программкой RSFTP008 создавать/читать файл размером ~1.15 ГБ, - заметно подтормаживает, но вроде работает.