Нужно по нажатию Enter не переносить строку, а просто завершить редактирование и перенести фокус на другой объект.

вероятно без вмешательства в контрол не получится, скорее всего окно ES_MULTILINE,
которое жрёт VK_ENTER, чем табулятор то не угодил?

Нужно редактировать строку формулы как в Excel, чтобы длинная строка визуально переносилась без LineFeed и Enter не вставлял LineFeed.