Начал изучать проблему с помощью Process Monitor и обнаружил довольно странные обращения
Some_Strange.png. Файл Setup.exe запускался с папки C:\Temp. Данная папка ничего не содержит, кроме распакованной программы.
Стал еще смотреть и обнаружил перед этим обращение к файлу C:\WINDOWS\AppPatch\sysmain.sdb. Просмотрел HEX редактором и там встречаются такие же имена файлов, с которым NTVDM.EXE обращался. Видимо действует какой-то фикс для программы, но не работает корректно.