Переименовать каталог программы.
Сделать в реестре поиск по старому каталогу программы. Удалить все найденные записи
Сделать в реестре поиск по именам всех файлов (их там не так много, как кажется). Тоже удалить всё найденное.
Удалить каталог программы.