Вы внимательнее смотрите на свой код, вы используете $INSTDIR как переменную для возвращаемого значения плагином nsDialogs, соответственно, если вы жмёте "отмена", то в $INSTDIR помещается значение error
Потом вы опять хотите показать этот диалог и ставите папкой по-умолчанию значение $INSTDIR, которое при втором вызове после "отмены" содержит возвращаемое значение после предыдущей отмены, т.е. error
