alert30, возможно завышенное значение параметра "Размер словаря", в коде это строчка
Код:

SetCompressorDictSize 128
1. Откройте файл
\NSIS\Source.nsi и попобуйте закомментировать данную строчку, чтобы было так:
Код:

; SetCompressorDictSize 128
2. Запустите файл
\NSIS\compile.bat для запуска процесса компиляции
Если ошибка повторится, сделайте скрин окна компилятора