[K.A.V.]

1) при невозможности заменить файл длл новым файлом попоросить перезагрузку »

1. Прописываете команду удаления dll (Delete)
2. Проверяете, есть ли эта dll на диске (если есть, значит занята приложением и не удалена) (команда IfFileExists)
3. Если dll не удалена, пользуемся командами MessageBox и Reboot

2) после перезагрузки удалить старый и скопировать новый файл. »

1. Методом записи в RunOnce прописываете исполнение батника на удаление и копирование вашей dll
2. Либо добавляете в свой пакет инсталлятора отдельную функцию, +добавляете обработку ключа командной строки и прописываете в RunOnce исполнение своего же инсталлятора с ключем, в коде инсталлятора в функции .onInit проверяете наличие ключа в параметре запуска (команда GetOptions), если ключ есть - выполняете написанную функцию по удалению dll и копированию нового файла

2) после замены файла зарегистрировать эту длл через RegDLL »

Регистрируете dll командой RegDll

Описание команд есть в справочнике, ссылка на справочник в моей подписи либо в шапке темы

блин, похоже, я вас не правильно понял и вы просили готовый код?