Хак в том, чтобы инсталлятор закрыл приложение. Я не знаю, как это сделать (WM_CLOSE для приложения, а для службы как, имея хэндл процесса?). Лучше я оставлю как есть. А то больно сложный код инсталлятора получается.
Хотя вот есть плагин
KillProcDLL_plug-in