Это решение можно найти и на sf.net и на stackoverflow и даже просто перебором доступных значений (детали в
документации и исходниках nsis)
Эта комбинация хорошо работает в многомониторной конфигурации с разным масштабом у мониторов при переносе окна установщика с одного монитора на другой. При этом реализации Per-Monitor V2 DPI Awareness в nsis пока нет.
Свои изображения можно избавить от мыла через подготовку изображений под несколько значений масштабирования (100,125,150,..%) до или в процессе сборки установщика. При запуске - получить от системы используемый масштаб и загрузить подходящее изображение.
С MUI такое не прокатит без переписывания кода, отвечающего за изображения.
Если в Win API найдутся методы качественного масштабирования битмапов - можно будет применить их.