Элементарно, Ватсон! Ключи эти существуют только для 64бит приложений
Примерно таким макросом можно оформить проверку:
Код:

# macro + def
!define RegKeyExists '!insertmacro RegKeyExists'
!macro RegKeyExists RETURN ROOTKEY SUBKEY
Push $0
ClearErrors
EnumRegValue $0 ${ROOTKEY} "${SUBKEY}" 0
IfErrors 0 +5
EnumRegKey $0 ${ROOTKEY} "${SUBKEY}" 0
IfErrors 0 +3
StrCpy ${RETURN} 0
Goto +2
StrCpy ${RETURN} 1
Pop $0
!macroend
# Example
${RegKeyExists} $R0 HKLM64 "SOFTWARE\Microsoft\WindowsSelfHost\UI\Visibility"