Raf-9600, неверный корневой куст, HKU - это HKEY_USERS, совместимость там не прописывается. Ну пусть даже и опечатались и имели в виду HKCU, но в HKCU\Software\Wow6432Node тоже совместимость не пишется, поэтому остается контекст машины HKLM - там совместимость в двух местах. Если хотите писать сразу в Software контекста машины и применить совместимость глобально, то:
Код:

Root: HKLM64; Subkey: "Software\Microsoft\Windows NT\CurrentVersion\AppCompatFlags\Layers"; ValueType: String; ValueName: "{app}\Diablo.exe"; ValueData: "WIN98 256COLOR 640X480 DISABLETHEMES DISABLEDWM HIGHDPIAWARE"; Components: Game\Diablo; MinVersion: 0,5.01.2600; Flags: Uninsdeletekey;Check: IsWin64
Но я бы затронул только пользовательский контекст:
Код:

Root: HKCU; Subkey: "Software\Microsoft\Windows NT\CurrentVersion\AppCompatFlags\Layers"; ValueType: String; ValueName: "{app}\Diablo.exe"; ValueData: "WIN98 256COLOR 640X480 DISABLETHEMES DISABLEDWM HIGHDPIAWARE"; Components: Game\Diablo; MinVersion: 0,5.01.2600; Flags: Uninsdeletekey