По шагам:
0. Распаковываем диструбутив MathType52Setup.exe.
1. Правим setup.inf:
Код:

no_background = 1
InstallNoDlg = 1
2. Устанавливаем на рабочей системе MathType (вводим серийник и т.д.).
3. Запаковываем папку (у меня C:\Program Files%\MathType) в SFX архив,
с указанием распаковываться в C:\Program Files%\MathType.
4. В папке с дистрибутивом создаем файл install.cmd следующего содержания:
Код:

setup.exe -W -DL "%programfiles%\MathType" -C
Все.
Для установки запускаем SFX, затем install.cmd
(он регистрирует в системе библиотеки, шрифты и макросы для Word`а).
Единственным нерешенным остался вопрос с появлением окошка с кнопкой OK.