Armen1993, для начала определите упаковщик и распаковываете. Затем каким нибудь отладчиком-дебагером (
IDA,
OllyDbg и подобными) открываете и штудируете листинг ассемблера.
Если вам
эта картинка о чём то говорит, то думаю вы и сами дальше продолжите.