[Petya V4sechkin]

ГрМакс, можно скриптом .vbs (класс WMI Win32_Process):

Код:

strComputer = "."
Set objWMIService = GetObject("winmgmts:" _
    & "{impersonationLevel=impersonate}!\\" _
    & strComputer & "\root\cimv2")

Set colProcesses = objWMIService.ExecQuery( _
    "Select * From Win32_Process " _
    & "Where Name = 'notepad.exe'")

Killed = False
For Each objProcess In colProcesses
  If objProcess.WorkingSetSize > 6291456 Then
    objProcess.Terminate
    Killed = True
  End If
Next

If Killed Then
  Set objShell = Wscript.CreateObject("Wscript.Shell")
  objShell.Run "notepad.exe"
End If

Если notepad.exe запущен и занимает более 6 метров памяти, он убивается и запускается снова. Заменить notepad.exe на ваш процесс, а 6291456 на нужное ограничение памяти (в байтах). Выполнение скрипта можно вставить в планировщик заданий (скажем, раз в минуту).