В Windows к сожалению свой подход к управлению памятью свой и воздействовать на него не получится.
Основной недочет, в отличии от nix-систем, заключается в том что в файл подкачки пишутся неиспользуемые объекты из paged pool-а и ожидание того что сначала должна кончится память а потом будет использоваться файл подкачки ошибочно.
вот
тут описаны лимиты.
В остальном - читайте про PAE.
