Драйвер стоит проприетарный. Брал с сайта nvidia.
Код:

"dre" - Direct Rendering Enhancement
В xorg.conf, я закомментировал следуещее:
Код:

Load "extmod"
Load "glx"
Load "dre"
Опустилось до 80Мб.
Но проблема видимо не в этом.
Я протестировал так: Открыл Konsole, в нём с vi открыл xorg.conf. И попытался развернуть окно на весь экран. 37 секунд ждал ответа.
Вот и не знаю драйвер ли шалит, или сервер Х