[vadblm]

Графическую оболочку ставить не хочу из соображений, чтобы этот сервер был доступ по putty с любого компа. »

Эти вещи абсолютно никак не связаны.

Можно ли установить графическую оболочку, но при этом включать ее иногда? »

Можно.