[Coutty]

Несколько способов:
После того, как вы выделили ненужные (или наоборот - нужные) области, заходите в меню Select, а там:
- 1 вариант: Modify->Smooth. В окошке указать область размытия. В зависимости от разрешения. Для 800х600 хватит 2-4 пикселов. Затем выделенную область можно удалить.
- 2 вариант: Refine Edges. Тут куча настроек. Тот же Smooth можно применить или ещё чего понастраивать.

Альтернативный вариант: выделение производить мягкой кистью в режиме быстрой маски - тогда выделенная область сразу будет сглаженной.

Ну и конкретно по вышеприведённому фрагменту: копируете слой, а затем к нижнему применяете фильтр Blur->Gaussian Blur в несколько пикселов - опять же, в зависимости от разрешения. Если, конечно, на слое с портретом у вас внешняя область прозрачная.

Кстати, в пятом фотошопе есть инструмент Quick Selection Tool (поищите на панели инструментов - горячая клавиша W). Используя эту кисть совместно с Select->Refine Edges, можно производить выделение объектов с большой точностью и очень высокой скоростью.

[HarrysFerrarievich]

Coutty, у меня русс версия фотошопа. Если не затруднит, переведите на рус пожалуйста)

[Coutty]

У меня английская версия, поэтому я не знаю, как могли перевести переводчики.
Select - Выделение
Smooth - Сглаживание
Modify - Изменить
Quick Selection Tool - Быстрое выделение (Инструмент быстрого выделения)
Refine Edges - наверное, "определить края"
Blur - размытие
Gaussian Blur - Гауссово размытие / размытие по Гауссу

А ещё есть неплохой переводчик translate.google.com

[HarrysFerrarievich]

посмотрел, размытие по гаусу, и так и сяк крутил, никак эти квадраты по краям не убирает к сожалению =(

[Coutty]

Возможно, вы просто не умеете его готовить
А насчёт остальных способов?

Ещё можно выделить белую область, применить сглаживание выделения (Выделение -> Модификация -> Сглаживание) и удалить ( <Del> ).