Я про модальное окно, которое открывается с window.showModalDialog.
Если это эмуляция окна, то можно повесить onclick, где проверить открытие, и что клик не на окне, в случае чего закрыть...
Код:
window.document.onclick = function(e)
{
// тут проверяем и закрываем
};
в jQuery то же самое будет чуть по-другому, но навскидку не помню.
