[SergOst]

что порт который использует модем занят »

можно попробовать в настройках модема указать другой порт и перегрузить комп.
Дает ли модем ответ на проверочную диагностику в окне его настройки (команды Хайеса и ответы типа ОК)?