Exchange 2003 - issue with mail flow
 

Приветствую!
имеется Exchange 2003 SP2 ENG (в Native Mode) на доменном контроллере (Windows Server 2003 SP2 ENG, всё на x86), антисмапфильтр на нём же (GFI MailEssentials). Глобальный каталог на этом же серваке (DC) и эксча его видит нормально. Коннектора нет, только Default Virtual SMTP Server (без smart host -а). Разрешение имён (DNS) работает нормально с этого сервера (DNS на нём же), все телнеты на удалённые хосты проходят нормально и т.д. Всё вроде работало пару лет и тут :)

Переодически вдруг не с того не с сего письма на некоторые домены стали зависать в очереди "message routed and queued for remote delivery" причём статус у очереди "Active" - и висят так пока не ребутнёшь сервак (Force connection и Freeze\Unfreeze не помогают вообще, даже статуc с Active на Retry не меняется у очереди). При чём таких доменов как правило несколько - на остальных затыка нет и на них письма ходят нормально. В эвенте есть только подозрительные записи вида:

Event Type: Information
Event Source: Application Popup
Event Category: None
Event ID: 26
Date: 1/26/2010
Time: 6:29:34 PM
User: N/A
Computer: server
Description:
Application popup: Microsoft Visual C++ Runtime Library : Runtime Error!
Program: C:\WINDOWS\system32\inetsrv\inetinfo.exe

Помогает пофиксить трабл рестарт Default Virtual SMTP Server - правда как то он криво рестартует, с подвисаниями. При чём подобное возникает даже если попробовать вручную рестартануть службу виндовую smtp service. В соот-й mmc консоли она так и висит на уровне Stopping - наиболее эффективный способ ребутнуть её это просто тупо закилить процесс inetinfo.exe в таск менеджере и потом стартануть все необх службы эксчи руками. После этого очередь рассасывается и некоторое время вся почта ходит нормально. По мимо этого при попытке рестарта Default Virtual SMTP Server\smtp service в event log пищутся ещё несколько ошибок вида:

Event Type: Warning
Event Source: W3SVC
Event Category: None
Event ID: 1013
Date: 2/1/2010
Time: 4:52:51 PM
User: N/A
Computer: Server
Description:
A process serving application pool 'ExchangeApplicationPool' exceeded time limits during shut down. The process id was '3092'.

Event Type: Error
Event Source: W3SVC
Event Category: None
Event ID: 1030
Date: 2/1/2010
Time: 8:42:01 PM
User: N/A
Computer: Server
Description:
Inetinfo terminated unexpectedly and the system was not configured to restart IIS Admin. The World Wide Web Publishing Service has shut down.

Хотя возможно что эти 2 эвента возникают исключительно из-за принудительного убивания процесса inetinfo.exe поскольку (в отличии от самого первого) они возникают в логе именно в момент попытке рестарта службы\сервера_смтп или в последующий момент киллинга inetinfo.exe

Пробовал смотреть логи по конкретным письмам застрявшим в очереди message routed and queued for remote delivery с Active статусом (как я уже говорил разрешения имён и mx записей всякий с сервака идёт на ура, порты удал-х серверов телнетятся):
1. в стандартном логе эксченджа (который по дефолту в c:\Program Files\Exchsrvr\Server.log\) статус этим сообщение кончается именно 1034 (message routed and queued for remote delivery) и этим всё заканчивается;
2. а вот в стандартом логе смтп_сервиса (который обычно лежит в c:\WINDOWS\system32\LogFiles\SMTPSVC1\) строчек о смтп сессии с указанным доменом вообще нет! Такое ощущение что сервак и не пытается смтп сессию организовать...

Ещё странный момент, если смотреть в очередь то там по мимо системных очередей висит 1-2 очереди постоянно на соот-е домены со статусом Active - при чём именно на этих доменах и бываю зависоны. Например сейчас (после ребута сервака) на рис. http://img534.imageshack.us/img534/960/serverissue.gif видно есть очередь на yandex.ru при чём там нет сообщений и висит она уже 2-й день. (в папке c:\Program Files\Exchsrvr\Mailroot\vsi 1\Queue\ правда переодически появляются какие-то EML файлы с размером 0 байт) Если посмотреть TCPViewer -ом то видно что есть и соо-й tcp-коннект к серваку янддекса в состоянии CLOSE_WAIT (рис. http://img686.imageshack.us/img686/2...rverissue2.gif ) Может из-за этого?

Прогонял на всякий chkdsk на партициях (он там индексы пофиксил), пробовал включить на минимуме логирование на уровне Эксченджа - Diagnostics Logging - MSExchangeTransport - но там вроде ничего криминального (за искл-м стандартных id 7010 и 7004 от спамеров и т.д.) Или ещё какой модуль включить? Пробовал также остановить в момент затыка службы антиспам фильтра (GFI MailEssentials) но безрезультатно. Кто-н что-н посоветует?

Заранее спасибо!

Самое страшное, что придется переустанавливать IIS... Не забудьте сохранить метабазу. Я бы еще проверил дрйвера сетевой карты.
http://support.microsoft.com/kb/320202

Да читал что такой вариант возможен, но вроде точных симптомов что "пациент скорее мёртв" вроде пока нет!? Или есть? :(
PS и если есть то надо именно IIs реинсталить или подойдёт накатить бэкап метабазы IIS? - у меня при установке сервака 2 года назад он автоматом сделал бэкап её (+ имеется систем стейт ес-но в бэкапах)

Все признаки близкой кончины... А вы уверены, что бэкап не накроет все и совсем. неужели за два года никаких изменений в метабазе не происходило?

Вообще конечно не уверен... А в систем стейт (который делается стандартным ntbackup -ом) бэкап IIS входит и можно отуда выдрать? Просто реинсталить ИИС как то палевно :)
Но да, печально конечно всё. Драйвера к карте проверю, но там стандартная интел-я сетевуха стоит давно уже (Intel(R) PRO/1000 MT). Странно что вроде с ситемой ничего вобщем то и не делали :(

Попробуйте удалить GFI. Он уберет свои обработчики с SMTP, возможно ситуация исправится.

Да конечно как вариант поиграться с GFI...

PS снова затык и именно на том самом яндексе (см.вторую картунку). Принудительно закрыл tcp коннект к яндексу но письмо в очереди так и висит. странно... А где еэксча хранит все эти очереди на определённые домены - может какие темпы есть или ещё что что бы почистить? (было бы всё только в памяти после ребута всё бы пропало тогда...) + странно не вижу в папке c:\Program Files\Exchsrvr\Mailroot\vsi 1\Queue\ письма с таким размером - там только переодически с 0 размером что-то появляется... Интересно где эксча хранит это застрявшее письмо в итоге?

Интересненько... Включил полное логирование - но там вроде ничего критичного, про письма висящие в очереди на яндекс вообще молчок - ни в эвенте ни в логах (что эксчи что смтп_сервиса)... Но заметил странную вещь, ребутнул сервак и вижу что сразу после ребута в сетевых коннектах есть всё тот же коннект на яндексовсикй смтп: http://img692.imageshack.us/img692/2...rverissue3.gif При чём для чистоты эксперемента и очередь чистил (с послед ребутом) и пробовал закилить этот TCP коненкт - всё одно, сразу после рубута он висит ... К чему бы это?!?

буду пробовать в итоге наверно брутально удалять GFI фильтр :( Отпишусь о рез-тах потом...

PS вспомнил ещё что трабл проявился после того как с миксед мода на найтв эксчендж переключил (и забыл сказать в самом начале)
PPS ещё странные евенты случаются по недошедшим письмам:
Event Type: Error
Event Source: MSExchangeTransport
Event Category: Queuing Engine
Event ID: 6102
Date: 2/8/2010
Time: 6:56:32 PM
User: N/A
Computer: Server
Description:
ORAR reassignment failed for the message from X400:c=us;a= ;p=Domain;o=Exchange;s=Ivan;g=Ivanov; with Msg ID <54ABCDB45C7C3A43B4AF6BE7AABB2AA890E4E2@server.domain.ru>. Error code : 0x8007064a.

Тупой реинстал GFI антиспам-фильра похоже решил проблему ;(