1. Squid+Samba+SAMS со всем этим справятся. Документация на русском по настройке этой связки есть на самом сайте
SAMS .
2. Тут выбор большой. Из распространеных - sendmail, postfix, exim.
По поводу антивируса
squid+clamav
Для проверки на вирусы почты соответственно читайте документацию mta, который будете использовать.
