Проблему решил.
Оказывается добавление учётку в группу Discovery Management не достаточно.
Ниже описание, может кому пригодиться:
Нужно дать права на роли "Support Diagnostics" и "Mailbox Import Export", можно создать отдельную группу и дать ей права на эти роли, но я их просто добавил группе Discovery Management, в RBAC. Почему то сразу у меня не заработало, пришлось перелогинеться.
Сама команда на поиск письма и его удаления:
Код:

Get-Mailbox -ResultSize unlimited | Search-Mailbox -SearchQuery "subject:'Мой последний рабочий день' from:i.ivanov@test.ru sent:12/05/2014" -DeleteContent