На терминальный сервер не пускает некоторых пользователей
 

Есть ферма из 3-х терминальных серверов, с балансировкой через Connection Broker.
Пользователи, которые заходят с компьютеров, введенных в домен, работают как надо.
Но есть часть пользователей, которые работают из дома, подключаются по VPN и заходят на терминальный сервер. Так вот с ними проблема, после ввода логина/пароля на терминальном сервере, он задумывается на пару секунд, и выдает ошибку:


При этом, иногда их пускает, и они работают нормально.
Записей в логах, которые помогли бы понять проблему не нашел.
Раньше грешил на проблему с лицензиями, и то что у каждого из трех сервером свой сервер лицензий.
Установил режим лицензирования Per User и соответствующую лицензию(раньше был Per Device с лицензией на устройства), также указал им всем одинаковый сервер лицензий.
Проблема осталась.
Есть какие либо идеи?
P.S. На всех серверах одинаковые настройки терминального сервера, и обновления.

Ошибка гласит, что сервер попросту недоступен, а не с лицензиями проблема.

Видимо у этих пользователей что-то с сетью

С сетью все в порядке. Я же говорю, что подключается, появляется окно для ввода логина/пароля, после введения такая ошибка. Т.е. что-то не так примерно на этапе авторизации.

Очень сомневаюсь.
Заранее запусти пинг и пробуй подключаться.

Пинг стабилен.

Я бы первым делом проверил посредника, т.е. connection brocker.

Каким образом его проверять?
На терминалах сейчас работают больше сотни пользователей, connection brocker их отлично балансит согласно выставленному весу сервера.