Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Компьютеры + Интернет » Сетевые технологии » Log/Monitoring - Статистика web-сёрфинга без прокси сервера

Ответить
Настройки темы
Log/Monitoring - Статистика web-сёрфинга без прокси сервера

Аватара для Tonny_Bennet

Ветеран


Сообщения: 1384
Благодарности: 177


Конфигурация

Профиль | Отправить PM | Цитировать


Здравствуйте.

Есть сеть /24 с пользователями получающими адреса по DHCP. Есть шлюз на базе Ubuntu Server (скоро переезд на Mikrotik) занимающийся NAT. Есть AD (в теории). Есть ленивый сисадмин - я.

Когда-то работал squid в качестве прокси сервера, и т.к. я ленив - он работал в прозрачном режиме. Были ограничения на соцсети и youtube, разбитые на сети и время. Потом соцсети и youtube дружно перескочили на https:\\ фильтрация контента на основе url сломалась и проксировать трафик в прозрачном режиме стало невозможно. Многие скажут есть схемы с подменой сертификатов и т.д. Я почему-то считаю это серьёзным костылём, да и вообще хочу отказаться от прокси сервера.

Есть возможность развернуть схему на базе netflow - сенсоры и коллектор. Всё красиво, но как быть с клиентами которые получают адрес по DHCP? Сегодня он один, а завтра в общем виде другой. И если сотрудник пересел с места на место.

Может стоит политиками раздать адрес прокси-сервера для браузера (но опять же только для IE), и в проксе вести логи по логину/паролю AD не смотря на IP адрес машины?

Скажите есть ли варианты логировать статистику посещения веб ресурсов без прокси-сервера (всё прозрачно), но с какой-либо авторизацией? Захотел человек в интернет, вылезла ему страничка авторизации, он влогинился (или по krberos вошёл) и устремился в дебри необъяной сети. А кто-то (демон/служба/сервис) прозрачно логирует всё это дело. Зашёл он параллельно с другого компьютера/ноутбука/планшета/телефона под своей учёткой и это тоже залогировалось и т.д.

Какие сервисы используют большие компании для ведения подобного рода статистики?

-------
Сообщение оказалось полезным? Кнопка Полезное сообщение располагается чуть ниже.


Отправлено: 18:07, 11-08-2014

 

Аватара для James Marsh

Ветеран


Сообщения: 1594
Благодарности: 235

Профиль | Отправить PM | Цитировать


Цитата Tonny_Bennet:
Всё красиво, но как быть с клиентами которые получают адрес по DHCP? »
Жесткая привязка по МАС-адрессам? Не?

-------
Благими намірами вистелений шлях у пекло


Отправлено: 21:35, 11-08-2014 | #2



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


ИО Капитана Очевидности


Contributor


Сообщения: 5387
Благодарности: 1105

Профиль | Отправить PM | Цитировать


Цитата Tonny_Bennet:
Всё красиво, но как быть с клиентами которые получают адрес по DHCP? Сегодня он один, а завтра в общем виде другой. »
Указать срок аренды адресов - 1 месяц или даже 1 год.
Поскольку для используемых адресов срок аренды постоянно продляется, у всех всегда будут одинаковые адреса.

Цитата Tonny_Bennet:
Может стоит политиками раздать адрес прокси-сервера для браузера (но опять же только для IE) »
Стоит. Поскольку в параметрах Firefox и других альтернативных программ изначально указано "использовать системные параметры прокси", никто ничего не заметит.
А на маршрутизаторе разрешить входящие/исходящие соединения только для IP прокси-сервера. Таким образом в обход прокси никто не выйдет.

Цитата Tonny_Bennet:
Захотел человек в интернет, вылезла ему страничка авторизации, он влогинился (или по krberos вошёл) и устремился в дебри необъяной сети »
Обычный режим работы SQUID. Очень удобно настраивать через Webmin. А Firefox и другие программы вполне успешно запоминают пароли запроса прокси.
Также Squid вроде бы поддерживает авторизацию через Kerberos

-------
Самое совершенное оружие, которым забиты арсеналы богатых и процветающих наций, может легко уничтожить необразованного, больного, бедного и голодного. Но оно не может уничтожить невежество, болезнь, нищету и голод. (Фидель Кастро)

Почему всех осужденных за измену Родине при Сталине реабилитировали при Горбачёве по отсутствию состава преступления? Потому что при Горбачёве измену Родине перестали считать преступлением.

Это сообщение посчитали полезным следующие участники:

Отправлено: 07:56, 12-08-2014 | #3


Аватара для Tonny_Bennet

Ветеран


Сообщения: 1384
Благодарности: 177

Профиль | Отправить PM | Цитировать


Цитата James Marsh:
Жесткая привязка по МАС-адрессам? Не? »
Не, придётся ручками прописывать и потом менять постоянно. Я ж ленивый

Цитата El Scorpio:
Указать срок аренды адресов - 1 месяц или даже 1 год.
Поскольку для используемых адресов срок аренды постоянно продляется, у всех всегда будут одинаковые адреса. »
В чём тогда смысл DHCP? Что-то изменилось в сети и в следующий раз они обновят аренду через половину срока аренды - 15 дней или даже 6 месяцев? А если клиент отвалится и не освободит аренду, DHCP не будет ему отдавать занятый адрес. По-моему это не совсем хорошо.

Цитата El Scorpio:
Стоит. Поскольку в параметрах Firefox и других альтернативных программ изначально указано "использовать системные параметры прокси", никто ничего не заметит. »
Т.е. всё ПО под системными настройками понимает адрес прокси в свойствах обозревателя (то, что политиками отдали).

Цитата El Scorpio:
на маршрутизаторе разрешить входящие/исходящие соединения только для IP прокси-сервера. Таким образом в обход прокси никто не выйдет. »
Только для dst port 80, 8080, 443.

Цитата El Scorpio:
Обычный режим работы SQUID. Очень удобно настраивать через Webmin. А Firefox и другие программы вполне успешно запоминают пароли запроса прокси.
Также Squid вроде бы поддерживает авторизацию через Kerberos »
Слышал об этом, но не настраивал пока. А как тогда автоматизировать, что бы при паедении/отключении прокси сервера трафик пошёл через NAT маршрутизатора? Использовать постоянно прозрачный режим с проверкой доступности адреса прокси сервера? Так https перестанет работать.

-------
Сообщение оказалось полезным? Кнопка Полезное сообщение располагается чуть ниже.


Отправлено: 11:13, 12-08-2014 | #4


Аватара для cameron

Ветеран


Сообщения: 4677
Благодарности: 1092

Профиль | Отправить PM | Цитировать


Цитата Tonny_Bennet:
Может стоит политиками раздать адрес прокси-сервера для браузера (но опять же только для IE), и в проксе вести логи по логину/паролю AD не смотря на IP адрес машины? »
почитайте про WPAD - все браузеры понимают.

относительно окна аунтификации на прокси в браузере - если у вас есть терминальные серверы, то все эти agentless решения будут показывать траффик от первого аунтифицированного пользователя терминального сервера.

а в остальном у микротика (по-моему) есть встроенный Captive Portal

-------
в личке я не консультирую и не отвечаю на профессиональные вопросы. для этого есть форум.


Отправлено: 11:57, 12-08-2014 | #5


Аватара для Tonny_Bennet

Ветеран


Сообщения: 1384
Благодарности: 177

Профиль | Отправить PM | Цитировать


Цитата cameron:
почитайте про WPAD - все браузеры понимают. »
Цитата:
Web Proxy Auto-Discovery Protocol (WPAD) (протокол автоматической настройки прокси)
Т.е. от прокси сервера мне никуда не деться .

Цитата cameron:
относительно окна аунтификации на прокси в браузере - если у вас есть терминальные серверы, то все эти agentless решения будут показывать траффик от первого аунтифицированного пользователя терминального сервера. »
У меня есть решения, основанные на тонких клиентах и терминальных сессиях. Получается, что разделить веб трафик от разных пользователей с терминального сервера нереально ибо он сыпется с одного адреса.

Цитата cameron:
Captive Portal »
Сделать разрешалку/запрещалку выхода в интернет это хорошо. А как к ней статистику прикрутить?

Хочется минимизировать количество оборудования на удалённых точках (3-5 рабочих мест). Сейчас в таком подразделении может стоять только один Mikrotik, который выпускает в интернтет, раздаёт wi-fi, держит тунели и маршрутизирует трафик. Ради сбора статистики ставить туда ещё одну машину и понимать на ней прокси - не хочу. А вот научить MT сливать данные мне хотелось бы.

Стоит задумываться о 802.1X Port Access Control ?

-------
Сообщение оказалось полезным? Кнопка Полезное сообщение располагается чуть ниже.


Отправлено: 13:28, 12-08-2014 | #6


Аватара для cameron

Ветеран


Сообщения: 4677
Благодарности: 1092

Профиль | Отправить PM | Цитировать


Tonny_Bennet,
вы путате солёное с горячим.
у вас сейчас одна задача, не простая - аунтифицировать пользователя с терминальной сессии (всё остальное так или иначе реализуемо, хотя с горами костылей).
я не знаю agentless способа аунтификации пользователей с терминального сервера.
если этим можно принебречь - горы костылей вам в руки.
вообще, ИМХО, в нынешние времена трафик уже никого не интересует.

-------
в личке я не консультирую и не отвечаю на профессиональные вопросы. для этого есть форум.


Отправлено: 17:30, 12-08-2014 | #7


ИО Капитана Очевидности


Contributor


Сообщения: 5387
Благодарности: 1105

Профиль | Отправить PM | Цитировать


Цитата Tonny_Bennet:
Цитата El Scorpio:
Указать срок аренды адресов - 1 месяц или даже 1 год.
Поскольку для используемых адресов срок аренды постоянно продляется, у всех всегда будут одинаковые адреса. »

В чём тогда смысл DHCP? Что-то изменилось в сети и в следующий раз они обновят аренду через половину срока аренды - 15 дней или даже 6 месяцев? А если клиент отвалится и не освободит аренду, DHCP не будет ему отдавать занятый адрес. По-моему это не совсем хорошо. »
В удобстве.
Не нужно вручную контролировать базу DNS
Не нужно вводить руками параметры на десятках компьютеров.
Не нужно вести журналы учёта адресов и постоянно бояться, что случится дублирование адресов.
Не нужно бегать по всем кабинетам, как в ягобицепсы раненный, при необходимости изменить один параметр.

Что же касается "простаивающих адресов". У вас настолько большая сеть, что может переполниться маска /24? Сделайте маску /23 - этого хватит очень надолго.

Цитата Tonny_Bennet:
Получается, что разделить веб трафик от разных пользователей с терминального сервера нереально ибо он сыпется с одного адреса. »
При использовании авторизации SQUID пишет в логи не только IP, но и логин сеанса связи. Правда работу на терминальных серверах не я проверял.
Однако TMeter вроде бы может вести учёт по именам пользователей, работающих на данном компьютере. Так что можно вести учёт совокупного трафика терминального сервера, а затем анализировать его отдельно.

Цитата Tonny_Bennet:
А как тогда автоматизировать, что бы при паедении/отключении прокси сервера трафик пошёл через NAT маршрутизатора? »
Никак.
Разве что в базе DNS сделать CNAME "Proxy" на основной сервер и написать скрипт, который будет периодически опрашивать его, а при потере изменять эту ссылку на запасной.
Впрочем обычно прокси на linux, установленном на самые обычные старые системные блоки, работают месяцами точно
Ну а на если вы на надёжном сервере сделаете виртуальную машину, то вообще проблем никаких не будет.

-------
Самое совершенное оружие, которым забиты арсеналы богатых и процветающих наций, может легко уничтожить необразованного, больного, бедного и голодного. Но оно не может уничтожить невежество, болезнь, нищету и голод. (Фидель Кастро)

Почему всех осужденных за измену Родине при Сталине реабилитировали при Горбачёве по отсутствию состава преступления? Потому что при Горбачёве измену Родине перестали считать преступлением.


Отправлено: 01:50, 13-08-2014 | #8


Аватара для Rezor666

Ветеран


Сообщения: 2738
Благодарности: 336

Профиль | Сайт | Отправить PM | Цитировать


Цитата Tonny_Bennet:
Есть ленивый сисадмин - я. »
Плохо это.

Цитата Tonny_Bennet:
Я почему-то считаю это серьёзным костылём, да и вообще хочу отказаться от прокси сервера. »
Это не костыль, это вполне логично.
Не хотите подменять сертификаты? Пропишите прокси на https через GPO.

Цитата Tonny_Bennet:
Всё красиво, но как быть с клиентами которые получают адрес по DHCP? »
Получать статистику не по ip, а по dns, если это возможно.

Цитата Tonny_Bennet:
Может стоит политиками раздать адрес прокси-сервера для браузера (но опять же только для IE), и в проксе вести логи по логину/паролю AD не смотря на IP адрес машины? »
Многие браузеры берут настройки из IE

Цитата Tonny_Bennet:
Скажите есть ли варианты логировать статистику посещения веб ресурсов без прокси-сервера (всё прозрачно), но с какой-либо авторизацией? »
Нет

-------
"Средства у нас есть. У нас ума не хватает..."


Отправлено: 02:06, 13-08-2014 | #9


ИО Капитана Очевидности


Contributor


Сообщения: 5387
Благодарности: 1105

Профиль | Отправить PM | Цитировать


Цитата Rezor666:
Цитата Tonny_Bennet:
Всё красиво, но как быть с клиентами которые получают адрес по DHCP? »

Получать статистику не по ip, а по dns, если это возможно. »
SQUID составляет статистику по IP, а SARG при формировании отчётов считывает соответствующие имена из DNS.
Однако в результате получается, что используются имена компьютеров на момент составления отчётов.

-------
Самое совершенное оружие, которым забиты арсеналы богатых и процветающих наций, может легко уничтожить необразованного, больного, бедного и голодного. Но оно не может уничтожить невежество, болезнь, нищету и голод. (Фидель Кастро)

Почему всех осужденных за измену Родине при Сталине реабилитировали при Горбачёве по отсутствию состава преступления? Потому что при Горбачёве измену Родине перестали считать преступлением.


Отправлено: 02:44, 13-08-2014 | #10



Компьютерный форум OSzone.net » Компьютеры + Интернет » Сетевые технологии » Log/Monitoring - Статистика web-сёрфинга без прокси сервера

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
Прочее - [решено] Блокировка сайтов, с помощью iptables. БЕЗ ПРОКСИ Сервера. voler Общий по Linux 14 11-04-2015 10:42
Интернет - программа, интернет через прокси в без прокси. adri Программное обеспечение Windows 6 14-02-2013 14:14
Прочее - выбор linux сервера в качестве файлового и прокси сервера vova Общий по Linux 6 08-06-2012 09:46
[решено] Прокси не пускает на внутренний web-сайт Agnicul ISA Server / Microsoft Forefront TMG 16 01-08-2011 17:15
Настройка сервера (2003 sp2+CS+WoW- билинг+статистика) Sorvi_Golova Сетевые технологии 7 13-07-2007 10:50




 
Переход