Баннеры
 

Доброго вемени суток, all!..
Настраиваю проксю и хочу забанить баннеры :-), но никак не могу найти  список сайтов... Могет есть у кого?.. Поделитесь?..

Не знаю но кажется все баннеры так и лежат на сайте который ты собираешься грузить. Просто это картинка которая является ссылкой. Так что ИМХО это не возможно.

Zx
А если прописать адрес баннера, то картинка не загрузиться..

Скажем так: в своё время BeerMan подарил лично мне список ''плохих'' урлов. Если он будет против опубликования (о чём сообщит здесь же) я этот пост сразу откорректирую. Кто не успел - тот опоздал.

admosaic\.cgi?
/fastclick/
/click\.cgi?
/ads/
/ad/
/adverts/
/ban/
/bann/
/banner/
/Banner/
/bb\.cgi?cmd=ad&pubid=
/ben\.aspads\.net/
/cnt?p=
/cp_ban/
/pagemaker
/partner
/rek\.m9\.ru/
/uxi/uxo-
/yxi/tmp
/yxo/
ushko/
banners
bshow?banner=
^http://1000stars\.ru/cgi-bin/1000.cgi?
^http://217\.170\.71\.61\users/
^http://a\.tribalfusion\.com\i\.ad?site=
^http://sj\.
^http://sj.\.
^http://ad\.
^http://ad.\.
^http://bs\.
^http://affiliate\.km\.ru\img/
^http://alpha\.f2\.ru\iframe\.txt?
^http://ar\.atwola\.com/
^http://bd\.centre\.ru\show\.cgi?id=
^http://bs\.yandex\.ru\count/
^http://cgi\.sexswap\.com\AdSwap\.dll?showad?
^http://engine\.awaps\.net/
^http://exec\.osp\.ru/
^http://free4web\.virtualave\.net\cgi...pwork\.cgi?ID=
^http://hg1\.hitbox\.com\HG?
^http://i\.bigbn\.com\.ua/
^http://images\.rambler\.ru/
^http://info-images\.rambler\.ru/
^http://kansas\.valueclick\.com/
^http://lenta\.ru/krutilka/
^http://newdata\.box\.sk/astalavista.gif
^http://ntv2\.21\.ru/
^http://partner\.porta\.ru/pup/
^http://pics\.rbc\.ru/.+\.gif$
^http://r\.gismeteo\.ru/
^http://reklama\.mail\.ru/pictures/
^http://reklama\.port\.ru/
^http://rle\.hostway\.ru/users/
^http://secure\.webconnect\.net/cgi-bin/webconnect\.dll?
^http://sle-pvt\.com\.ua:8201/
^http://spms\.bpath\.com/gif\.cfm?id=
^http://us\.a1\.yimg\.com/
^http://webline\.ufs\.kiev\.ua/click\.php3?BannerID=
^http://www\.bigbn\.com\.ua:8080/bigbn/
^http://www\.bizlink\.ru/cgi-bin/irads\.cgi?cmd=ad&
^http://www\.download\.ru/books_images/
^http://www\.km\.ru\images/affiliate/
lbe\.ru/
^http://www\.lenta\.ru\krutilka/
^http://.*linkexchange\.ru/cgi-bin/
^http://www\.mykopykatz\.com/images/m...atz_banner.gif
^http://www\.qksrv\.net/image-
^http://www\.sharaban\.ru/cgi-bin/adcycle.cgi
^http://www\.sw-home\.f2s\.com/images/MyProxy.jpg
^http://www\.uncleweb\.com/
^http://www\.yadro\.ru/cgi-bin/show?
^http://r\.mail\.ru/b
viewbanner\.php?
^http://forum.ru-board.com/temp/.*gif$
^http://m2k\.ru

Это во-первых.

Во-вторых:

Как обычно, теперь уже не вспомню, где я ЭТО содрал, но вот текст:

ВОПРОС:

Последнее время на веб-сайтах появилось просто огромное количество баннеров и счетчиков какого-то нового типа - файрволл Norton Internet Security никак не может меня от них избавить.

Внесение в список заблокированных сайтов URL-адресов таких баннеров и баннерных сетей ничего не дает, поскольку, как видно из кода веб-страниц, вызываются эти баннеры и счетчики с помощью JavaScript, а не непосредственной ссылкой.

Отключать JavaScript совсем не очень хочется - слишком уж он распространен в Сети. Да и искать что-то кроме NIS нежелательно - файрволл этот по своей мощности и качеству пока не превзойден (чего одно только шифрование настроек в реестре стоит!). Что тут можно еще придумать?

ОТВЕТ:

Ну, во-первых, очень помогает активное использование файла C:\Windows\hosts (без расширения, в Windows XP он находится в папке D:\Winnt\System32\drivers\etc) - о нем я уже упоминал в одном из номеров журнала. Необходимо по очень простому правилу внести в файл hosts список баннерных сетей, виновников наличия раздражающих баннеров.

Должно получиться что-то примерно такого вида:
127.0.0.1 banner.kiev.ua
127.0.0.1 banner.list.ru
127.0.0.1 banner.ricor.ru
127.0.0.1 banner.trifle.net
- то есть каждой баннерной сети принудительно назначается адрес 127.0.0.1, принадлежащий вашему собственному компьютеру. При этом, встретив на веб-страничке ссылку, например, на banner.list.ru, ваш браузер попытается загрузить ее с вашего же ПК, соответственно, запросов в Сеть уходить не будет и баннер будет отсечен.

Узнать истинный URL-адрес баннера или баннерной сети можно разными способами: щелкнуть правой кнопкой мыши на баннере и посмотреть ссылку в диалоговом окне его свойств; выбрать в браузере команду "В виде HTML" (View Source) и найти ссылку на баннер в коде веб-страницы; наконец, заглянуть в логи файрволла.

Готовый файл hosts с огромным списком баннерных сетей вы найдете по адресу http://www.smartin-designs.com/downl...ull_127001.zip.

Но для максимальной защиты хочу подсказать еще один надежный способ защиты от вредоносных баннеров, всплывающих окон и счетчиков, который действует практически безотказно.

В файрволле Norton Internet Security откройте окно Event Log, а в нем - страницу Web History, то есть протокол посещенных веб-сайтов. Очистите этот протокол и, установив интернет-соединение, зайдите на сайт с назойливым баннером.

Теперь снова загляните в протокол файрволла Web History - поскольку с момента его очистки вы открывали всего одну веб-страницу, то в идеале можно было бы ожидать, что в протоколе окажется только один URL-адрес.

Однако из-за того, что на этой странице размещены всяческие счетчики и баннеры, отображающиеся обычно с совершенно других адресов, то в протоколе Web History окажутся помимо адреса посещенной веб-страницы еще и адреса баннерных сетей и счетчиков, например, строки вида "ad12.lbn.ru/
bb.cgi?cmd=ad...".

Наша задача - добиться именно того идеального случая, когда при посещении какого-нибудь веб-сайта таких паразитных строк в логах файрволла не было бы, то есть заблокировать наиболее распространенные баннерные сети.

К сожалению, простое внесение в список AdBlocking программы Norton Internet Security (да и в других файрволлах) некоторых URL-адресов действительно не приносит успеха: рекламщики тоже не лыком шиты и со своей стороны борются с файрволлами и баннерорезками с помощью скриптов и прочих ухищрений. Но по полученному файрволлом URL-адресу мы вполне можем узнать IP-адреса серверов, с которых к нам попадает реклама. Для этого надо всего лишь воспользоваться утилитой NSLookup.

Зайдите на сайт www.all-nettools.com и в разделе Network Tools выберите форму для заполнения NSLookup, в которую нужно внести URL нашего подсудимого: ad12.lbn.ru. После отработки скрипта на сервере мы получим такие результаты:
Name: ad4.lbn.ru
Address: 62.118.249.27
Aliases: ad12.lbn.ru

Таким образом, мы определили IP-адрес баннерно-рекламного сервера. Учтите только, что для некоторых URL может быть сразу несколько IP-адресов - вот эти-то самые IP, причем все, что мы выявили, теперь необходимо полностью заблокировать.

Снова запускаем файрволл Norton Internet Security (в других процедура примерно аналогична - названия меню только различаются) и находим интернет-меню Zone Control. В этом меню на вкладке Restricted вносим найденные IP - и больше ни один бит не просочится ни с этих адресов, ни на них.

Снова заходим на сайт со злополучными баннерами и по логам файрволла определяем следующую жертву - и так до тех пор, пока при заходе на этот сайт не получим наш идеальный вариант без паразитных веб-соединений.

Примерно через неделю в вашем списке заблокированных IP окажется несколько десятков адресов, сайты, посещаемые регулярно, полностью очистятся от всех видов рекламы, а ваш траффик заметно похудеет - ведь нередки случаи, когда баннеры, счетчики и прочая мерзость оказываются скрытыми (например, в скрытом фрейме) и пользователь даже не подозревает, что вместе с десятком килобайт полезной информации загружает еще сотню-другую совершенно ненужного мусора.

Описанный метод использования файрволла помогает выявить абсолютно все, что закачивается на ПК пользователя.

Baboon
Ясно спасибо. Буду знать

Ценная информация! Спасибо!
А я пользовался несколько иным методом.
Набирал в поисковике "баннерные сети" нашел несколько сайтов, расхваливающих эти самые сети, там список крупнейших сетей был, примерно штук 25.
как раз типа ad0.lbn.ru ad1.lbn.ru ad2.lbn.ru adх.lbn.ru и т.д.
Поскольку на этих узлах полезного в принципе быть не может, резал по принципу
block *.lbn.ru/*
так я вырезал все самые популярные буквально за 10 минут, при этом эффект - около 40% рекламы в рунете сразу исчезло. Ну а остальные потихоньку добавляю по мере обнаружения. К слову сказать у меня на каждой 2-й странице этого форму вместо баннеров крестики :о)))
Кста у меня вопрос по файлу hosts. Если я пропишу это на сервере (который шлюз в инет) на пользователей сети будет распространяться блокировка?

[s]Исправлено: FWC, 9:54 22-03-2003[/s]

Недавно возникла необходимость заняться прокси-сервером. Кто может сказать какими списками баннерных сетей пользуется для фильтрации контента и откуда их можно взять.

P.S. А уж если ещё кто и своими поделится, цены ему не будет. ;)

Некоторое количество URL для фильтрации рекламы и изображений можно импортировать из maxthon

Взял из urlfilter.ini от своей Оперы:


В списке много перекликающихся ссылок, но вот образовался такой список... Там были ещё одиночные баннеры, но их я потёр - лишние тут.

Помогите разобраться с баннерорезкой в Usergate 4.0.
Импортировал фильтры из maxthon. В UG создал правило с результатом действия закрыть соединение, в список url-адресов добавил фильтры из maxthon и применил это правило к конкретному пользователю. В итоге при открытии какого-либо сайта maxthon показывает что срабатывает AD-охотник по фильтру содержимого. Почему срабатывает AD-охотник? Разве это содержимое не должен прибить сам UG? При этом, если попытаться открыть в maxthon'е заблокированное содержимое через просмотр заблокированных адресов, то срабатывает уже сам UG - "Данный URL запрещен".
Почему UG не срабатывает сразу, а только при попытке просмотра заблокированного содержимого в отдельном окне?

Быть может юзергейт передаёт страницу "не вчитываясь"? А макстон уже режет ненужное. Затем, если специально отправлять запрос, юзергейт видит, что адрес должен фильтроваться - и не пускает.

Usergate текст страницы вообще не трогает, он работает только с запросами.

А какая тогда схема контроля трафика у прокси? Я так понимаю, что сначала проверяется адрес страницы и потом загружается ее содержимое. Если в странице есть ссылка-баннер то ее он должен анализировать или нет? Или только в случае если этот баннер является единственным содержимым?

qwerty123123
Немного не так.

1. Usergate проверяет адрес страницы и если она не запрещена, запрашивает ее (текст не проверяется).
2. Текст страницы анализирует браузер и запрашивает картинки.
3. Прокси проверяет адреса картинок на разрешение доступа.

В вашем случае срабатывает блокировка на шаге 2, и до прокси дело просто не доходит. Отключите AD-охотник, тогда будет блокировать прокси.

DedAlex
Забыл указать еще в первом посте - при отключении AD-охотника вроде вообще ничего не блокируется. По крайне мере если сравнить загруженную страницу под присмотром AD-охотника и без него, то без охотника появляются баннеры. Т.е. UG не блокирует рекламу по фильтру.

qwerty123123
Уточните, вообще не блокирует или блокирует но не все.
У меня в Maxton стоит плагин "очистка мусора", автоматически запускается после загрузки страницы. Он "режет" баннеры по размеру картинки, а не по адресу. Может и у вас та же ситуация?

Этого плагина вроде нет.
UG режет но не все.
Например:
имеем баннер "Участник rambler's TOP 100". Этот баннер ссылается на страницу http://top100.rambler.ru/top100/, а сама картинка этого баннера загружается с адреса http://top100-images.rambler.ru/top100/banner-88x31-rambler-blue.gif.
В итоге получаем что Maxthon блокирует этот баннер по фильтру */banner*, а UG не трогает при одинаковом наборе фильтрв. Складывается токое впечатление, что именно UG работает неправильно - как будто он обрабатывает адрес, на который ссылается баннер, но не обрабатывает адрес, с которого загружается картинка.

qwerty123123
У меня наиболее похожий фильтр в Maxton - */banner/*, но он и не должен срабатывать, да и ваш тоже не должен. Либо он выглядит */banner*, а здесь просто описка.

Я так понимаю, что данная проблема не решаема и придется списать на глюки UG4.0?

что не говорите, но все банеры не перебанишь. Лучше всего банить их по маске, типа Построение и синтаксис масок зависит от самой прокси.