The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Помещение данных о входящем трафике из ipcad в лог squid
Чтобы анализаторы логов прокси сервера squid отображали данные о пересылках в обход прокси, 
например данные по почтовому или ssh трафику, можно сохранить данные о таких
пересылках в логе squid.

Настройки ipcad:

    capture-ports enable;
    interface ppp* filter "ip and not dst net 192.168.0.0/16";
    aggregate 0.0.0.0/0 strip 32; /* Считаем все адреса */
    /* Теперь укажем какие порты как отображать */
    aggregate 1-19 into 65535;
    aggregate 20-21 into 21;
    aggregate 22-23 into 22;
    aggregate 25 into 25;
    aggregate 24 into 65535;
    aggregate 26-79 into 65535;
    aggregate 80-81 into 0;
    aggregate 82-109 into 65535;
    aggregate 110 into 110;
    aggregate 111-442 into 65535;
    aggregate 443 into 443;
    aggregate 444-3127 into 65535;
    aggregate 3128 into 0;
    aggregate 3129-65535 into 65535;

Сам файл обработки ipcad и записи в сквидовский лог:

    #!/bin/sh
    net="192.168"
    ttime=`/usr/bin/rsh localhost sh ip acco|/bin/grep 'Accounting data saved'| /bin/awk '{print ($4)}'`
    /usr/bin/rsh localhost clear ip accounting
    /usr/bin/rsh localhost show ip accounting checkpoint|/bin/grep $net|/bin/awk -v vtime=$ttime '{print (vtime".000",1,$1,"TCP_MISS/200",$4,"CONNECT",$2":"$6,"-","DIRECT/"$2,"-")}' >>/var/log/squid/access.log

Вместо 192.168 Вы можете указать свою сеть, которую брать с ipcad'а и заносить
в лог прокси сервера Squid.

Таким образом весь трафик, указанный в настройках ipcad'а будет отображен в access.log сквида, 
который в данном примере находится в папке /var/log/squid.
 
Ключи: log, squid, traffic, ipcad
Раздел:    Корень / Администратору / Система / Syslog, ведение логов

Обсуждение [ Линейный режим | Показать все | RSS ]
  • 1.1, lagzombie (?), 14:27, 30/06/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Пардон за ламерский вопрос.
    А SARG этот лог потом обработает корректно?
     
     
  • 2.2, wertik (ok), 20:13, 30/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    У меня корректно обработал.
    И не только sarg , но и free-sa
     

  • 1.3, lagzombie (?), 13:16, 01/07/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    ок, спасибо.попробую
     
  • 1.4, tierpunk (ok), 20:58, 02/07/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А в debian дистрибутиве нужно устанавливать из исходников, или он есть в рипозиториях? apt-cache search не помог.
     
  • 1.5, Аноним (5), 16:23, 03/07/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    еще бы по настройке ipcad поподробнее написали цены бы не было
     
     
  • 2.6, Zerot (?), 19:23, 03/07/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >еще бы по настройке ipcad поподробнее написали цены бы не было

    в свое время копал тему, и в отзывах нарыл, что ipcad может терять траффик. Т.к. решение к тому моменту уже было на ulogd, дальше не пошел. Однако ipcad. как заявлялось - это надстройка, которая может использовать в качестве источника не только ULOG, но и libpcap, netflow и т.п.
    .
    Еще одним заявленным плюсом является способность ipcad агрегировать траффик в памяти, что позволяет резко разгрузить ввод вывод на загруженных машинах. Вроде вещь интересная, но отзывы о потере траффика меня насторожили
    .
    Командный интерфейс ipcad очень напоминает похожие команды Cisco IOS для снятия счетчиков, но ipcad умеет различать траффик не только по IP, но еще по протоколам и портам, что позволяет получить детальную статистику. В общем и целом вы пишите конфигурацию, запускаете ipcad, а далее время от времени подключаетесь и снимаете очередную порцию статистики в виде текстового потока, который можно распарсить
    .
    Однако справедливости ради стоит сказать, что на сильно прогруженных машинах (даже банальное копирование файла с фильмом) анализатор траффика на ULOG также может терять статистику, и очень прилично. Этот эффект наблюдается при просадке подсистемы ввода вывода, когда статистика (ULOG может писать данные о каждом пакете) просто не успевает сохраняться. На типовых коммуникационных серверах, где требуется учесть с максимальной детализацией гигабайт 10-20 траффика в месяц, ULOG - решения статистику не теряют точно
    .
    В общем имеет смысл посмотреть в сторону ipcad с его агрегированием схожего траффика в памяти поподробнее и сравнить. Может когда нить дойдут руки

     
     
  • 3.10, Zerot (?), 22:51, 04/07/2008 [^] [^^] [^^^] [ответить]  
  • +/
    в продолжение темы
    .
    провел таки тест - на той же конфигурации, где iptables+ULOG теряет пакеты с определенного порога скорости обмена по сети - ipcad собирает статистику, даже не загружая систему. Собирает с полной детализацией по протоколам и портам (включена опция агрегирования). Пробовались 2 варианта - источник данных libpcap, и источник данных - ULOG iptables
    .
    Эксперимент не полный - требуется еще сравнение на подходящей детальной и продолжительной выборке. С учетом того, что ULOG - статистика при отсутствии перегрузки выдаёт картину, адекватную статистике провайдеров, реализованную на Cisco IP acct, сравнение результата на ipcad должно быть представительно

     

  • 1.7, tierpunk (ok), 00:20, 04/07/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Поставить, поставил, настроить настроил, а вот через rsh не могу выполнить команду show ip, говорит что незвнает что такое show, типо нет такой программы, ОС Debian 4.0, в чем может быть проблема?
     
     
  • 2.8, pavel_simple (??), 08:58, 04/07/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Поставить, поставил, настроить настроил, а вот через rsh не могу выполнить команду
    >show ip, говорит что незвнает что такое show, типо нет такой
    >программы, ОС Debian 4.0, в чем может быть проблема?

    apt-get install rsh-client

     
     
  • 3.9, tierpunk (ok), 11:47, 04/07/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>Поставить, поставил, настроить настроил, а вот через rsh не могу выполнить команду
    >>show ip, говорит что незвнает что такое show, типо нет такой
    >>программы, ОС Debian 4.0, в чем может быть проблема?
    >
    >apt-get install rsh-client

    Спасибо попробеумс.

     

  • 1.11, tierpunk (ok), 00:54, 05/07/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Вроде бы все получаеться, осталось только что бы это LightSquid сьел.
     
  • 1.12, nick (??), 00:17, 06/07/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Если есть возможность, кинь ,плиз, скриншот, лога, обработанного sargом. Спасибо.
     
  • 1.13, irekkazan (?), 08:56, 12/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Если я что-то не напутал, то
    filter "ip and not dst net 192.168.0.0/16";
    это правило вроде как считает исходящий трафик?
    Вернее не считает входящий трафик :)
    А если надо посчитать входящий, то правило такое:
    filter "ip and dst net 192.168.0.0/16 and not src net 192.168.0.0/16";
    Актуальней наверное все таки считать входящий траффик, а не исходящий.
    Ну и тогда
    /usr/bin/rsh localhost show ip accounting checkpoint|/bin/grep $net|/bin/awk -v vtime=$ttime '{print (vtime".000",1,$2,"TCP_MISS/200",$4,"CONNECT",$1":"$5,"-","DIRECT/"$2,"-")}' >>/var/log/squid/access.log


     
     
  • 2.14, irekkazan (?), 09:19, 12/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Вернее так
    /usr/bin/rsh localhost show ip accounting checkpoint|/bin/grep $net|/bin/awk -v vtime=$ttime '{print (vtime".000",1,$2,"TCP_MISS/200",$4,"CONNECT",$1":"$5,"-","DIRECT/"$1,"-")}' >>/var/log/squid/access.log
     

  • 1.15, schmel (?), 00:46, 31/01/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    а как на freebsd это реализовать? никак не хочет писать в файл, хотя коллектор работает нормально
     
  • 1.16, Sergey (??), 18:00, 29/07/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Добрый день.
    Подскажите, а та статистика, которую ipcad кладет в access.log squida как обрабатывается lightsquidom???
    Не происходит ли удвоение трафике по 80 порту???
     
     
  • 2.23, anon1111111111111111111111111 (?), 01:44, 11/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Нет, это же Лев писал, он наверное понимает. Тут же смысл про CONNECT, ты в CONNECT не указывай порты 80 и 81 и всё, я его логику понимаю ) бля умный мужик, где его найти сейчас? Бразы кто знает пишите: len-los@yandex.ru
     
  • 2.24, anon1111111111111111111111111 (?), 01:46, 11/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Добрый день.
    > Подскажите, а та статистика, которую ipcad кладет в access.log squida как обрабатывается
    > lightsquidom???
    > Не происходит ли удвоение трафике по 80 порту???

    А я заметил, смотри куда показывает порт 80 в 0 (ноль)

     

  • 1.17, TrasH_W (?), 10:33, 31/07/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    все нормально работает.
     
  • 1.18, Дмитрий (??), 12:37, 13/10/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    это конечно же всё хорошо. а как быть с ситуацией когда трафик сквида считается по пользователям AD, а не по ip? тогда ведь будет в логах отображаться будут и ip и юзера домена.
     
  • 1.19, Pasha (??), 11:24, 12/11/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Расскажите новичку, а тоже самое но с использованием iptables можно сделать? Чтобы логи писались в лог файла squid. Имеются две сетевухи eth0 -> в интернет, eth1 -> сеть
     
  • 1.20, umen (??), 17:55, 11/03/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    все прикольно! только вот при выполнении скрипта вот чего происходит:

    # ./ipcad_to_squid.sh
    connect to address 127.0.0.1: Connection refused
    Trying ::1...
    connect to address ::1: Connection refused
    Trying 127.0.0.1...
    connect to address 127.0.0.1: Connection refused
    Trying ::1...
    connect to address ::1: Connection refused
    Trying 127.0.0.1...
    connect to address 127.0.0.1: Connection refused
    Trying ::1...

     
  • 1.21, Denia (?), 01:50, 09/12/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Есть проблема: если в момент того, когда ipcad-скрипт пишет в лог, сквид тоже добавляет лог - можешь разбиться строка ipcad'а. И потом приходится чистить лог-файл. Как блокировать access.log от записи squid'а в момент добавления лога нашим скриптом для ipcad?
     
     
  • 2.22, qmad (?), 16:31, 08/09/2014 [^] [^^] [^^^] [ответить]  
  • +/
    #!/bin/sh

    str_net="192.168.0" # IP для выборки IPCAD
    ttime='/usr/bin/rsh localhost sh ip acco | /usr/bin/grep 'Accounting data saved'| /usr/bin/awk '{print $4}'' # формирование времени от IPCAD в лог squid

    ipcadacclog="/usr/local/squid/logs/ipcadaccess.log"     # Файл логов IPCAD
    squidacclog="/usr/local/squid/logs/access.log"          # Файл логов Squid
    samslog="/usr/local/squid/logs/sams.log"

    tail_pid_check='/bin/ps ax | /usr/bin/grep 'tail -F' | /usr/bin/grep -v grep | /usr/bin/awk '{print $1}''
    /bin/kill -9 $tail_pid_check > /dev/null

    /usr/bin/rsh localhost clear ip accounting > /dev/null # Формирование логов IPCAD
    /usr/bin/rsh localhost show ip accounting checkpoint | /usr/bin/grep $str_net | /usr/bin/awk -v vtime=$ttime '{print (vtime".000",1,$2,"TCP_MISS/200",$4,"CONNECT",$1":"$5,"-","DIRECT/"$1,"-")}' > $ipcadacclog

    /bin/cat $ipcadacclog >> $samslog

    /usr/bin/tail -F $squidacclog >> $samslog &


    Таким способом наложение данных исключается.
    Делал для sams. Если используется sams для подсчёта трафика, то ему нужно подсовывать sams.log. В общем идею я подал. Кому надо, ковыряйте под свои нужды.

     
     
  • 3.25, anon1111111111111111111111111 (?), 01:50, 11/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    >[оверквотинг удален]
    > /usr/bin/rsh localhost clear ip accounting > /dev/null # Формирование логов IPCAD
    > /usr/bin/rsh localhost show ip accounting checkpoint | /usr/bin/grep $str_net |
    > /usr/bin/awk -v vtime=$ttime '{print (vtime".000",1,$2,"TCP_MISS/200",$4,"CONNECT",$1":"$5,"-","DIRECT/"$1,"-")}'
    > > $ipcadacclog
    > /bin/cat $ipcadacclog >> $samslog
    > /usr/bin/tail -F $squidacclog >> $samslog &
    > Таким способом наложение данных исключается.
    > Делал для sams. Если используется sams для подсчёта трафика, то ему нужно
    > подсовывать sams.log. В общем идею я подал. Кому надо, ковыряйте под
    > свои нужды.

    Мужик, ты автору даже спасибо не сказал.
    Где бы его найти, на работу хочу к себе взять!

     
     
  • 4.26, zabudkin (??), 02:58, 15/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Так напиши мне
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:




    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру