Удобный анализ интернет-трафикаАвтор: Михаил Брод
Опубликовано: 23.05.2011
Источник: SoftKey.info  Любая программа, предназначенная для организации единого доступа из локальной сети в Интернет, имеет функционал для формирования разнообразных отчетов. В одних программах таких отчетов может быть больше, в других - меньше, но в целом они дают возможность проведения анализа использования трафика. В крупных организациях, где доступ может осуществляться через несколько прокси-серверов, такие отчеты будут формироваться для каждого из них в отдельности, а если используемые серверы различны, то и отчеты также будут отличаться друг от друга.
Унифицировать отчеты, снять излишнюю нагрузку на серверы при их формировании можно с помощью внешней программы. Такую возможность предлагает компания ADVSoft. Их программа ProxyInspector позволяет анализировать результаты работы таких прокси-серверов, как Microsoft ISA Server 2000/2004/2006, TMG 2010, Kerio WinRoute Firewall, Qbik WinGate, Squid, EServ и Ositis WinProxy. Одно неудобство - поскольку каждый сервер сохраняет информацию в собственном формате, для ее анализа разработаны различные версии ProxyInspector.
Впрочем, для крупных организаций разработана специальная версия программы, которая поддерживает одновременную работу с несколькими серверами, в том числе разнесенными географически, поддерживает ActiveDirectory, сохраняет данные в MS SQL Server.
Принцип работы всех версий одинаков и основан на анализе логов прокси-серверов. Поэтому первое, что необходимо сделать перед тем, как приступить к использованию программы, это включить (если этого не было) запись лог-файлов. Собственные настройки программы при работе с различными прокси-серверами несколько различаются, поэтому в документации приводится подробная информация для каждого варианта, в том числе для случаев, когда программа и сервер установлены на одном компьютере или на разных. Для версии Enterprise Edition, поддерживающей несколько прокси-серверов, есть небольшая особенность. Серверы могут быть логически сгруппированы в домены, а при первом подключении к базе данных будет создан домен по умолчанию, в который можно добавлять серверы или создавать новые домены.
Основанная на анализе лог-файлов программа обеспечивает формирование разнообразных и всесторонних отчетов в удобном для просмотра виде. Используя встроенные или разработанные самостоятельно отчеты, можно получить информацию о самых активных рабочих станциях, пользователях, наиболее посещаемых ресурсах, распределение трафика по протоколам, сайтам, дням недели и часам.
ProxyInspector позволяет использовать как встроенную базу данных, так и базу данных Microsoft SQL Server. Вне зависимости от того, какая база будет использоваться, для импорта логов требуется выполнить определенные настройки. Эти настройки будут влиять лишь на получаемую информацию, но не на ту, что была импортирована ранее. Поэтому в тех случаях, когда потребуется изменить параметры импорта, необходимо будет выполнить очистку базы данных, чтобы информация в ней соответствовала последним параметрам, и заново выполнить импорт из ранее обработанных файлов. В связи с этим настройте программу таким образом, чтобы после импорта лог-файла сохранялась его резервная копия, а исходный обработанный файл можно было удалить.
Помимо полной очистки базы данных, из нее можно удалить информацию, импортированную из определенных лог-файлов (а затем выполнить, например, импорт заново), удалить отдельные элементы - пользователей, IP-адреса, сайты. Но в этом случае заново импортировать данные до полной очистки базы нельзя.
Какие настройки влияют на импорт? В некоторых случаях лог-файлы содержат не имена сайтов, а их IP-адреса. Для удобства дальнейшего анализа возможно использование опции преобразования этих адресов в привычные имена сайтов. Использование этого преобразования существенно увеличит время обработки, но можно использовать кеширование выполненных преобразований, что при повторном появлении уже известного адреса позволит брать данные из кеша. Впрочем, не все адреса удается преобразовать, в этом случае они будут записаны в базу в исходном виде.
С целью уменьшения размера базы можно использовать опцию сжатия записей. Эта опция обеспечивает сжатие информации о трафике в заданном временном интервале (по умолчанию 60 минут). Опции обработки URL позволяют выборочно удалять поддомены третьего (и выше) уровней из URL. Это означает, что в базе данных будет сохраняться лишь основной домен (приведет к уменьшению числа различных доменов в базе и упрощению построения отчетов). Как дополнительный параметр можно использовать список доменов, для которых будет выполняться эта обработка, все остальные будут заноситься в базу в исходном виде.
Уменьшение объема базы можно также осуществить за счет исключения из импортируемых данных внутрисетевого трафика. Трафик считается внутрисетевым (локальным), если IP-адреса клиента и сервера находятся в таблице локальных адресов. Остается лишь добавить в настройки граничные значения локальных адресов, и избыточная информация в отчеты попадать не будет.
Для включения в базу только определенной информации применяется фильтрация (действует на этапе импорта). С помощью фильтров можно исключать (либо, наоборот, использовать указанные параметры для включения в импорт) трафик по определенным пользователям, сайтам, IP-адресам, протоколам.
С целью большего удобства при работе с отчетами можно выполнить при импорте данных подстановку пользователей - замену имен пользователей, какими они пользуются в сети, на псевдонимы, определяемые в настройках программы. Эта возможность особенно удобна в тех случаях, когда один и тот же пользователь для работы в сети применяет разные имена - за счет подстановки трафики по этим именам можно будет объединить под одним псевдонимом.
Анализ полученных данных выполняется с помощью отчетов. Отчет - это структурированное представление данных. Он состоит из нескольких предопределенных частей. Обязательная часть - содержание, определяет состав отчета в целом. Может отображаться в начале отчета или в виде дерева слева. В каждом отчете есть как минимум один раздел, состоящий из ряда секций. Каждая секция содержит таблицу и/или диаграмму, показывающую распределение трафика по критериям, которые были определены на этапе создания отчета.
На основе собранных данных можно формировать самые различные отчеты. Для упрощения их подготовки в программе реализовано три механизма. Первый - использование встроенных отчетов. Панель, где они расположены, содержит наиболее часто используемые отчеты, позволяющие быстро определить наиболее активных пользователей, наиболее часто посещаемые сайты, распределение трафика по типам протоколов и другое. Для различных серверов набор встроенных отчетов может различаться.
Второй механизм предполагает использование "быстрых отчетов". Он упрощает выбор элементов для создания отчетов, пропускает ряд настроек и позволяет быстро получить требуемую информацию.
Наконец, третий механизм - это использование мастера создания отчетов. Его лучше всего применять для создания не разовых отчетов, как в случае с "быстрыми отчетами", а шаблонов, которые можно будет использовать неоднократно. Использование шаблонов значительно ускоряет и упрощает формирование отчетов, а также позволяет автоматизировать их создание и рассылку. Подготовка шаблона выполняется за несколько шагов. Вначале определяется его тип (отчет по пользователям, сайтам и так далее), данные с каких серверов будут включены в отчет, производится определение условий формирования отчета и способ его представления. Далее выполняется определение секций, включаемых в отчет, интервал времени, за который он будет сформирован. Для включенных в отчет секций надо определить, как ProxyInspector будет подсчитывать проценты и сортировать данные.
Список интересующих IP-адресов или сайтов можно выбрать из общего списка, который есть в базе данных. Для сайтов возможность выбора ограничена теми, которые посещались в последние тридцать дней (если их больше тысячи, то будет показана только первая тысяча). Временной интервал построения отчета можно назначить из стандартного перечня (текущий день, вчера, текущая неделя, прошлая неделя, текущий месяц, прошлый месяц) или задать произвольный интервал времени. На последнем шаге остается присвоить отчету имя и сохранить его.
Сохраненный шаблон будет помещен в список шаблонов в менеджере отчетов и доступен для дальнейшего использования. После создания отчет может быть сохранен в форматах HTML, Excell, pdf, напечатан или отправлен по электронной почте. Сам отчет будет показан в отдельном окне. Вся информация в нем сведена в таблицы по разделам. Структура отчета отражает те разделы, которые были выбраны пользователем. Для удобства названия разделов выполнены в виде ссылок, с которых можно перейти на соответствующий раздел. Ссылки в отчетах действуют только из окна ProxyInspector, опционально удаляются при сохранении и обязательно удаляются при пересылке по электронной почте.
ProxyInspector может работать в нескольких режимах: ручном, полуавтоматическом и автоматическом. Первое время после установки программа, как правило, используется в ручном режиме, когда импорт данных и построение отчетов инициируются пользователем. При использовании второго варианта импорт данных выполняется автоматически по расписанию, заданному пользователем, все остальные этапы выполняются вручную. И, наконец, третий режим, при котором импорт данных, формирование отчетов и отправка их на определенный e-mail или сохранение на диске. Такой вариант работы применяется, когда отработан ручной режим работы и известно, какие отчеты нужны, когда их нужно сформировать и кому направить.
Программы серии ProxyInspector доступны для пробной эксплуатации. Среди ограничений таких версий - отсутствие возможности сохранения, печати и отправки по почте выполненных отчетов.
|
