ИССЛЕДОВАНИЕ И ОЦЕНКА МЕТОДОВ АВТОМАТИЗАЦИИ СБОРА И ОБРАБОТКИ СЕТЕВОГО ТРАФИКА ДЛЯ ЗАДАЧ КОНТЕНТ-ФИЛЬТРАЦИИ

Аннотация

Цель данной статьи – проведение оценки эффективности методов автоматизации сбора и обработки сетевого трафика. В условиях постоянно растущих объемов данных и увеличивающихся требований к их обработке предложен алгоритм, способный автоматически собирать и обрабатывать сетевой трафик с удаленных узлов, минимизируя задержки и повышая производительность системы. Основное внимание уделено трем ключевым аспектам: исследованию способов преобразования сетевого трафика, определению критериев для создания датасета в области семантической контент-фильтрации и оценке эффективности предложенных методов автоматизации. В рамках исследования выполнено преобразование сетевого трафика с использованием методов нормализации, фильтрации нерелевантных данных и разделения на сессии. Для оценки эффективности методов были предложены и использованы четыре критерия: масштабируемость, точность и качество данных, скорость обработки, а также управление потоками данных. Новизна работы заключается в разработке стандартизированного подхода для сбора и обработки сетевого трафика, что способствует повышению точности моделей машинного обучения в задачах семантической контент-фильтрации. Предлагаемые результаты указывают возможные пути улучшения в рамках автоматизации обработки больших объемов сетевого трафика с высокой производительностью.