Сложные системы, такие как сетевой трафик или живые организмы, не обладают детерминированными физическими законами для их точного описания и предсказания дальнейшего поведения. В этом случае важную роль играет корреляционный анализ, который описывает поведение системы в терминах наборов статистических параметров.
Описывают такие сложные системы бестрендовые последовательности, часто определяемые как долгосрочные временные ряды или «шум». Они представляют собой колебания, создаваемые совокупностью различных источников, и являются одними из наиболее сложных данных для анализа и извлечения надежной, стабильной информации.
Одной из метрик, используемых в экономике и естественных науках при анализе временных рядов, является показатель Хёрста. Он позволяет предположить, сохранится ли тренд, присутствующий в данных: например, продолжат ли значения возрастать, или рост сменится убыванием. Это предположение выполняется для многих природных процессов и объясняется инертностью природных систем. Скажем, изменение уровня воды в озере, которое согласуется с прогнозами, выведенным из анализа значения показателя Хёрста, определяется не только текущим количеством воды, но и интенсивностью испарения, выпадением осадков, таянием снега и т. д. Все перечисленное — растянутый во времени процесс.
Как уловить кибератаку
Объем трафика, проходящего через сетевые устройства, чудовищен. Это касается и конечных аппаратов — домашних персональных компьютеров, но особенно — промежуточных, таких как маршрутизаторы, а также высоконагруженных серверов. Часть этого трафика, например, видеоконференцсвязь, необходимо отправить с максимальным приоритетом, тогда как отправка файлов может и подождать. А может быть, это торрент-трафик, который забивает узкий канал. Или вовсе — идет сетевая атака, и ее нужно блокировать.
Анализ трафика требует вычислительных ресурсов, места для хранения (буфера) и времени — задержки в передаче. Все это в дефиците, особенно если дело касается маломощных промежуточных устройств. В настоящее время используются либо относительно простые методы машинного обучения, которые страдают от недостатка точности, либо методы глубоких нейронных сетей, которые требуют достаточно мощных вычислительных станций с большим объемом памяти просто для разворачивания инфраструктуры для запуска, не говоря уже о самом анализе.
Идея, лежащая в основе работы группы ученых, достаточно проста: обобщить показатель Хёрста, добавив в него большее количество коэффициентов, чтобы получить более полное описание изменяющихся данных. Это позволяет находить закономерности в данных, которые принято считать шумами и которые ранее было невозможно анализировать. Таким образом удается производить «на лету» выделение значимых признаков и применять элементарные методы машинного обучения для поиска сетевых атак. В совокупности получается точнее тяжелых нейронных сетей, и такой подход можно разворачивать на маломощных промежуточных устройствах.
Шум — это то, что принято отбрасывать, но выделение закономерностей в них может быть очень полезным. Работа с данными глубоко проникает во все сферы человеческой жизни, алгоритмы распознавания изображений и речи давно перешли из разряда научной фантастики во что-то, с чем мы сталкиваемся ежедневно. Данный метод описания позволяет получать признаки сигнала, которые могут использоваться в машинном обучении, существенно упрощая и ускоряя системы распознавания и улучшая точность решений.
