Real-time machine learning anomaly detection in computer networks

Abstract

In the rapidly evolving digital world, the need for advanced security measures to protect our data has steadily increased. The growing cyber threats have made it essential to develop sophisticated Intrusion Detection Systems (IDS) that can adapt to modern network environments. In this thesis, to address this need, a system that detects malicious traffic by analyzing network traffic flows using deep learning methods is proposed. Various datasets that could be used for system development were examined, and the CICIDS2017 dataset, which stands out in terms of relevance and scope, was chosen. The CICIDS2017 dataset contains a total of 15 classes, one representing normal network traffic and the others representing different types of attacks. Training the deep learning model with a consistent and balanced dataset directly impacts system performance. Therefore, pre-processing steps such as removing missing or redundant data, eliminating irrelevant features, and balancing the number of examples in different classes were performed. Dense Neural Networks (DNN) and Random Forest (RF), methods commonly used in similar studies, were selected for the proposed model. The models developed could detect network traffic involving different types of attacks with an average accuracy of 98.5%. The main goal of this study is to detect attacks on the network. Accordingly, a version of the dataset consisting of two classes—normal network traffic and attack traffic—was created. Using this dataset, another system was developed that could detect malicious traffic with 98.8% accuracy. The systems developed in this thesis aim to detect attacks in real-time within a network. Therefore, after optimizing performance through experiments with different parameters, the models were tested in a real network environment using the NVIDIA Jetson AGX Orin embedded system. For the sustainability of the developed system, training with current network traffic and attacks is also essential. In this regard, the training of the models on the embedded system was analyzed in terms of time and performance.

Hızla gelişen dijital dünyada, verilerimizi korumak için gelişmiş güvenlik önlemlerine duyulan ihtiyacı giderek artırdı. Artan siber tehditler, modern ağ ortamlarına uyum sağlayabilen sofistike Saldırı Tespit Sistemlerinin (Intrusion Detection System, IDS) geliştirilmesini zorunlu hale getirmiştir. Tez kapsamında bu ihtiyacı karşılamak amacıyla ağ içerisindeki trafik akışlarının derin öğrenme yöntemleri ile incelenerek zararlı trafiğin tespit edildiği bir sistem önerilmiştir. Sistemin geliştirilmesi için kullanılabilecek çeşitli veri setleri incelenmiş ve güncellik ve kasam acısından öne çıkan CICIDS2017 veri setinin kullanılması tercih edilmiştir. CICIDS2017 veri seti içerisinde biri normal ağ trafiğine diğeri ise farklı tipteki saldırılara ait olmak üzere toplam 15 adet sınıf bulunmaktadır. Oluşturulacak derin öğrenme modelinin tutarlı ve dengeli bir veri seti ile eğitilmesi Sistem başarımı üzerinde doğrudan etkilidir. Bu nedenle veri seti üzerinde eksik veya tekrarlı verinin silinmesi, önemsiz özelliklerin çıkarılması, farklı sınıflardaki örnek sayısının dengelenmesi gibi ön işlemler gerçekleştirilmiştir. Oluşturulacak model için benzer çalışmalarda yaygın şekilde kullanılan Yoğun Sinir Ağları (Dense Neural Network, DNN) ve Rastgele Orman (Random Forest, RF) yöntemlerinin kullanılması tercih edilmiştir. Oluşturulan modeller ile farklı saldırı tiplerine ait ağ trafiği ortalama olarak %98.5 başarım ile tespit edilebilmektedir. Çalışma kapsamında temel hedef ağ üzerindeki saldırıların tespit edilmesidir. Buna bağlı olarak veri setinin normal ağ trafiği ve saldırı trafiği olmak üzere iki sınıftan oluşan bir versiyonu oluşturulmuştur. Bu veri seti üzerinde yapılan çalışmalar ile zararlı trafiğin %98.8 ile tespit edilebildiği bir sistem daha ortaya konmuştur. Tez kapsamında geliştirilen sistemlerin bir ağ içerisindeki saldırıları gerçek zamanlı olarak tespit edilebilmesi hedeflenmektedir. Bu sebeple farklı parametreleri üzerinde yapılan denemeler sonrasında performansı optimize edilen modeller, NVIDIA Jetson AGX Orin gömülü sistemi üzerinde ve gerçek ağ ortamında test edilmiştir. Geliştirilen sistemin devamlılığı açısından güncel ağ trafiği ve saldırılar ile eğitilmesi de önemlidir. Bu kapsamda geliştirilen modellerin gömülü sistem üzerindeki eğitimleri de zaman ve performans açısından incelenmiştir.