Towards uncovering hidden internet traffic characteristics

Abstract

With the growing digitization of many dimensions of human life, including education, work, and entertainment, the Internet has become an inevitable utility. Since the Internet is designed and realized through the cooperation of many different organizations in a non-centralized manner with a best-effort mindset, it is essential to measure and monitor different aspects of the Internet including security, performance, and scalability. The rise of remote work has emphasized the need for measuring security of the Internet traffic. In this thesis, we first address the need for monitoring and measuring large-scale Internet traffic to gain useful insights into the security and traffic trends in large Internet Service Providers (ISPs) and Internet eXchange Points (IXPs)–important building blocks of today’s Internet–by designing a system called Flowyager for summarizing and querying network-wide flow data in a near real-time manner. This system enables network operators to spot Distributed Denial of Service (DDoS) attacks in the captured flow data and drill down specific parts of the flow data to gain more details about the attacks. Next, we propose FlowDNS to augment flow data with domain names which gives us the chance to infer the actual service/domain to which the traffic belongs. This system lays the foundation for monitoring the services that are being used and gives network operators the chance to predict their bandwidth demands. The results from FlowDNS can later be combined with other sources of network data, e.g., routing data, to help network operators with their peering decisions. FlowDNS and Flowyager provide means to analyze network traffic and find abnormal traffic behaviors on the existing packet captures. However, to gain a more comprehensive picture of Internet traffic, we need to combine the results from the abovementioned systems with active measurement techniques. This gives us the chance to discover the existence and origin of hidden characteristics of the Internet traffic. For instance, in a large European ISP, we detect a large amount of Internet traffic using port number 0 when querying Flowyager. In this thesis, we complement passive measurement results with active measurement techniques to investigate the underlying causes of such traffic. We find that this traffic is mostly caused by fragmentation, scanning, and misconfigured devices. Finally, given the widespread usage of Virtual Private Networks (VPNs) during the COVID-19 pandemic for remote work, we strive to characterize VPN traffic in the Internet. We use active measurement techniques to detect VPN servers and analyze their security aspects. Then, with the help of FlowDNS, we detect VPN traffic on the Internet to provide insights about the VPN traffic patterns in the Internet. We publish the code for our systems, active measurements, and our analyses for future researchers to use. The works covered in this dissertation not only help researchers and network operators to gain insights about some hidden characteristics of Internet traffic but also provide the means to look for specific traffic patterns in the network flow data and investigate its characteristics.

Mit der zunehmenden Digitalisierung vieler Bereiche des menschlichen Lebens, einschließlich Bildung, Arbeit und Unterhaltung, ist das Internet zu einem unverzichtbaren Hilfsmittel geworden. Da das Internet durch die Zusammenarbeit vieler verschiedener Organisationen in einer nicht zentralisierten Art und Weise mit einer BestEffort-Mentalität entwickelt und realisiert wird, ist es unerlässlich, verschiedene Aspekte des Internets wie Sicherheit, Leistung und Skalierbarkeit zu messen und zu überwachen. Die Zunahme des Home Office hat die Notwendigkeit unterstrichen, die Sicherheit des Internet-Traffics zu messen. In dieser Arbeit befassen wir uns zunächst mit der Notwendigkeit, den Internet Traffic in großem Maßstab zu analysieren und zu messen, um nützliche Einblicke in die Sicherheits- und Traffic-Trends bei großen Internet Service Providern (ISPs) und Internet Exchange Points (IXPs) - wichtigen Bausteinen des heutigen Internets - zu gewinnen. Hierzu entwickeln wir ein System namens Flowyager zur Zusammenfassung und Abfrage von netzwerkweiten Datenströmen in nahezu Echtzeit. Dieses System ermöglicht es Netzbetreibern, DDoS-Angriffe (Distributed Denial of Service) in den erfassten Datenströmen zu erkennen und bestimmte Teile der Datenströme zu analysieren, um mehr Details über die Angriffe zu erfahren. Als Nächstes schlagen wir FlowDNS vor, um Flow Data mit Domänennamen zu ergänzen. Flow Data bezeichnet hierbei die Informationen über einen Datenstrom, der sich über einen längeren Zeitraum zwei kommunizierenden Endstellen zuordnen lässt. Dadurch erhalten wir die Möglichkeit, auf den tatsächlichen Dienst/die Domäne zu schließen, zu dem/der die Datenströme gehören. Dieses System gibt Netzbetreibern die Möglichkeit, ihren Bandbreitenbedarf vorherzusagen. Die Ergebnisse von FlowDNS können später mit anderen Quellen von Netzdaten, z.B. Routing-Daten, kombiniert werden, um Netzbetreibern bei ihren Peering-Entscheidungen zu helfen. FlowDNS und Flowyager bieten die Möglichkeit, die Netzwerkdatenströme zu analysieren und abnormale Traffic-Muster anhand der vorhandenen Daten zu erkennen. Um jedoch ein umfassenderes Bild des Internet-Traffics zu erhalten, müssen wir die Ergebnisse der oben genannten Systeme mit aktiven Messverfahren kombinieren. Dies gibt uns die Möglichkeit, die Existenz und den Ursprung verborgener Merkmale des Internet-Traffics zu entdecken. So stellen wir beispielsweise bei einem großen europäischen ISP fest, dass ein großer Teil des Internet-Traffics über die Portnummer 0 abgewickelt wird. Deshalb ergänzen wir die passiven Messergebnisse mit aktiven Messverfahren, um die Ursachen für diese Datenströme zu untersuchen. Wir stellen fest, dass diese Datenströme hauptsächlich durch Fragmentierung, Scannen und falsch konfigurierte Geräte verursacht werden. Angesichts der weit verbreiteten Nutzung Virtueller Privater Netzwerke (VPNs) während der Corona-Pandemie für das Home Office untersuchen wir die VPN-Datenströme im Internet zu charakterisieren. Hierzu verwenden wir aktive Messverfahren, um VPN-Server aufzuspüren und ihre Sicherheitsaspekte zu analysieren. Anschließend ermitteln wir mit hilfe von FlowDNS die VPN-Datenströme im Internet, um Erkenntnisse über deren Muster im Internet zu gewinnen. Wir veröffentlichen den Code für unsere Systeme, die aktiven Messungen und unsere Analysen, damit zukünftige Forscher sie nutzen können. Die in dieser Dissertation behandelten Arbeiten helfen nicht nur Forschern und Netzbetreibern, Einblicke in einige verborgene Merkmale des Internet-Traffics zu gewinnen, sondern bieten auch die Möglichkeit, nach bestimmten Mustern der Internet-Datenströme zu suchen und deren Merkmale zu untersuchen.