Towards a robust and reproducible evaluation framework for congestion control algorithms

Abstract

Network congestion, the state where systems such as switches or routers receive more data than they can handle, leads to packet losses, increased network delay, and reduced throughput for all data passing through such a congested system. Congestion control remains a key research problem in networking, with both industry and academia proposing solutions to improve network performance. Research on congestion-control algorithms (CCAs) spans about four decades, yet there is still no "one-size fits-all" solution. Due to evolving hardware (programmable switches and NICs), changing traffic patterns, stringent application requirements, etc., new CCAs are being proposed every so often. CCAs for the public Internet or WANs are usually designed by researchers in academia or industry, or by operators of large-scale networked systems. These algorithms must then run in networks where they share network resources with other (existing) CCAs. So, before deployment, designers test if a proposed CCA performs well in its intended environment, without negatively impacting cross-traffic. These evaluations are typically conducted using simulations, modeling, or emulations on lab-based testbeds, or a small or limited set of real-world network paths. Performance insights from such evaluation approaches, however, cannot guarantee that a CCA performs well when it is eventually deployed on complex, real-world network paths. In addition, the evaluation of CCAs is a time-consuming process, compounded by the difficulty of selecting representative network parameters. Furthermore, it is impractical for designers to exhaustively test all possible scenarios in which a CCA might eventually be used. Despite the innovation and research effort that has been invested into designing new CCAs, there is still no consensus within the networking community on how to benchmark their performance. Determining how any CCA falls short compared to the rest, and, most importantly, along what dimensions, remains difficult to answer. Even performing all the pairwise comparisons between the algorithms is hard, because each algorithm behaves differently depending on the underlying network environment. In this thesis, we advocate for a fundamental rethinking of how we approach CCA evaluations. Rather than prescribing a standardized set of tests to be universally applied---an approach that has historically failed to achieve consensus, we emphasize the importance of aligning evaluations with their underlying objectives. By shifting the focus in this way, the burden on designers to subject their CCAs to an exhaustive list of experiments can be avoided, while simultaneously addressing the reproducibility challenges that currently plague this field. To this end, we developed a rigorous and reproducible "recipe" for evaluating CCAs. With this recipe, we were able to uncover fundamental issues in the design of Google's new CCA, BBRv3--work which was recognized with a "Best Paper" award at PAM'24. Furthermore, this research work has helped to highlight the critical network signals one needs to leverage in the design of network-assisted CCAs.

Netzüberlastung, d. h. der Zustand, in dem Systeme wie Switches oder Router mehr Daten empfangen, als sie verarbeiten können, führt zu Paketverlusten, erhöhter Netzverzögerung und verringertem Durchsatz für alle Daten, die ein solches überlastetes System durchlaufen. Die Staukontrolle ist nach wie vor ein zentrales Forschungsproblem im Netzbereich, wobei sowohl die Industrie als auch die Wissenschaft Lösungen zur Verbesserung der Netzleistung vorschlagen. Die Forschung zu Algorithmen zur Staukontrolle (CCAs) erstreckt sich über etwa vier Jahrzehnte, doch gibt es noch immer keine "Einheitslösung für alle". Aufgrund der sich weiterentwickelnden Hardware (programmierbare Switches und NICs), sich ändernder Verkehrsmuster, strenger Anwendungsanforderungen usw. werden immer wieder neue CCAs vorgeschlagen. CCAs für das öffentliche Internet oder WANs werden in der Regel von Forschern in Hochschulen oder der Industrie oder von Betreibern großer vernetzter Systeme entwickelt. Diese Algorithmen müssen dann in Netzen laufen, in denen sie sich die Netzressourcen mit anderen (bestehenden) CCAs teilen. Daher testen die Entwickler vor dem Einsatz, ob eine vorgeschlagene CCA in der vorgesehenen Umgebung gut funktioniert, ohne den Querverkehr negativ zu beeinflussen. Diese Bewertungen werden in der Regel mit Hilfe von Simulationen, Modellen oder Emulationen auf laborgestützten Testumgebungen oder einer kleinen oder begrenzten Anzahl von realen Netzwerkpfaden durchgeführt. Die aus solchen Evaluierungsansätzen gewonnenen Leistungserkenntnisse sind jedoch keine Garantie dafür, dass eine CCA auch dann gut funktioniert, wenn sie schließlich auf komplexen, realen Netzpfaden eingesetzt wird. Darüber hinaus ist die Bewertung von CCAs ein zeitaufwändiger Prozess, der durch die Schwierigkeit, repräsentative Netzparameter auszuwählen, noch erschwert wird. Darüber hinaus ist es für die Entwickler unpraktisch, alle möglichen Szenarien, in denen eine CCA letztendlich eingesetzt werden könnte, umfassend zu testen. Trotz des Innovations- und Forschungsaufwands, der in die Entwicklung neuer CCAs investiert wurde, gibt es in der Netzgemeinde noch immer keinen Konsens darüber, wie ihre Leistung zu bewerten ist. Es ist nach wie vor schwierig, festzustellen, inwieweit eine CCA im Vergleich zu den anderen abfällt, und vor allem, in welchen Bereichen. Selbst die Durchführung aller paarweisen Vergleiche zwischen den Algorithmen ist schwierig, da sich jeder Algorithmus je nach der zugrunde liegenden Netzwerkumgebung anders verhält. In dieser Arbeit plädieren wir für ein grundsätzliches Überdenken der Art und Weise, wie wir an CCA-Bewertungen herangehen. Anstatt eine standardisierte Reihe von Tests vorzuschreiben, die universell angewendet werden sollen - ein Ansatz, der in der Vergangenheit keinen Konsens erzielt hat -, betonen wir, wie wichtig es ist, die Bewertungen an den zugrunde liegenden Zielen auszurichten. Durch diese Verlagerung des Schwerpunkts kann vermieden werden, dass die Konstrukteure ihre CCAs einer erschöpfenden Liste von Experimenten unterziehen müssen, während gleichzeitig die Probleme der Reproduzierbarkeit angegangen werden, die diesen Bereich derzeit plagen. Zu diesem Zweck haben wir ein rigoroses und reproduzierbares "Rezept" für die Bewertung von CCAs entwickelt. Mit diesem Rezept waren wir in der Lage, grundlegende Probleme im Design von Googles neuer CCA, BBRv3, aufzudecken - eine Arbeit, die auf der PAM'24 mit einem "Best Paper"-Award ausgezeichnet wurde. Darüber hinaus hat diese Forschungsarbeit dazu beigetragen, die kritischen Netzwerksignale hervorzuheben, die bei der Entwicklung von netzwerkgestützten CCAs genutzt werden müssen.