Loading…
ISP-Aided Neighbour Selection in Peer-to-Peer Systems
Aggarwal, Vinay
Peer-to-Peer (P2P) Systeme verursachen heutzutage mehr als die Hälfte des Internetverkehrs, und eine wachsende Anzahl von Applikationen, z.B. Bittorrent, eDonkey, Joost, Skype, GoogleTalk und P2P-TV nutzen die P2P-Methodik. P2P-Systeme errichten Overlays auf der Applikationsschicht, unabhängig von Internet-Routing und ISP-Topologien. Dies führt zu zusätzlichen Verkehr aufgrund der Messungen sowie ineffizientes Routing für P2P-Benutzer. Während auf der einen Seite die P2P-Applikationen den Broadband-Access Markt treiben, verringert sich auf der anderen Seite die Anzahl der Nutzer der traditionellen Telefonie. Außerdem verursachen P2P-Applikationen auch ein Traffic-Engineering Problem für die ISPs. In diesem Sinne ist P2P einen Dilemma für die ISPs! Einige ISPs haben reagiert, indem sie P2P-Verkehr durch Bandwidth-Shaping blockieren, dies allerdings wenig erfolgreich. Manche P2P-Applikationen versuchen die Netzwerk-Latenzzeit zu potentiellen Nachbarn zu messen, um die hoch-performanten Netzwerkpfade wählen zu können. Allerdings haben diese Schritte die Routingkonflikte zwischen ISPs und P2P-Systeme nicht lösen können. Unsere Messungsstudie und die Visualisierungs-basierte Analyse haben gezeigt, dass die P2P-Overlay-Topologie nicht mit der Topologie der Autonomous Systems (AS) im Internet korreliert, und dass eine größere Zahl von Overlay-Peerings die ISP-Grenzen mehrmals überschreiten. In dieser Arbeit stellen wir eine einfache, generische und einzigartige Lösung vor, die es ISPs und P2P-Systemen erlaubt, miteinander zu kooperieren. Wir schlagen vor, dass die ISPs einen Server betreiben, den wir Orakel nennen wollen, der P2P-Nutzeren hilft, geignete Nachbarn zu finden. Der P2P-Nutzer schickt eine Liste von potentiellen Nachbarn zum Orakel, der die Liste der IP-Addressen anhand von verschiedenen Parametern sortiert. Zum Beispiel würde ein ISP Nutzer des eigenen Netzes bevorzugen, so dass der P2P-Verkehr nicht nach draußen fließt. Weiterhin kann der ISP Nachbarn mit besserer Netzanbindung oder geringeren Delays bevorzugen, oder diejenigen die geographisch näher sind (z.B. selbe Stadt, selber PoP). Das Orakel gibt die sortierte Liste an den P2P-Nutzer zurück, der sich dann mit dem Nachbarn verbindet, der von dem Orakel empfohlen wurde. Dies führt nicht nur zu reduzierten Kosten und vereinfachtem Routing für die ISPs, sondern führt auch zu verbesserter Performanz für P2P-Nutzer im Sinne von höherer Bandbreite und geringerer Verzögerung. Hierdurch kooperieren P2P-Systeme und ISPs in einer Form von der beide profitieren. Wir haben eine umfangreiche Analyse von diesem Vorschlag für unterschiedliche Modelle von P2P-Systemen durchgeführt. Hierfür kamen Graph-Experimente, Testbed-Implementierungen, Planetlab-Installationen und Paketebene-Simulationen zum Einsatz. Die Ergebnisse der Graph-Experimente zeigen, dass P2P-Nutzer unter der Verwendung des Orakels in der Lage sind, die meisten Peerings innerhalb der ISP-Grenzen zu halten, ohne die strukturelle Eigenschaften von P2P-Overlays negativ zu beeinflussen. Eine theoretische Analyse der Netzauslastung (Congestion), die durch kürzere Netzwerkpfade von P2P-Links verursacht werden, zeigte, dass die Netzauslastung nahe an dem theoretischen Optimum liegt. Dies resultiert aus der Tatsache, dass nahezu alle Overlay-Peerings in Übereinstimmung mit den ISP-Routing-Policies gebildet wurden. Anhand von Testbed- und Planetlab-Experimenten konnte die Machbarkeit des ISP-P2P Kooperationsschemas mit realen P2P-Systemen nachgewiesen werden. Des weiteren hat das Experiment gezeigt, dass die Skalierbarkeit von P2P-Systemen sich signifikant verbessert und keine negativen Auswirkungen auf das Antwortverhalten auf Suchanfragen in P2P-Netzwerken resultieren. Die P2P-Nutzer sind so in der Lage die gewünschten Daten auf verfügbaren P2P-Knoten in geringerer Netzwerkdistanz zu finden. Durch intensive Simulationen auf Paketebene haben wir die oben genannten Ergebnisse unter Verwendung des Gnutella P2P-Protokolls mit Churn-Verhalten verifizieren können. Die Perfomanzverbesserung für ISPs und P2P-Nutzer wurde durch Metriken, wie Intra-AS Datenaustausch und Daten-Downloadzeiten, quantifiziert. Dabei wurden in der Simulation verschiedene mathematische Modelle zur Abbildung von Benutzerverhaltensmustern (z.B. Churn, Datenverfügbarkeit, Suchbegriffe) als auch unterschiedlichen ISP-P2P-Topologien angewendet, um die resultiernden Effekte auf die Endnutzer-Performanz in realistischen, best-case und ungünstigen Szenarien zu studieren. Es zeigte sich, dass sich die Vorteile des vorgeschlagenen ISP-P2P-Kooperationsschemas auf alle simulierten Szenarien auswirken. ISPs sind so in der Lage, Kostenersparnisse zu realisieren, da ein großer Anteil des P2P-Verkehrs innerhalb des eigenen Netzwerks bleibt. Zusätzlich ermöglicht das Konzept ein besseres Traffic-Engineering und bietet dem Kunden eine höhere Servicequalität. Der P2P-Nutzer profitiert von schnelleren Downloads, verbesserten Antwortverhalten auf Suchanfragen sowie einer verbesserten Skalierbarkeit des P2P-Systems durch die Reduktion von Overhead-Traffic. Wir erweiterten das ISP-P2P-Kooperationskonzept, so dass verschiedene ISPs durch den Austausch von aggregierten Netzinformationen kooperieren können. Dies ermöglicht P2P und anderen Applikationen eine Schätzung der Netzwerkpfad-Eigenschaften zu potentiellen Nachbarn, innerhalb und außerhalb des ISP-Netzes. Mit Hilfe von sehr großen Topologie-Simulationen haben wir die Vorteile der ISP-Kooperation durch den Performanzvergleich mit bandbreite-basierten P2P-Systemen aufgezeigt. Des weiteren zeigen wir auf, wie dieses Konzept zu einem Global Coordinate System ausgebaut werden kann. Letztendlich untersuchten wir die Machbarkeit des Orakel-Services, um die „Pollution“ in P2P file-sharing-systemen zu reduzieren, und gleichzeitig Netzwerklokalität aufrecht zu erhalten.
Peer-to-peer (P2P) systems account for more than half of Internet traffic today, and an increasing number of user applications, e.g., Bittorrent, eDonkey, Joost, Skype, GoogleTalk, and P2P-TV, rely on P2P methodology. P2P systems build overlays at the application layer, independently of Internet routing and ISP topologies. This leads to measurement traffic overhead and routing inefficiencies for P2P users. While P2P applications spur broadband access, they also take customers away from traditional telephones and pose significant traffic engineering challenges for ISPs, thus putting them in a dilemma! Some ISPs have resorted to impeding P2P traffic by bandwidth shaping, though unsuccessfully. Meanwhile, some P2P applications attempt to measure the network latency to potential neighbours, e.g., by ping measurements, to choose high-performance network paths. However, such measures have not addressed the routing conflict between ISPs and P2P systems. Our measurement study and visualization-based analysis finds that the overlay topology of P2P systems is not correlated with the Internet AS topology, and that a larger number of overlay peerings cross AS boundaries multiple times. In this thesis, we propose a simple, general and unique solution that enables ISPs and P2P systems to collaborate with each other. We propose that an ISP hosts a server, which we call the oracle, that helps P2P users choose “good” neighbours. The P2P user sends the list of its potential neighbours to the oracle, which ranks this list of IP addresses based on a number of factors decided individually by each ISP. For example, the ISP can prefer peers within its network, to prevent traffic from leaving its network. Further, it can choose better bandwidth or lesser delay nodes, or those that are geographically closer (same city, same PoP) within its network. The oracle returns this sorted list to the P2P user, who can then benefit from the knowledge of the ISP and connect to a neighbour recommended by the oracle. This will not only reduce costs and ease routing for ISPs, but will also provide improved performance for P2P users in the sense of higher bandwidth and lesser delay. In this way, ISPs and P2P systems can cooperate so that both of them benefit. We have conducted a comprehensive analysis of this proposal using graph experiments, testbed implementation, Planetlab deployment, and packet-level simulations on various models of P2P systems. The graph results show that P2P users, on consulting the oracle, are able to keep most of their peerings within the ISP boundaries, without any adverse effects on the overlay graph structural properties. A theoretical analysis of the congestion caused by shorter network paths of P2P links reveals that the congestion in the network is close to the theoretical optimum, while almost all the overlay peerings are formed in accordance with the ISP policies. Through testbed implementation and Planetlab deployment, we show that the ISP-P2P collaboration scheme is feasible with real P2P systems. The experiment results also show that the scalability of P2P systems improves considerably, and there is no adverse effect on the query search phase of the P2P networks. The P2P users are able to locate all available content from nodes at shorter network distances. Using extensive packet-level simulations, we verify the above results with the Gnutella P2P protocol under churn. We quantify the performance improvements for ISPs and P2P users, using metrics like intra-AS content exchange and content download times. We simulate multiple ISP and P2P topologies, as well as a range of user behaviour characteristics, namely, churn, content availability, and query patterns, using different mathematical distributions. This enables us to study the effects of realistic, best-case, and adverse scenarios on end-user performance. We show that the benefits of our proposed ISP-P2P collaboration scheme hold across a range of user behaviour scenarios and ISP/P2P topologies. The ISPs are able to save costs by keeping a large amount of traffic within their network, perform better traffic engineering, and provide better service to customers. The P2P users benefit from faster content downloads, increased locality of query responses, and improvement in P2P scalability through reduction in overhead traffic. We extend the ISP-P2P collaboration concept to propose collaboration between multiple-ISPs by exchanging summaries of network information through the respective oracle servers. This will enable P2P and other applications to get estimates of the path properties to potential neighbours/servers both within and outside their ISPs. Using simulation results with very large topologies, we show the benefits of multiple-ISP collaboration by comparing its performance with a bandwidth-based neighbour selection scheme in P2P systems. We also show how this concept can be leveraged to build a global coordinate system, and discuss how it differs from existing coordinate systems. Lastly, we examine the viability of using the oracle service to reduce pollution in P2P file-sharing systems while preserving network locality.
