High-speed dedicated channels and experimental results with Hurricane protocol

Abstract

Networks are currently being deployed to provide dedicated channels to support large data transfers and stable control flow needed in large-scale scientific applications. We present experimental results on application-level throughputs achievable on such channels using a range of hosts and dedicated connections. These results high-light the throughput limitations in several cases due to host issues, including disk and file system speeds, processor scheduling and loads, and complexity of internal data paths. We characterize such effects using the notion of host-bandwidth, which must be considered together with the connection-bandwidth in designing and optimizing transport protocols for dedicated channels. We propose a new transport protocol implementation, named Hurricane, to achieve high utilization of dedicated channels. While the overall protocol is quite similar to existing UDP-based protocols, new parameters, such as group size of NACKS, are identified and carefully optimized to achieve high channel utilization. Our end hosts consist of workstations, a cluster and Cray X1 supercomputer. Between two workstations, we consider: (A) 1 Gbps layer 3 connection of several hundred miles, and (B) 10 Gbps layer 2 connection of several thousand miles. Between Cray X1 and the cluster, we consider: (C) 450 Mbps layer 3 channel provisioned by policy, and (D) 1 Gbps layer 2 connection provisioned over an mpls tunnel.

Résumé

Dans le cadre des applications scientifiques à grande échelle, des réseaux sont en cours de déploiement pour fournir les canaux dédiés nécessaires aux transferts de grandes quantités de données et à la mise en place de flux de contrôle stables. Nous présentons des résultats expérimentaux sur les débits de transfert au niveau applicatif que l’on peut atteindre avec de telles liaisons en utilisant toute une gamme d’ordinateurs hôtes et de connexions spécialisées. Ces résultats soulignent les limitations de débit provenant des caractéristiques des hôtes, y compris la vitesse des disques et du système de fichiers, l’ordonnancement et la charge des processeurs et la complexité des chemins de données internes. Nous caractérisons ces effets en utilisant la notion de débit de l’hôte, que l’on doit analyser en liaison avec le débit de la connexion, dans la conception et l’optimisation de protocoles de transport pour canaux dédiés. Nous proposons une impl’ementation d’un nouveau protocole de transport, nommé Hurricane, dans le but d’atteindre un taux d’utilisation élevé sur ces canaux dédiés. Si le protocole ressemble globalement aux protocoles existants basés sur UDP, de nouveaux paramètres, comme la taille d’un groupe d’acquittements négatifs (nack) sont identifiés et soigneusement optimisés. Nos hôtes terminaux sont des stations de travail, une grappe de machines et un superordinateur Cray XL Entre deux stations de travail, nous considérons une connexion de niveau 3 à 1 Gbit/s de plusieurs centaines de kilomètres ainsi qu’une connexion de niveau 2 à 10 Gbit/s de plusieurs milliers de kilomètres. Entre le Cray X1 et la grappe, nous considérons un canal réservé de niveau 3 à 450 Mbit/s et une connexion de niveau 2 à 1 Gbit/s à travers un tunnel mpls.