Construire une infrastructure Flash de partage à grande échelle

RSI, conceptuellement, répartit les composants du serveur (CPU, GPU, stockage, mémoire, réseau) dans des racks séparés, permettant à chacun d'être dimensionné et mis à niveau dans des boîtiers rack complets, connectés par PCIe haute capacité/faible latence liens. Couchez-vous sur ce logiciel de serveur virtuel, afin que les serveurs virtuels puissent être construits à partir de pièces à l'échelle du rack. composants, et vous disposez d'une configuration révolutionnaire qui rend l'infrastructure d'entreprise compétitive par rapport au cloud prestations de service.

Mais il y a toujours un mais: l'utilisation d'une mémoire non volatile et d'un stockage sur un réseau entraîne généralement une latence inacceptable. C'est là qu'intervient l'équipe ReFlex de Stanford, un serveur de stockage de logiciels.

Réflexe

Il existe plusieurs compromis pour rendre l'accès Flash à distance acceptable. Le plus important est une faible latence, mais il existe également un débit élevé, saturant un périphérique NVMe avec le moins de cœurs de processeur possible.

La gestion de la multilocation dans un pool Flash partagé nécessite une isolation, afin que les applications ne se marchent pas sur les pieds. Et il est souhaitable d'être très flexible dans le partage du flash, ainsi que dans d'autres problèmes de déploiement, tels que l'échelle et les protocoles réseau.

Lors des tests, l'équipe de Stanford a constaté que ReFlex atteignait des performances de flash à distance équivalentes aux accès flash locaux sur Ethernet 10 Go en utilisant TCP/IP. Ils expliquent

ReFlex atteint des performances élevées avec des exigences de calcul limitées en utilisant un nouveau noyau de plan de données qui intègre étroitement la mise en réseau et le stockage. La conception du plan de données évite la surcharge liée aux interruptions et à la copie des données, optimise la localité et établit un équilibre entre un débit élevé (IOPS) et une faible latence de queue.

Locations multiples

Le gros problème de la multilocation sur les appareils Flash est l’énorme différence entre les performances de lecture et d’écriture. Les écritures peuvent prendre plusieurs millisecondes, tandis que les lectures durent moins d'une milliseconde. Cela signifie qu'une application qui écrit beaucoup, par exemple des mises à jour de métadonnées ou du streaming vidéo, utilise une grande partie des ressources d'un périphérique NVMe.

L'équipe de Stanford a mis en œuvre un planificateur de QoS offrant une visibilité globale sur l'ensemble de la charge de travail pour tous les locataires. L'IOPS maximum dépend du rapport lecture/écriture de toutes les requêtes. Le planificateur examine l'objectif de niveau de service (SLO) de chaque charge de travail, donne la priorité aux applications critiques en matière de latence par rapport aux applications au mieux et garantit que les SLO des applications sont respectés.

Grâce à cela et à d'autres optimisations, ReFlex est capable de servir jusqu'à 850 000 IOPS par cœur tout en ajoutant seulement 21 µs de latence par rapport à l'accès direct au flash local. C'est remarquablement bien.

Les bits de stockage prennent

Les visionnaires d'Intel promeuvent le concept RSI depuis des années, mais il semble que 2018 sera l'année où toutes les pièces nécessaires - PCIe v4 en particulier - seront réunies pour le réaliser techniquement et économiquement réalisable. Avec la chute des prix du flash, les racks remplis de flash sont plus abordables que jamais, même à l'échelle de plusieurs centaines de To.

C’est une très bonne nouvelle pour notre avenir gourmand en données. Il sera intéressant de voir si l'un des fournisseurs de stockage d'entreprise produit quelque chose comme ReFlex.

Les commentaires courtois sont bien sûr les bienvenus. Le papier ReFlex: Flash distant ≈ Flash local a remporté le prix de l'article le plus mémorable à NVMW19.