Entre Lille et Roubaix, on trouve Croix, commune où les murs de briques du Nord contrastent avec un ciel changeant, bleu le temps d’un soupir ou parsemé de bien plus de cinquante nuances de gris. Dans une zone industrielle, comme il y en a beaucoup en France, mais plus particulièrement dans cet ancien grand bassin industriel, se trouve l’usine OVHcloud de Croix. On pourrait balayer l’information d’un revers de la main, ce serait pourtant rater l’essentiel. C’est sur ce site que sont fabriqués, assemblés, désassemblés et testés les serveurs qui animeront ou ont animé les centres de données du groupe à travers le monde, à l’exception de ceux d’Amérique du Nord, puisqu’une autre usine du même genre existe au Canada.
Watercooling, morne plaine ?
L’usine de Croix ne paie pas de mine. Les bâtiments sont fonctionnels, et pourraient très bien être occupés par le fabricant de tracteurs voisins. Seul un panneau OVHcloud planté sur une maigre pelouse, et peut-être quelques belles voitures, dont une Tesla rutilante, et des bornes de recharge électrique sur le parking, indique qu’on se trouve dans un des centres névralgiques du géant français du cloud.
01net avait déjà eu l’occasion de visiter cette usine l’année dernière, et si nous y sommes retournés, c’est pour un anniversaire particulier. Celui des 20 ans du watercooling, ou refroidissement par eau, à la sauce OVHcloud. Une technologie un peu contre-intuitive puisque l’eau et l’électricité, qui alimente les ordinateurs, ne font pas vraiment bon ménage. Pourtant, OVHcloud en a fait son fer de lance, un argument technologique et écologique.
Cet anniversaire s’est déroulé sans bougie ni cotillon, à l’image de la naissance de cette technologie venue au monde sans tambour ni trompette, en catimini. « On était dans une approche confidentielle, on n’avait pas annoncé qu’on faisait du watercooling au début », se rappelle Miroslaw Klaba, un sourire de gamin aux lèvres, de ceux qui ont fait une bonne blague. Le frère d’Octave, président directeur général et fondateur d’OVH, est surtout responsable de la petite équipe de R&D du groupe, qui occupe une partie des locaux de l’usine de Croix. Il continue : « A un moment, Octave avait envoyé un communiqué annonçant qu’on faisait du watercooling, avant de faire machine arrière et de se cacher derrière l’excuse d’un premier avril. » Pourquoi ? Parce que le monde n’était pas prêt à sauter le pas.
Il faut dire que l’approche du watercooling d’OVHcloud, pour géniale qu’elle soit, a des airs de bricolage devenu secret industriel bien gardé, protégé par plusieurs dizaines de brevets, dont certains sont encore en cours de validation.
L’eau qui ne manque pas d’air
Car, OVHcloud fait les choses à sa manière, entre processus industriels extrêmement contrôlés et réplicables, bidouilles de geek avec des étoiles dans les yeux et démarche scientifique supervisée par un docteur en mécanique des fluides et énergie thermique, Ali Chehade, qui a récemment signé un post passionnant sur le blog d’OVHcloud, mettant entre autres en avant l’importance de rendre plus efficace la consommation de l’eau des data centers.
Ainsi, les radiateurs à eau, en cuivre, dessinés par les équipes d’OVH et produits par un partenaire spécialisé dans la métallurgie, sont fabriqués à la demande et sur mesure pour les différents types de serveurs qu’OVHcloud prépare ou remet à neuf.
Ces serveurs ne reposent pas seulement sur la circulation d’air pour refroidir leurs composants, pas en tout cas pour les deux éléments principaux, que sont le CPU et le GPU, et qui représentent entre 40 et 70% des calories produites. Les serveurs d’OVHcloud recourt à un réseau hydraulique interne et fermé, qui circule dans tout le rack, en ressort pour rejoindre un système de dissipateur arrière. Sur le principe des radiateurs de voiture ou de réfrigérateur, il sert notamment à refroidir l’air chaud produit par la Ram ou l’alimentation des serveurs et qui est aspiré à l’arrière du serveur et refroidi par des serpentins de cuivre emplis d’eau, là encore. L’air et l’eau cohabitent pour refroidir les configurations malmenées par nos exigences d’Internautes.
Et pour ceux qui s’inquiètent de voir des tuyaux de cuivre fleurir dans un data center, précisons que chaque rack peut être monté et démonté sans risque de fuite grâce à un système de joints toriques qui ne laissent pas passer la moindre goutte, nous affirmait Guillaume Hochard, directeur de la fabrication des serveurs pour OVHcloud.
Cet ancien spécialiste sécurité dans l’industrie du nucléaire, du gaz et du pétrole reconnaît évidemment qu’il peut y avoir des fuites. Cependant, il assure qu’elles sont rares et réduites grâce à un processus de test d’étanchéité à différents moments de la production et de l’assemblage – le circuit qui contiendra l’eau est ainsi soumis à une pression de cinq à six bars à plusieurs reprises pour voir s’il tient le choc – tandis que de nouvelles méthodes de soudure ont été mises en place pour éviter les fuites là où plusieurs pièces s’agencent.
Un peu plus loin, Guillaume Hochard nous montrait, pas peu fier, un serveur monté et presque prêt à être expédié vers un data center du groupe – un « DC », comme les appellent les responsables d’OVHcloud avec qui nous avons parlé. « On est les seuls à faire ça », disait-il. Cette phrase emplit de la fierté d’un David qui tiendrait tête à de très nombreux Goliath, on l’a entendue souvent lors de notre passage sur les terres d’OVHcloud. Quoi qu’il en soit, « ça », en l’occurrence, était une carte graphique Nvidia de dernière génération, totalement désossée, débarrassée de son carter, fixée à nu sur la structure. Une carte difficilement reconnaissable et bien entendu recouverte d’un dissipateur thermique maison, refroidi à l’eau.
Du tout sur-mesure
Pas moins de 300 serveurs watercoolés sont ainsi produits chaque jour dans l’usine de Croix. Le fruit d’un taylorisme pensé et affiné, le fruit d’une intégration verticale aussi, puisque la société qui fabrique à la demande les racks pour les serveurs, loue une partie des locaux de l’usine de Croix pour être tout à côté de son client. Cette proximité est évidemment rendue possible par le fait que la société en question est « la propriété de M. Klaba », expliquait Guillaume Hochard. Si Octave et Miroslaw sont Octave et Miro pour la quasi-totalité des employés que nous avons rencontrés, M. Klaba désigne le père d’Octave et Miroslaw. Un bon moyen de garder en tête qu’aussi grande que soit OVH maintenant, elle reste marquée par la famille Klaba. Une famille et une nouvelle dynastie roubaisienne, après les rois du textile du XIXe siècle, dont les gigantesques demeures s’alignent encore le long de l’avenue Jean Jaurès qui borde le splendide parc Barbieux de Roubaix.
Cette proximité permet évidemment une réduction des coûts, mais aussi d’être bien plus réactif. Il est ainsi déjà arrivé plus d’une fois qu’un membre de l’équipe ait l’idée d’un plan de prototype de serveur le matin, et de pouvoir la tester le soir même, nous expliquait-on à l’occasion d’une visite du site.
L’eau verte
L’adoption du watercooling a d’abord été motivée par une volonté de réduire les coûts. Aucun de nos interlocuteurs chez OVHcloud ne s’en est caché. Réduire le nombre de ventilateurs nécessaires pour faire tourner un serveur, arriver à empiler jusqu’à quatre étages de baies pouvant contenir 48 ou 96 racks, sans avoir à climatiser les data centers à grand frais, tout cela s’accompagne d’une forte réduction de la facture pour OVHcloud et ses clients.
Mais, mieux encore, à l’heure où l’œil est de plus en plus fixé sur la ligne verte, cette consommation réduite d’électricité est un argument écologique de premier ordre. C’est même une sorte de bombe à fragmentation écologique, où différentes couches s’empilent…
Ainsi, l’utilisation du watercooling permet aux data centers d’OVHcloud d’être très éloignés de l’image qu’on se fait d’un centre de données, avec salle blanche et climatisation glacée. Les « DC » du géant français du cloud sont des hangars « hors d’eau et hors d’air », qui fonctionne en free cooling, sans climatisation énergivore, donc, nous expliquait Grégory Lebourg, directeur des programmes environnementaux à l’échelle mondiale et ancien responsable des infrastructures du groupe.
« Les bâtiments n’ont pas besoin d’être étanches, n’ont pas besoin d’être contrôlés en hydrométrie, etc. », continuait-il. Quand OVHcloud doit construire un nouveau centre de données, « c’est très facile pour moi, je prends les bâtiments les plus vétustes possibles », plaisantait-il, pour faire comprendre que le watercooling fait en sorte que les serveurs fonctionnent à température ambiante, dans une salle où en hiver, il fait une grosse vingtaine de degrés. Bien entendu, des travaux seront effectués pour que le toit soit étanche, que le sol soit parfaitement horizontal et que l’ensemble réponde aux normes de sécurité, notamment contre les intrusions… et les incendies. Mais contrairement à la plupart des DC, pas besoin de construire d’immenses bâtiments à l’empreinte au sol démesurée. Le data center de Roubaix 8 occupe ainsi de vieux bâtiments de briques, qui ont certainement connu une ou plusieurs vies avant.
Si les DC d’OVHcloud doivent évidemment être à proximité de source de production électrique, ils n’ont pas forcément besoin d’être construits à proximité d’une source d’eau, comme certains des data centers verts de Google. Ces bâtiments prélèvent de l’eau dans une rivière, par exemple, pour aider au refroidissement des milliers de machines qu’ils contiennent, avant de la rejeter après l’avoir refroidie au mieux. Chez OVHcloud, des cuves d’une capacité de quelques centaines de litres sont disposées toutes les deux ou trois allées dans les centres de données, et tout fonctionne en circuit fermé.
La seule déperdition d’eau intervient lors des « jours chauds », grosso modo l’été, quand la température est caniculaire. De l’eau est alors vaporisée ou déversée en gouttes sur les radiateurs adiabatiques placés à l’extérieur des bâtiments où l’eau échauffée par son passage dans les serveurs est envoyée pour refroidir avant de retourner watercooler les ordinateurs qui tournent 24h/24.
Le fait « électricité »
« Le gros intérêt de ce dispositif [de watercooling, NDLR] est qu’il nous permet de densifier le nombre de serveurs par mètre carré », avançait Grégory Lebourg, et il permet aussi d’afficher un PUE (Efficacité dans l’utilisation de la puissance, tel que défini depuis avril 2016 par le standard international ISO 30134-2) extrêmement bas. Pour schématiser, un PUE de 2 signifie qu’un Watt est consommé pour refroidir les équipements informatiques pour un Watt d’alimentation de ces mêmes équipements informatiques.
Or, le PUE des data centers d’OVHcloud serait de 1,28 en moyenne, contre 1,57 en moyenne dans le secteur en 2021, selon un rapport de l’Uptime Institute, qui fait référence en la matière.
Ce PUE de 1,28 est exceptionnel – même si des géants, dont Google, affichent volontiers des PUE inférieurs à 1,1 dans leur rapport. OVHcloud avance ainsi réaliser 50% d’économie en énergie par rapport à un centre de données classique.
Mais le PUE n’est pas le seul critère mis en avant par OVHcloud, le Water Usage Effectiveness, ou l’efficacité dans l’utilisation de l’eau, est également significatif. Là où les data centers classiques utilisent en moyenne 1,8 litre d’eau par kWh, ceux d’OVHcloud n’en utiliseraient que 0,26, en moyenne. Moins d’électricité, moins d’eau, le watercooling a tout de la solution miracle… Et ces vingt premières années ne seraient qu’un début…
Le futur du watercooling passe à l’huile…
Car, le couple watercooling et air, actuellement en vogue chez OVHcloud, pourrait bientôt être remplacé par une nouvelle approche, sur laquelle le spécialiste du cloud travaille depuis quelque temps et qu’il a dévoilé en octobre dernier : l’Hybrid Immersion Liquid Cooling. Cette approche, que la société française présente comme le futur des data centers, implique toujours le watercooling des composants les plus chauds, mais l’air est ici remplacé par un liquide diélectrique – autrement dit, qui ne conduit pas l’électricité, « une sorte d’huile », nous expliquait Miroslaw Klaba.
Les composants disposés dans des racks verticaux seront donc immergés dans ce liquide, qui, par convection naturelle, va les refroidir, tandis que les tuyaux en cuivre continueront de transporter l’eau vers le processeur et le processeur graphique des serveurs pour abaisser leur température de fonctionnement.
Ces nouvelles baies, qui peuvent contenir jusqu’à 48 serveurs disposés comme des livres dans une bibliothèque, pourront permettre le fonctionnement des machines avec des températures entrantes dans le data center allant jusqu’à 45°C, d’après OVHcloud. Ce qui signifie qu’à des températures plus faibles, il sera possible d’en demander plus à une même configuration, ou de consommer moins pour les refroidir. Mieux encore, la consommation globale de l’infrastructure de refroidissement des data centers d’OVHcloud pourrait être réduite d’au moins 20,7% par rapport à ce qui est actuellement obtenu grâce au watercooling, estiment les experts de la société française. OVHcloud promet ainsi un PUE partiel de 1,004.
Après 20 ans à faire évoluer son invention et à convaincre de son bien-fondé, le watercooling hybride avec immersion semble être un nouvel eldorado technologique pour rendre les centres de données performants et moins consommateurs d’énergie ou d’eau. À l’heure, où l’explosion des intelligences artificielles génératives fait clairement se poser la question de la sur-sollicitation du cloud, OVHcloud semble avoir entre les mains une solution verte. Un avenir où tout baigne dans l’huile ?
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
IBM avait des systèmes refroidi à l’eau glacè il y a plus de 40 ans de ça. Le water cooling n’est donc pas une nouveauté.
Ce n’est pas le principe de watercooling qui est innovant ici, c’est son application de manière systématique, industrielle et à très grande échelle. Vu nulle part ailleurs.
J’ai toujours eu des pc depuis 1990 et depuis 2000,tous ont été monté en Watercooling custom. Et ça se faisait bien avant moi vu toutes les pièces qu’on trouvait déjà sur le marché en 2000. Mais je confirme l’extrême efficacité face à un Aircooling…
Sur le même site, à quelques centaines de mètres des bâtiments visités par 01net, se trouve la société Inodesign group qui développe et fabrique les cartes électroniques et les cordons électriques pour OVHcloud ! Un bel exemple de Made in France et de circuit court. @Pierre FONTAINE n’hésitez pas à venir nous rendre visite la prochaine fois !
Bonjour, figurez-vous qu’OVHcloud nous a bien entendu parlé de vous ! C’est génial d’ailleurs cette proximité et cette “osmose” industrielle. La prochaine fois que je passe dans le beau Nord, je viens vous voir, promis !
@pierre fontaine
C’est Klaba, pas Klava
Merci pour votre oeil avisé. Effectivement, je n’avais pas écrit Klaba à chaque citation de leur nom. Mes excuses, à vous, et aux intéressés, bien sûr.
Merci pour cet article passionnant ! Fier de cette entreprise française !
Pour répondre au commentaire précédent, ce n’est pas le principe de watercooling qui est innovant ici, c’est son application de manière systématique, industrielle et à très grand échelle. Vu nulle part ailleurs.
“l’ensemble réponde aux normes de sécurité, notamment contre les intrusions… et les incendies”
C’est une blague ? Alors que le rapport des pompiers sur l’incendie du DC de Strasbourg en 2021 a bien mis en avant l’insuffisance des mesures anti-incendie chez OVHcloud
Leurs protocoles sont tellement dans le je-m’en-foutisme qu’ils ont été mettre les serveurs de sauvegarde à côté des serveurs principaux. Les condamnations pour ça commence à arriver, en février 2023, ils ont été condamnés à 100 000 € de dommages et intérêts envers l’un des clients lésé.
Client OVH depuis pas mal d’années, je n’ai que du positif a en dire.
J’ai des serveurs dans pas mal de DC à travers le monde mais, à mes yeux, OVH sont les meilleur, les moins cher et, en plus, les plus ouverts sur l’hébergement de nœuds et/ou services caché Tor.
“et les incendies.” J’attends toujours le remboursement des pertes de données suite à l’incendie du “DC” de Strasbourg… Ressaisie d’un an de comptabilité, nouvel inventaire, emploi de salarié supplémentaire, retard de déclaration aux impôts, stress…
Bonsoir, article très intéressant.
Pourquoi ne pas aller plus loin et utiliser cette chaleur produire pour faire tourner des mini turbines pour produire de l’électricité avant d’aller se faire refroidir ?
La centrale électrique du Maroc ne fonctionne pas avec du photovoltaïque mais avec du liquide calorieporteur, cela ferait encore plus d’économie générale et l’entreprise encore plus “verte”