Quand on pense au Green IT, on pense tout d’abord à la gouvernance. Comment mettre en place une politique environnementale pertinente et innovatrice au sein de son organisation ? Puis on pense au hardware. Comment réduire l’impact énergétique de notre matériel, de nos data centers ? On pense aussi à l’infrastructure IT, et notamment au cloud. Mais pense-t-on à notre plateforme data ? On devrait. Voici quelques actions que vous pouvez mettre en place pour rendre votre data platform plus verte.
Selon McKinsey, plusieurs facteurs peuvent engendrer des excès concernant l’impact écologique de la data platform. Parmi elles, nous avons les communications redondantes, les calculs et le stockage redondants. Ces problèmes peuvent être réglés en limitant le nombre de services impliqués dans chaque tâche et en fusionnant les micro-services s’occupant de problèmes similaires pour réduire les communications redondantes.
Pour rendre sa data platform plus verte, une partie du travail doit être consacrée à l’étude de la donnée elle-même. En effet, il est primordial de consacrer du temps à l’examen des sources de données pour s’assurer qu’elles correspondent précisément aux besoins métiers. Une fois les bons datasets choisis, il est important de prêter attention à leur taille. Comme l’explique Amazon, il est bon de compresser, filtrer et agréger la donnée avant l’ingestion, afin que celle-ci mobilise le moins de ressources possibles. Une fois que la donnée est prête, il est possible de passer par une architecture serverless événementielle pour l’ingestion. Les ressources ne seront ainsi mobilisées que quand c’est nécessaire. Maintenant que l’ingestion est effectuée, passons au compute.
Le partitionnement et le bucketing aident à réduire le volume de données scannées à chaque requête, ce qui réduit le volume de ressources mobilisées. Cette réduction peut être appuyée par le traitement en batch s’il correspond à vos objectifs. Vous pouvez aussi prendre en considération le demand shifting, qui consiste à déplacer le compute vers des régions ou des horaires où l’intensité carbone est moindre, ou le demand shaping, où on “forme” la demande pour correspondre à la bande passante disponible. Enfin, le caching permet de minimiser les mouvements de données.
L’ingestion et le traitement des données ne font pas tout quand on veut rendre sa data platform plus écologiquement responsable. Il faut aussi penser au stockage. Comme nous l’avons dit plus haut, vous pouvez commencer par compresser vos données. Il faut aussi accorder un temps de réflexion aux backups, qui peuvent occuper de l’espace de stockage inutilement. Il faut créer les bons backups, et effectuer des purges régulières, voire automatiques, pour assainir son stockage. De même, collecter des logs de manière continuelle peut rapidement remplir votre espace de stockage de données non utilisées. Enfin, il est important de choisir ou stocker sa data. Si vous avez un datalake, stockez votre data chez un tier en ligne si son accès ou modification est fréquente, et déplacez-la chez un tier hors-ligne dans le cas contraire.
Finalement, il est essentiel de mettre en place des KPI pour mesurer les progrès faits au niveau de l’impact écologique de la data platform et détecter les pistes d’amélioration.
D’une manière plus globale, la greenification de la data platform est de plus en plus soutenue par les équipes FinOps, qui agissent comme un lien entre le contrôle de gestion et l’IT et dont la mission est de répondre aux besoins métier à moindre coût. En cherchant à réduire les coûts concernant la data platform, elles peuvent ainsi participer à l’optimisation des ressources et des pratiques, menant donc à une meilleure performance énergétique.
D’autre part, au niveau de l’architecture de la data platform, un code base appliquant des fonctions pures et une limitation du nombre de couches d’abstraction peuvent réduire le nombre de calculs nécessaires. L’entreprise peut également ajouter un service pour nettoyer, valider et agréger les données pour réduire le risque de tâches redondantes et de stockage superflu.
C’est notre mantra chez Indexima: réduire le scan de données au maximum, réduire le temps de traitement des requêtes afin de diminuer la consommation de Cloud datawarehouse pour une réduction de l’empreinte carbone de la plateforme data de nos clients.
