Dans la green data, la finalité est de réduire la mobilisation des ressources et donc la consommation énergétique liée à l’utilisation et la consommation des données. Cela commence par le choix dans les données à exploiter en passant par la gouvernance et bien entendu le choix et l’optimisation technologique de la data platform: optimisation des data sets, de l’ingestion, mais aussi par des moyens d’économie du compute et du stockage. En effet, éliminer les calculs et le stockage redondants sont un bon moyen de rendre sa data platform plus verte. Intéressons-nous plus particulièrement au compute. Pour alléger celui-ci, on peut utiliser des méthodes comme le partitionnement, le bucketing, le traitement en batch ou le caching. C’est dans ce domaine que nous accompagnons nos clients, l’économie de compute, l’économie de scan de data sans renoncer aux usages, à l’agilité et à l’exploitation de la donnée par les métiers.
Comment notre solution participe à la greenification de la plateforme data en réduisant son empreinte carbone ?
Dans la BI, l’agrégation est l’élément majeur pour réduire les calculs gourmands en compute. Ils sont d’autant plus inutiles qu’ils sont répétitifs. L’objectif d’Indexima est de les prévoir et de les automatiser.
Dans un premier temps la solution se comporte donc comme un simple proxy entre la data viz et cloud datawarehouse. Elle analyse les queries et les usages des utilisateurs des dashboards en décomposant les patterns de requête. L’Analyser, composant interne à base de machine learning, crée une couche d’agrégation, sous la forme de vues matérialisées, dans la base source (Cloud data warehouse). Ces vues matérialisées évitent ainsi que toutes les données ne soient scannées à chaque requête. Seules les données pertinentes sont sollicitées, et les performances sont ainsi optimisées à la fois au niveau de vos outils et au niveau de la consommation de vos ressources, vous faisant faire des économies sur tous les plans.
A l’image d’une après-midi de course au supermarché, il est préférable de faire une liste de courses en amont et éviter ainsi de faire un aller-retour au supermarché pour chaque article de la liste économisant non seulement le temps mais également le carburant, l’usure du véhicule, etc. Indexima crée des index d’agrégation entre vos data sources et vos data apps, optimisant ainsi votre consommation de ressources sans sacrifier la performance de vos dashboards.
L’agrégation intelligente
Conscients de l’enjeu de réduction de l’impact écologique des données, nous vous accompagnons dans la construction et l’optimisation d’une data platform performante, économiquement et écologiquement durable.
