Comment Indexima a transformé le data engineering d’un client et réduit le TCO d’Amazon Redshift
actu-fr

Comment Indexima a transformé le data engineering d’un client et réduit le TCO d’Amazon Redshift

By 8 juillet 2021 No Comments

Aperçu

L’un des principaux groupes de médias audiovisuels en France, avec 15 millions d’abonnés dans le monde, a diversifié ses offres pour répondre aux besoins des clients à travers une expérience utilisateur multicanal. Cela a entraîné une augmentation significative des données que leurs équipes de veille stratégique peuvent analyser.

L’équipe de données a décidé de migrer vers un Data Warehouse Cloud Amazon Redshift, qui est un Data Warehouse entièrement géré à l’échelle du pétaoctet à partir d’AWS. L’environnement a permis à l’équipe d’effectuer des tableaux croisés et des calculs sur deux segments clés : la Vidéo à la Demande pour analyser les achats ponctuels et le Replay pour analyser la consommation globale sur différentes plateformes.

Pour répondre à cette exigence, l’équipe a conçu des Data Marts qui seraient précalculés pour piloter les analyses.

 

Le défi

En raison du volume de données, pour un jour donné, le calcul peut prendre 12 heures. Cela signifie que les équipes commerciales ont reçu les chiffres consolidés 24 à 36 heures plus tard. «Nous ne faisons qu’un décompte distinct sur toutes nos plateformes: combien d’utilisateurs uniques ont utilisé ce programme, combien de comptages distincts par plateforme, combien par jour. » – a expliqué le responsable du datalab de l’entreprise. L’objectif était d’effectuer le reporting en moins de 1 heure.

Les équipes de business intelligence souhaitaient également pouvoir comparer la consommation et le développement d’achats ponctuels d’une année à l’autre. Cette analyse a nécessité un long examen des données. Ils souhaitaient également utiliser leur outil standard Microsoft Power BI et ne pas avoir à développer de nouvelles interfaces.

 

L’effet Indexima

L’ajout du Data Hub Indexima entre les outils BI et l’entrepôt de données a provoqué l’interception de 90 % des requêtes.  Les accès à la couche Amazon Redshift ont été considérablement réduits. La clé était cependant que les requêtes pouvaient maintenant être effectuées sur les données brutes et collectées en temps réel,  évitant ainsi d’avoir à pré-calculer les data marts pour piloter les visualisations.  Les calculs effectués par le Data Hub Indexima étaient retournés en  3 minutes sur un historique de données de 24 mois.

Ces niveaux de performance ont ouvert de nouvelles possibilités pour les équipes data et business.

« Nous travaillons avec Indexima depuis 2 ans et avons grandement apprécié leur attention et leurs conseils. De plus, leur solution a répondu à nos attentes à tous les égards : leur moteur relationnel nous permet de faire des jointures au fur et à mesure afin que nous n’ayons pas à retraiter les données après l’événement pour les enrichir. Et les requêtes peuvent être effectuées sous SQL Static avec leur solution! »

 

 

 

 

Optimisation du Data Warehouse

En raison de la réduction de 90 % du nombre de requêtes arrivant dans le Data Warehouse, le client a pu réduire la taille de son cluster Amazon Redshift de 50 % tout en garantissant aux utilisateurs le temps de réponse attendu.

Initialement, cette installation exécutait 6 x dc2.8xlarge à la demande avec 10 To de données = 255 114 $ / an. L’ajout d’un Data Hub Indexima à 3 nœuds a réduit le coût annuel de 126 155 $.

 

Optimisation du Data engineering

Étant donné que les équipes commerciales peuvent désormais fonctionner sur les données brutes et qu’il n’est plus nécessaire de pré-calculer les Data marts chaque fois qu’un nouvel aperçu ou un nouveau rapport sur des données affinées est nécessaire, l’effort de Data Engineering est éliminé.

Le client exécutait 4 projets par an, avec 3 semaines de Data engineering par projet. Cela a diminué le temps de mise au marché de 3 mois !!

 

Conclusion

Le Data Hub Indexima peut réduire le TCO des Data Warehouses tels qu’Amazon Redshift et Snowflake, mais également améliorer le délai de mise sur le marché en réduisant ou en supprimant les efforts de data engineering de la livraison de projet.

 

Indexima est partenaire AWS Redshift Service Ready.

 

Télécharger la version Saas d’Indexima. 

 

Par @Florent Voignier, Co-Founder & CTO at Indexima

        @Darragh O’Flanagan, Sr. Partner Solutions Architect at AWS

Leave a Reply