Article

Transformation de la Supply Chain de Chevron dans le cloud

Chevron Corporation (CVX) opère un réseau mondial de raffineries, produisant une gamme variée de carburants et de produits commercialisés par les divisions marketing, lubrifiants, approvisionnements et commerciales. Ces produits sont vendus par les marques Chevron®, Texaco® et Caltex®. Les installations de raffinage, ayant la capacité de traiter des pétroles bruts lourds, sont compétentes pour générer divers produits à forte valeur ajoutée, incluant des carburants destinés au transport, des produits chimiques et des lubrifiants. Cette chaîne de valeur se traduit par la vente annuelle de 2,4 millions de barils/jour de produits, distribués par l'intermédiaire de sept raffineries au sein d'un réseau composé de 8 000 stations-service.

L'équipe Data and Insights de la gestion de la chaîne d'approvisionnement en matières premières (CSCM) s'occupe de plus de 200 canaux de données. Ils récupèrent des informations de différentes sources internes et externes, puis les standardisent dans la Fondation de données de la chaîne d'approvisionnement (SCDF). La SCDF est cruciale pour intégrer les données et promouvoir des initiatives connexes dans les fonctions qui gèrent le flux de pétrole brut et de produits raffinés, notamment : 

• La planification des réapprovisionnements
• La gestion des stocks
• La prévision des prix et de la demande
• La planification des contrats
• La qualité et mélange des produits
• L'analyse des marges
• Les données maîtres communes

La priorité du projet SCDF était de remplacer la plateforme de données existante sur site par une plateforme de données équivalente déployée dans Microsoft Azure®. 

L'équipe Chevron anticipait que la transition vers Azure améliorerait les capacités de traitement de données existantes, ouvrant ainsi la voie à de nouvelles fonctionnalités, telles que :

• Une efficacité opérationnelle améliorée
• Une prise de décision agile et plus performante
• Une rentabilité de bout en bout

L'équipe de Product & Data Engineering de Publicis Sapient s'est associée à Chevron CSCM pour construire une nouvelle solution de Plateforme en tant que Service (PaaS) dans Azure afin de concrétiser cette vision.

Le Pourquoi : les bénéfices des données dans le cloud

La migration de la base de données vers Azure a apporté des avantages significatifs :

• Réduction considérable des coûts de support et des interruptions grâce à une architecture rationalisée, spécifiquement conçue pour répondre aux besoins.
• Amélioration de la capacité à optimiser et à faire évoluer la plateforme de données beaucoup plus rapidement que le système obsolète sur site.
• Activation de capacités avancées nouvelles sur Azure, comprenant l'intelligence artificielle (IA), les données en temps réel/dispositifs connectés (IoT) et la gestion de données non structurées (PDF, e-mails, documents légaux).
• Amélioration de la capacité à développer, tester et déployer rapidement des changements grâce à l'adoption de pratiques modernes DevOps.

Cela a permis à plus de 400 utilisateurs, experts en optimisation de la production et de la chaîne de valeur, la possibilité d'accéder à :

• Toutes les données de la Supply Chain, regroupées dans un data lake centralisé, à l'échelle de Chevron, pour faciliter la collaboration entre les différents départements.
• La veille stratégique en libre-service pour permettre aux utilisateurs non techniques d'explorer et d'analyser les données de manière transparente, favorisant ainsi la génération d'opportunités commerciales.
• Des applications de la Supply Chain qui exploitent les données de la plateforme de manière plus efficace, minimisant les interruptions et améliorant l'expérience utilisateur.

Plus de 200 opérations d'intégration de données ont été transférées de la solution précédente vers Azure Data Factory (ADF). La coordination de leur déploiement a nécessité une attention particulière en raison des interdépendances au sein de la plateforme de données. Néanmoins, afin de faciliter un déploiement fluide et de maintenir une structure cohérente, plusieurs cadres ont été élaborés au début du projet pour faciliter :

• Le traitement des informations de manière simultanée via des équipes spécialisées sur Synapse
• Les flux paramétrés pour permettre la réutilisation de schémas de données communs
• Le système de suivi des modifications de données pour gérer les changements de manière efficace
• L’infrastructure de capture des changements de données garantissant la gestion des modifications de données
• Les scénarios de test automatisés et évolutifs avec des cas de test unitaire Python (Pytest), économisant des efforts et améliorant la qualité des tests.

Bien que les besoins en rapidité des données diffèrent selon les activités de la Supply Chain, les opérations critiques, comme le raffinage, le mélange et la planification, présentent des exigences plus strictes en matière de données, fonctionnant en continu 24h/24 et 7j/7. Pour éviter des dépenses excessives sur Azure, il est essentiel de concevoir et de gérer correctement les ressources dans le cloud. Les éléments clés incluent :

• Un cluster de pool Databricks est mis à disposition des fonctions commerciales, selon leurs besoins, pour supprimer le délai de démarrage habituel dans le cloud.
• Le multithreading et l'intégration Spark de Databricks pour gérer efficacement des ensembles de données volumineux
• Le chargement Polybase vers le data warehouse (Synapse) pour optimiser l'écriture dans le data warehouse Synapse
• La distribution des données et la conservation des résultats en mémoire cache pour optimiser l'efficacité des requêtes de lecture sur le data warehouse
• La gestion de la charge de travail pour classifier l'importance et la priorisation de certaines tâches

Outre le stockage des données, il était impératif de les traiter et de les mettre à disposition des services commerciaux. Pour éviter des problèmes aux utilisateurs lors de la migration du système vers le cloud, il était essentiel de simplifier l'accès et de préparer correctement les données. Les principaux composants comprennent :

• Mises à jour automatisées de la base de données, facilitées par DevOps, permettent de remettre les données à un état initial, favorisant ainsi des tests unitaires agiles et l'exécution organisée de scripts de vérification de la qualité.
• Moteur de contrôle de qualité des données, fonctionnant grâce à des règles établies dans les tables, mis en œuvre via ADF et dont les résultats sont présentés dans Power BI.
• Des API Web Azure ont été développées pour offrir aux utilisateurs une consommation efficace des données selon leurs besoins.

• 200 pipelines d'intégration de données vers Azure Data Factory/Databricks/LogicApps
• Modélisation et migration de 400 tables vers Azure Synapse
• 450 procédures et requêtes stockées vers Synapse
• La conversion de ces informations vers l'architecture finale a été rendue possible grâce à Microsoft Tradurre, un outil de Microsoft qui n'était pas encore accessible au public.
• Un système de contrôle de qualité des données avec 400 règles implémentées dans Synapse/ADF et le transfert de 20 groupes de rapports vers Synapse en utilisant Power BI Reports.

En utilisant des méthodes de gestion de projet conventionnelles, la réalisation du projet SCDF aurait nécessité plusieurs années.

Néanmoins, en collaborant avec l'équipe élargie de la plateforme Chevron et en utilisant les outils d'intégration et de flux de travail de Microsoft tels qu'Azure DevOps (ADO), l'équipe de Publicis Sapient a combiné les approches suivantes pour mener à bien le projet, le tout en moins d'un an.

En raison de l'envergure et de la complexité du projet, la coordination entre l'équipe de delivery de Publicis Sapient et l'équipe élargie de la plateforme Chevron CSCM représentait un défi considérable. Azure DevOps a été employé pour simplifier la planification des itérations en interne et pour gérer les interdépendances entre les équipes.

Il a été nécessaire de mobiliser plus de 20 équipes d'applications de la Supply Chain pour tester, planifier et migrer leurs intégrations vers la nouvelle plateforme, tout en mettant hors service l'ancienne plateforme sur site. Pour ce faire, l'équipe de delivery a intégré le nouveau processus Agile instauré par Chevron au sein de la plateforme CSCM via ADO. Cette démarche a facilité la planification des incréments trimestriels du PI, la cartographie des dépendances, et le contrôle de l'exécution à l'aide des tableaux de bord ADO et des rapports d'avancement, assurant ainsi une livraison conforme au calendrier.

Les pratiques modernes de DevOps et la gestion de programme Agile sont interdépendantes ; chacune est essentielle pour permettre l'autre et ne peut réussir sans l'autre. Alors que beaucoup perçoivent le DevOps comme une technologie ou un ensemble de compétences, l'équipe de delivery de Publicis Sapient a adopté le DevOps comme une philosophie afin de permettre le cycle de développement, d'intégration, de test et de déploiement rapide nécessaire pour respecter des échéances serrées. Sans cette philosophie DevOps, rendue possible par ADO, Azure Repos et les pipelines de déploiement automatisés Azure, la livraison de la plateforme en moins d'un an aurait été irréalisable.

En dépit de la hausse des cas de COVID-19 en 2021, qui a parfois entraîné une réduction de la capacité totale de l'équipe jusqu'à 30 %, le groupe a réussi à déployer la plateforme dans les délais impartis tout en maintenant une qualité élevée.

La mise en production de la nouvelle plateforme a été réalisée en utilisant Microsoft Project pour orchestrer la bascule, une séquence méticuleusement planifiée d'étapes visant à assurer un déploiement simultané avec tous les fournisseurs et utilisateurs de données reconnectés à la nouvelle plateforme.