Invité 👋

Un outil a été développé pour automatiser l'extraction de données depuis des fichiers PDF à l'aide de la technologie OCR (Reconnaissance Optique de Caractères) et envoyer directement ces données dans une base de données Snowflake. Le processus a été automatisé via Make, ce qui permet de simplifier et d’accélérer l’intégration des informations extraites dans un système de gestion de données.

Missions :

Automatisation de l'extraction de données depuis des fichiers PDF en utilisant un outil OCR intégré dans Make pour extraire les informations structurées ou semi-structurées.

Transformation des données extraites en un format compatible avec Snowflake, garantissant une intégration fluide dans la base de données pour une analyse et un traitement ultérieurs.

Envoi des données vers Snowflake grâce aux modules d'intégration de Make, assurant un transfert fiable et rapide des informations.

Optimisation du processus pour gérer des volumes importants de fichiers PDF, avec une gestion des erreurs et un suivi des transactions en temps réel.

Mise en place de rapports et alertes pour suivre l'efficacité de l'extraction et de l’envoi des données, permettant une gestion proactive des flux.

Technologies utilisées : Make (Integromat), OCR, PDF, Snowflake, Python, API.

Bénéfices :

L'automatisation réduit considérablement le temps et les erreurs liés à l'extraction manuelle de données depuis des fichiers PDF et leur intégration dans Snowflake.

L'outil OCR intégré améliore la précision de l'extraction des données, même pour des documents complexes ou mal structurés.

Le processus automatisé offre une solution rapide et fiable pour charger les données dans Snowflake, facilitant ainsi leur analyse et leur exploitation.

Le système de monitoring permet de détecter rapidement toute erreur ou anomalie dans le processus, garantissant la fiabilité et la performance des flux de données.

Développement d'un Outil de Requête pour Snowflake

Contexte : Un outil a été développé pour permettre aux utilisateurs, même sans compétences techniques, d'exécuter des requêtes SQL complexes et de gérer des données au format JSON et CSV. L'objectif était de simplifier l'accès aux données, de traduire automatiquement les structures JSON en SQL et d'optimiser la sécurité et la performance.

Missions :

Création d'une interface utilisateur avec Streamlit, permettant de gérer des requêtes SQL dynamiques de manière intuitive, sans nécessiter de connaissances techniques.

Traduction automatique des structures JSON en SQL pour faciliter l'interaction avec les données stockées sur Snowflake.

Gestion des formats JSON et CSV pour l'importation, l'exportation et le traitement des données, facilitant l'intégration et la manipulation des données dans différents formats.

Développement d'une API FastAPI pour connecter l'interface Streamlit avec Snowflake et Azure Blob Storage, optimisant l'accès aux données et leur gestion.

Mise en place de mesures de sécurité via Azure Key Vault pour garantir la protection des informations sensibles et une gestion fiable des accès.

Technologies utilisées : Python, Streamlit, FastAPI, Snowflake, Azure Blob Storage, SQL, Azure Web App, Azure Key Vault.

Bénéfices :

L'outil permet à des utilisateurs non techniques de créer et d'exécuter des requêtes SQL personnalisées de manière simple et efficace.

Il traduit automatiquement les données au format JSON en SQL, facilitant ainsi leur traitement.

Il optimise l'accès aux données stockées sur Snowflake tout en maintenant une performance élevée.

La sécurité des données est assurée grâce à des mécanismes robustes d'authentification et de gestion des clés via Azure Key Vault.

Contexte :

Des workflows ont été développés avec Alteryx pour automatiser les chargements de données depuis des fichiers CSV vers une base de données Oracle. Un système de monitoring a également été mis en place avec Power BI afin de suivre et gérer les différents statuts des chargements, garantissant ainsi la fiabilité et la performance des flux de données.

Missions :

Développement de workflows Alteryx pour automatiser le processus de chargement des données depuis des fichiers CSV vers une base de données Oracle.

Mise en place d'un système de monitoring Power BI pour suivre l'état des chargements et détecter rapidement les erreurs éventuelles dans le processus de transfert.

Gestion des erreurs et des anomalies, avec des alertes et des rapports détaillés permettant d'assurer la fiabilité des flux de données.

Optimisation des processus pour garantir une performance optimale et réduire les risques d'incidents sur les flux de données.

Formation et documentation pour les équipes afin de maintenir et d'adapter les workflows selon les évolutions des besoins.

Technologies utilisées : Alteryx, Power BI, Oracle, SQL

Bénéfices :

L'automatisation des chargements de données permet de réduire considérablement le temps et les efforts nécessaires à la gestion manuelle des flux de données.

Le système de monitoring Power BI offre une vue en temps réel des différents statuts des chargements, facilitant la détection précoce des problèmes et la gestion proactive des erreurs.

La fiabilité des flux de données est améliorée grâce à une gestion optimisée des erreurs et à la mise en place d'alertes automatiques.

Les équipes peuvent suivre, auditer et ajuster facilement les processus grâce à la documentation et aux rapports générés par Power BI.