About the company
We work with businesses globally to deliver tailored, end-to-end Artificial Intelligence, Consulting, Data, Digital, Cloud & DevOps and Software Engineering solutions that drive value and growth. Our business domain expertise covers hi-tech, financial services and insurance, while we explore the art of the possible in our groundbreaking Financial Labs (FinLabs).
Job Summary
Responsabilités
📍Développement de pipelines de données: 📍Construire et maintenir des pipelines ETL/ELT évolutifs en utilisant Databricks. 📍Utiliser PySpark/Spark et SQL pour transformer et traiter de grands ensembles de données. 📍Intégrer des données provenant de multiples sources, y compris Azure Blob Storage, ADLS et d'autres systèmes relationnels/non relationnels. 📍Collaboration et analyse: 📍Travailler en étroite collaboration avec plusieurs équipes pour préparer les données pour les tableaux de bord et les outils BI. 📍Collaborer avec des équipes multifonctionnelles pour comprendre les besoins commerciaux et fournir des solutions de données sur mesure. 📍Performance et optimisation: 📍Optimiser les charges de travail Databricks pour l'efficacité des coûts et la performance. 📍Surveiller et dépanner les pipelines de données pour assurer la fiabilité et la précision. 📍Gouvernance et sécurité: 📍Mettre en œuvre et gérer la sécurité des données, les contrôles d'accès et les normes de gouvernance en utilisant Unity Catalog. 📍Assurer la conformité avec les politiques de données organisationnelles et réglementaires. 📍Déploiement: 📍Utiliser des bundles d'actifs Databricks pour un déploiement transparent des travaux, des notebooks et des configurations Databricks à travers les environnements. Gérer le contrôle de version des artefacts 📍Databricks et collaborer avec l'équipe pour maintenir les meilleures pratiques de développement.
Compétences techniques:
📍Expertise solide en Databricks (Delta Lake, Unity Catalog, architecture de Lakehouse, déclencheurs de table, pipelines Delta Live, runtime Databricks, etc.) 📍Maîtrise des services cloud Azure. 📍Compréhension solide de Spark et PySpark pour le traitement des grandes données. 📍Expérience avec les bases de données relationnelles. 📍Connaissance des bundles d'actifs Databricks et de GitLab.
If this role isn’t the perfect fit, there are plenty of exciting opportunities in blockchain technology, cryptocurrency startups, and remote crypto jobs to explore. Check them on our Jobs Board.
