Data Engineer
Talan
Luxembourg, Luxembourg
il y a 1h

Description du poste

Le consultant intégrera l’équipe Data Analytics Lab, qui a comme rôles entre autres :

  • L’assistance à la transformation digitale avec les méthodes BigData et intelligence artificielle.
  • L’analyse et mise à disposition de modèles prédictifs et statistiques orientés données .
  • Recherche et synthèse d’informations de valeur commerciale dans les données existantes.
  • L’assistance aux services métiers dans le cadre de l’automatisation des prises de décisions.
  • Assistance aux analystes et scientifiques dans le déploiement des modèles en production.
  • Votre mission :

  • Analyse de l'architecture actuelle et proposer des solutions adaptées à notre système
  • Conception, construction et déploiement de pipelines de données efficaces et fiables pour déplacer les données sur un certain nombre de supports, notamment les entrepôts de données, les caches en ligne et les systèmes en temps réel.
  • Développement d’applications Spark et Spark streaming en scala
  • Modélisation des données sur le cluster Hadoop : Création de l’architecture propre sur base des technologies suivantes : HDFS / HBASE et Kafka / Spark
  • Manipulation des données sur le cluster Hadoop : Aide à l’utilisation de Spark, importation, nettoyage et calcule de données via Spark / Streaming avec Scala
  • Développer un framework pour importation, nettoyage et calcul de données via Spark (Python / Pyspark / Scala)
  • Créer des outils de données pour les membres de l'équipe d'analystes et de scientifiques des données qui les aident à construire et à optimiser nos développements pour en faire un leader innovant du secteur.
  • Travailler avec l'administrateur du cluster et les experts en sécurité pour améliorer la fonctionnalité de nos systèmes de données.
  • Qualifications

  • Forte expérience de travail avec le développement Spark / Hadoop
  • Très bonne maitrise des langages Scala et Python.
  • Expérience de travail en Python avec Numpy et Pandas
  • Une expérience pratique SQL.
  • Capacité à gérer des tâches multiples et à s’intégrer dans une équipe innovatrice.
  • Capacité experte à construire des pipelines de données et à traiter les données
  • Compétences en gestion de projet : méthodologies (SCRUM, CRISP).
  • Compétences relationnelles et organisationnelles.
  • Maîtrise des langues française et anglaise, la connaissance des langues luxembourgeoise et allemande constitue un atout.
  • Signaler cette offre d'emploi
    checkmark

    Thank you for reporting this job!

    Your feedback will help us improve the quality of our services.

    Postuler
    Mon email
    En cliquant sur « Continuer », je consens au traitement de mes données et à recevoir des alertes email, tel que détaillé dans la Politique de confidentialité de neuvoo. Je peux retirer mon consentement ou me désinscrire à tout moment.
    Continuer
    Formulaire de candidature