Data Engineer
Vous souhaitez devenir Expert en ingénierie de données massives et intelligence artificielle ? Formez-vous avec Simplon pour accéder à ce métier phare de la data et booster votre carrière dans la tech.
Certification RNCP Bac +5
Parcours de 10,5 mois avec 5 mois de stage
Sur campus
100% financée
Data Engineer, un métier émergent d’expert de la Data
Le Data Engineer est un ingénieur spécialisé dans la conception de solutions répondant à un besoin de stockage, d’organisation, d’accession, d’agrégation, de protection et d’analyse de données. Ce besoin découle de la massification récente des données disponibles, phénomène désigné sous le nom de big data. Il vient se positionner entre les administrateurs IT (technologies de l’information) qui fournissent une infrastructure IT opérationnelle et les data analysts/scientists qui vont exploiter les données.
Premier acteur du processus de traitement de la donnée, son travail intervient en amont de l’exploitation des données (data analysts/scientists), directement après que l’infrastructure technique a été mise en œuvre par les architectes et les administrateurs. La finalité de l’expert en ingénierie de données massives et intelligence artificielle est de rendre les données faciles d‘accès et prêtes à l’analyse par ses clients internes (notamment les data analysts/scientists).
Sa mission principale est la création des flux de collecte, de nettoyage et de stockage des données, notamment par l'automatisation de la récupération massive de données via des API et des techniques de crawling et de scraping.
Le métier d'expert en ingénierie de données massives et intelligence artificielle s’articule alors autour de 5 blocs d’activité :
- Définir la stratégie du projet en ingénierie de données massives et/ou IA
- Manager un projet en ingénierie de données massives et/ou IA
- Assurer la gouvernance, gestion des risques et de la conformité d’un projet en ingénierie de données massives et IA
- Concevoir et déployer des infrastructures de donnéesDévelopper des solutions data et IA
Le programme de formation
fondé sur la pédagogie Simplon
Introduction à la formation
Durant les premières semaines, découvrez les grandes lignes de votre futur métier, expérimentez la pédagogie active de Simplon et faites connaissance avec votre promotion. Très vite, vous aurez une vision claire des compétences à acquérir et des critères sur lesquels vous serez évalué pour l'obtention de la certification finale.
Durant la formation, vous appréhendez des langages de programmation comme Python, Java ou Scala, ainsi que les outils Big Data tels que Hadoop, Spark et SQL. Vous acquerrez également des connaissances en architecture distribuée et en cloud computing.
Phase 1
Vous intervenez sur des ETL et des bases de données et les faites évoluer
Cette phase vous permet de comprendre l’organisation et la modélisation des données dans une base de données, dans un Data Warehouse ou un Datamart et le fonctionnement de la mise à disposition de ces données aux utilisateurs autorisés via une API. Cela implique notamment que:
Vous mettez à jour la procédure d’ETL vers un Datamart
Vous Pilotez et réalisez la mise à jour d’un contrat d’interface
Vous créez une base de données Open Data à partir d'un Data Warehouse existant
Phase 2
Vous intervenez sur une infrastructure Data et la faites évoluer
Cette phase vous permet d’agir sur les données stockées en ajoutant des données, par lots ou en continu, en supprimant des données ou en intégrant de nouvelles sources, de mettre en place un système de surveillance de l’infrastructure, et de gérer les accès à un data lake. Cela implique notamment que:
Vous intégrez de nouveaux jeux de données à un data warehouse
Vous effectuez une EDA des données
Vous connectez un data lake existant à de nouvelles sources de données en respectant le RGPD
Vous augmentez la capacité de stockage du data lake
Vous paramétrez les accès au data lake pour une équipe qui en fait la demande
Vous mettez en place le monitorage d’une infrastructure et proposer une amélioration
Vous mettez à jour un tableau de bord
Phase 3
Vous concevez et créez des ETL, des bases de données et la mise à disposition des données aux équipes d’analyse
Dans cette phase, vous abordez les pipelines de chargement, de transformation et de stockage des données vers une plateforme cloud, mettez en place de nouveaux flux de données pour répondre à un besoin métier et optimisez les flux de transformation. Vous découvrez les fondements du Machine Learning . Cela implique notamment que:
Vous transposez des analyses et/ou visualisations dans une nouvelle plateforme cloud
Vous créez des nouveaux flux de données pour une nouvelle demande métier
Vous optimisez l'orchestration des flux de transformation de données sur l’ensemble de la chaîne de traitement
Vous utilisez les données d'un modèle de ML pour alimenter un tableau de bord.
Phase 4
Vous concevez et créez un data warehouse
Vous concevez un data warehouse à partir de la cartographie des données de l'organisation.
Vous concevez un data warehouse à partir de la cartographie des données de l'organisation.
Vous améliorez la qualité de données issues d’un flux de traitement existant.
Vous organisez et mettez en œuvre la migration de données depuis une solution On Premise vers le Cloud.
Vous mettez en place le monitorage d’une infrastructure et proposez une amélioration.
Vous accompagnez la réponse à un besoin Data.
Phase 5
Vous concevez et créez un data lake
Cette phase vous permet de gérer des données non structurées en les stockant dans un data lake, que vous serez en mesure de concevoir et de mettre en place. Cela implique notamment que :
Vous concevez et créez un data lake à l'échelle d'une organisation.
Vous mettez en place une démarche DataOps au sein de l'entreprise pour la gestion des flux de données.
Vous concevez et mettez en place une collecte de données massives.
Vous élargissez l’accès au data lake.
Vous accompagnez la réponse à un besoin Data.
Phase 6
Vous développez des solutions IA pour l'aide à la décision
Vous réalisez une analyse statistique avancée des données.
Vous choisissez l'algorithme adapté, entraînez des réseaux de neurones et traitez des données textuelles.
Vous intégrez le modèle d'IA dans un pipeline automatisé sur le Cloud.
Vous vous assurez que l'IA ne comporte pas de biais, respectez le RGPD et justifiez le ROI.
Vous créez un tableau de bord décisionnel intégrant des données fournies par un modèle de Deep Learning.
Phase 7
Stage en entreprise d'une durée de 5 mois
Phase 8
Vous vous préparez à l’examen de certification et clôturez le parcours de formation
Vous passez en revue les livrables techniques et les documents attendus pour la certification.
Vous passez en revue la présentation pour la soutenance.
Vous vous entraînez avec un examen blanc.
Les pré-requis
et conditions
pour nous rejoindre
Afin d'intégrer le dispositif de formation ou pour suivre une formation, vous devez :
soit être titulaire d’un titre ou d’un diplôme de niveau 5 en informatique avec une expérience professionnelle de 2 années minimum dans le secteur des systèmes et réseaux informatiques. Soit être titulaire d’un titre ou d’un diplôme de niveau 6 en informatique. Dans le cas où un candidat ne disposerait pas des prérequis définis, il a la possibilité de déposer un dossier de candidature qui sera examiné par une commission en vue d’une admission « exceptionnelle ».
Votre état d’esprit
Une très forte motivation, à démontrer lors de la candidature
Curieux et créatif, avec un bonne capacité d’expression à l’oral
et à l’écrit
Prêt à travailler en équipe et à collaborer autour de projets
La volonté de vous investir dans la durée dans un parcours de formation intense
Votre niveau de maîtrise technique
Cette formation s’adresse en priorité à des personnes disposant, par le diplôme ou l’expérience professionnelle de compétences en gestion de projet : identification des besoins, rédaction technique, suivi du planning, liaison client-équipes
De compétences techniques telles que installation et gestion de services, programmation de scripts d'automatisation sous Linux, conception de bases de données, maîtrise de SQL et manipulation de données pour qualification, programmation (PHP, Python, Java)
D’une maîtrise de l’anglais technique
Handicap
Si vous êtes en situation de handicap, il est possible de mettre en place des aménagements.
Rejoignez une prochaine session
Prêt à vous lancer ? Voici un aperçu des sessions ouvertes à la candidature.
Data engineer
Data Engineer – Wild Code School
Vous souhaitez suivre la formation Data Engineer en alternance ?
Simplon vous propose de réaliser cette formation à la Wild Code School, école du Groupe Simplon.
Profitez de l’expertise pédagogique de Simplon et de l’accompagnement de la Wild Code School pour suivre un parcours en alternance de 18 mois spécialisé en data & IA.
Les étapes
pour candidater
Vous êtes intéressé par une session de formation ? Renseignez le formulaire de candidature
Complétez soigneusement le dossier de candidature que vous recevrez par mail. Celui-ci peut inclure une phase d’auto-apprentissage ou la réalisation d’un mini-projet.
Participez aux entretiens de sélection.
Pour une formation en alternance, nous pouvons vous accompagner dans votre recherche d'entreprise.
Rentrez en formation !
Visez des certifications reconnues
Expert en ingénierie de données massives et intelligence artificielle
Microsoft Fabric Data Engineer
Principes de base des données Microsoft Azure
Implémentation de solutions d’analyse à l’aide de Microsoft Fabric
Principes fondamentaux Microsoft Azure
Une formation de la filière DATA & IA
Avec Simplon, construisez un parcours de formation qui répond à vos objectifs.
Ils ont choisi Simplon
Découvrez le témoignage de nos alumni qui ont lancé leur carrière dans la tech avec Simplon.
Tout pour réussir
Nos formations sont accessibles à toutes et tous, le plus souvent sans pré-requis de diplôme et intégralement financées, pour que votre motivation soit le principal levier de réussite. Avec Simplon, vous avez toutes les clés pour vous permettre d’évoluer.
Des formations qui ciblent des compétences recherchées par les entreprises sur des métiers Tech porteurs
Une pédagogie active qui vous prépare au monde professionnel avec des mises en situation concrètes et des projets réalisés en équipe
Des compétences validées par des titres professionnels et des certifications reconnus par France Compétences
Un accompagnement personnalisé pour valoriser votre profil et donner un nouvel à votre carrière
Participez à un prochain évènement Simplon
Vous avez un projet de votre formation ? Rencontrez nos équipes pour en savoir plus sur les formations proposées par Simplon.
.webp)
Des questions ?
Retrouvez ci-dessous les questions-réponses les plus fréquentes sur la formation.
Notre offre de formation est conçue dans une logique de parcours de formation. Les formations Découverte sont des portes d’entrée vers des formations professionnalisantes plus longues. A l’issue d’une formation, des suites de parcours vous permettent d’accéder à une certification de niveau supérieur ou de vous spécialiser. Vous pouvez également revenir après quelques années d’expérience professionnelle pour suivre une nouvelle formation chez Simplon.
Nos formations aux métiers du numérique, qu’elles soient à temps plein ou en alternance, se déroulent en général sur une durée de 3 à 18 mois. En amont, les formations Découverte de quelques semaines vous permettent de vous initier à un domaine et de confirmer votre projet professionnel avant de vous engager dans une formation plus longue.
Nos formations sont conçues pour être en phase avec les besoins des entreprises et vous aider à développer les compétences recherchées. Nous proposons des formations de Découverte du numérique et des formations professionnalisantes du niveau Bac au niveau Bac+5 en sortie. Quels que soient votre niveau de compétence actuel ou vos objectifs professionnels, n’hésitez pas à nous contacter pour que nous vous orientions vers la formation adaptée à votre profil.
Le coût horaire des formations incluant le passage de certifications, varie de 12 euros à 27 euros de l'heure (hors majoration ou modulation liée à un dispositif spécifique). Sous réserve d’éligibilité, selon votre profil, les formations sont intégralement financées en mobilisant les dispositifs de la formation professionnelle, sans aucun reste à charge pour vous.
Les formations Simplon sont ouvertes à toutes et tous, inclusives et adaptées aux personnes en situation de handicap. En fonction de vos besoins, vous pourrez bénéficier d'aménagements spécifiques : temps de pause adaptés, journées de télétravail ponctuelles, siège ergonomique… Le mieux est de nous en faire part dès la phase de candidature afin que nous puissions vous proposer une solution personnalisée.
Si vous envisagez une formation aux métiers de la tech, sans avoir encore de projet professionnel précis, nous vous encourageons à vous renseigner par vous-même en faisant des recherches sur le web ou en participant à des événements (conférences, masterclass, rencontres avec des professionnels). La capacité à être autonome et actif est une qualité que nous apprécions chez Simplon. Prenez également en compte votre disponibilité : au quotidien, nos formations impliquent 35 heures de présence par semaine, avec en plus un travail autonome sur des projets qui peut représenter quelques heures par semaine. dans la durée, nos parcours de formation impliquent un engagement de votre part de quelques semaines à 12 ou 18 mois.
Nous organisons différents événements où vous serez les bienvenus : réunions d'information en ligne, Journées Portes Ouvertes, ateliers d’initiation au code. C’est l’occasion de vous informer, de préciser votre projet de formation et de bénéficier de nos conseils pour vous orienter.
Vous souhaitez en savoir plus ?
Venez rencontrer nos équipes lors d’un prochain événement
