Data Engineer Big Data : Spark, Hadoop

Le Big Data est passé de buzzword à standard : toutes les grandes entreprises disposent désormais d'une plateforme de traitement de données à grande échelle. Si Hadoop a perdu en popularité au profit du lakehouse cloud (Databricks, Snowflake), Apache Spark, Kafka, Iceberg et Delta Lake restent les piliers techniques. Le Data Engineer Big Data est un profil très recherché.

Le métier en quelques mots

Le Data Engineer Big Data construit, exploite et fait évoluer des plateformes de données distribuées :

• Ingestion : Kafka, Flink, Spark Streaming, Kinesis, Pub/Sub.
• Stockage : S3 / ADLS / GCS, HDFS (legacy), Iceberg, Delta Lake, Hudi.
• Compute : Apache Spark (PySpark, Scala), Flink, Hive, Presto/Trino.
• Orchestration : Apache Airflow, Dagster, Prefect.
• Modélisation : dbt, Spark SQL, Iceberg branching.
• Observabilité : metrics, lineage, data quality (Great Expectations, Soda, Monte Carlo).

L'écosystème

Catégorie	Tooling dominant
Storage	S3, ADLS, GCS + Iceberg / Delta Lake
Compute distribué	Apache Spark, Trino, Flink
Streaming	Kafka, Kinesis, Pub/Sub, Flink
Lakehouse	Databricks, Snowflake, Iceberg + EMR/Glue
Orchestration	Airflow, Dagster, Prefect
Transform	dbt, Spark SQL, Polars
Catalog	Unity Catalog, Glue Catalog, Polaris, OneLake
Quality / Obs	Great Expectations, Soda, Monte Carlo

Compétences clés

• Apache Spark : PySpark + Spark SQL avancés, performance tuning.
• SQL avancé : window functions, CTE, planification de requêtes.
• Python : pandas, PySpark, polars.
• Streaming : Kafka (consumers / producers), Flink, Spark Structured Streaming.
• Lakehouse : Delta Lake, Iceberg, Hudi.
• Orchestration : Airflow ou Dagster.
• dbt : modèles, tests, lineage.
• Cloud : AWS, Azure ou GCP — au moins un.
• Infrastructure : Docker, Kubernetes, Terraform.

Types de missions

• Migration Hadoop → Lakehouse cloud : sujet dominant, sortie progressive d'Hadoop on-premise.
• Construction d'un lakehouse (Databricks, Snowflake, Iceberg + Glue).
• Pipelines streaming Kafka + Flink ou Spark Streaming.
• Modernisation d'anciens jobs ETL legacy vers Spark + dbt.
• MLOps platform : industrialisation des pipelines ML.
• Plateformes de gouvernance : Unity Catalog, OneLake, Polaris.
• TMA / Run de plateformes data en production.

Évolution de carrière

1. Data Engineer junior sur Spark / Hadoop.
2. Confirmé avec autonomie complète.
3. Senior sur architectures lakehouse complexes.
4. Lead / Architecte Data Lakehouse.
5. Head of Data Engineering ou VP Data.

En conclusion

Le Data Engineer Big Data est l'un des profils les plus stratégiques. Les plateformes data sont devenues le cœur du SI moderne, et les experts en Spark + Kafka + lakehouse sont particulièrement recherchés sur les missions à fort enjeu.

Vous êtes Data Engineer et cherchez votre prochaine mission ? Rejoignez ForTeam IT.