Data Engineer

French job description to follow!/La description de poste en français se trouve plus bas!

Position Overview

Autodesk is looking for a talented and motivated Data Engineer to join our Platform Strategy & Emerging Technologies organization to develop robust and scalable data pipelines using and improving existing platforms, to support data-driven decision-making across the platform initiatives. 

The successful candidate will drive performance enhancements, build pipelines and collaborate with analysts, data scientists, stakeholders and other Data Engineering teams across Autodesk. You will work with cutting edge technologies in the big data space. 

Responsibilities

• Design, develop, automate and maintain scalable, robust and reliable ELT/ETL data pipelines that collect, process and transform large volumes of structure and unstructured data from various sources

• Maintain and enhance our existing data architecture to ensure smooth and efficient data flow across platforms

• Interface with data peers, product managers and cross- functional stakeholders to gather requirements, sequence work and document technical solutions

• Implement best practices for data quality, integrity and governance, including monitoring, validation and auditing processes to ensure reliable and consistent data availability

• Contribute to a team culture that values quality, robustness, and scalability while fostering initiatives and innovation by staying up to date with industry trends and new technologies

Minimum Qualifications 

• 3+ years of data processing and data engineering experience in a fast-paced, large cloud-based infrastructure (AWS experience required)

• Hands-on software development experience in Python

• Expert understanding of SQL, dimensional modeling, and analytical data warehouses, such as Snowflake, Presto/Hive

• Understanding of Data Engineering best practices for medium to large scale production workloads

• Knowledge of big data processing frameworks (e.g. Spark, Hadoop)

• Expertise with data pipeline orchestration tools, such as Airflow

• Familiar with processing semi-structured file formats such as Json or parquet

• Team player with good communication skills

• Problem solver with excellent written and interpersonal skills

• Bachelor’s degree in computer science, data science, or related fields

Preferred Qualifications  

• Experience with Jinja, Shell scripting, DBT 

• Developing in Cloud platform using serverless technologies such as AWS glue, lambda, EMR and EKS is a plus

• Experience with remote development using AWS SDK is a plus

• Experience with both ETL and ELT pipelines, including traditional ETL tools (e.g., Airflow, Talend, Informatica) and modern ELT frameworks (e.g., dbt, Snowflake)

• Knowledge of AWS IAM roles, permissions, and best practices for least-privilege access

• Experience with Terraform for AWS resource provisioning, including remote state management and security best practices

• Hands-on experience with AWS networking (VPC, security groups, cross-account permissions)

• REST API design and implementation

• Familiarity with containers and infrastructure-as-code principles

• Experience with automation frameworks - Git, Jenkins, and Terraform

• Master’s degree in computer science, data science, or related fields

---------------------------------------------------------------------------------------------------------------------------------------------

Description du poste

Autodesk est à la recherche d'un ingénieur de données talentueux et motivé pour rejoindre notre organisation Platform Strategy & Emerging Technologies afin de développer des pipelines de données robustes et évolutifs en utilisant et en améliorant les plateformes existantes, afin de soutenir la prise de décision basée sur les données dans le cadre des initiatives de la plateforme.

Le candidat retenu sera chargé d'améliorer les performances, de construire des pipelines et de collaborer avec des analystes, des scientifiques des données, des parties prenantes et d'autres équipes d'ingénierie des données au sein d'Autodesk. Vous travaillerez avec des technologies de pointe dans le domaine du big data.
 

Responsabilités

• Concevoir, développer, automatiser et maintenir des pipelines de données ELT/ETL évolutifs, robustes et fiables qui collectent, traitent et transforment de grands volumes de données structurées et non structurées provenant de diverses sources.

• Maintenir et améliorer notre architecture de données existante afin d'assurer un flux de données fluide et efficace entre les plateformes.

• Assurer l'interface avec les pairs en matière de données, les gestionnaires de produits et les parties prenantes interfonctionnelles afin de recueillir les besoins, de séquencer le travail et de documenter les solutions techniques.

• Mettre en œuvre les meilleures pratiques en matière de qualité, d'intégrité et de gouvernance des données, y compris les processus de contrôle, de validation et d'audit, afin de garantir la disponibilité de données fiables et cohérentes.

• Contribuer à une culture d'équipe qui valorise la qualité, la robustesse et l'évolutivité tout en encourageant les initiatives et l'innovation en se tenant au courant des tendances du secteur et des nouvelles technologies.

Qualifications minimales

• Plus de 3 ans d'expérience dans le traitement et l'ingénierie des données au sein d'une grande infrastructure en nuage au rythme soutenu (expérience AWS requise)

• Expérience pratique du développement de logiciels en Python

• Vous avez une connaissance approfondie de SQL, de la modélisation dimensionnelle et des entrepôts de données analytiques, tels que Snowflake, Presto/Hive

• Compréhension des meilleures pratiques d'ingénierie des données pour les charges de travail de production à moyenne et grande échelle

• Connaissance des cadres de traitement des données volumineuses (par exemple Spark, Hadoop)

• Expertise avec les outils d'orchestration de pipeline de données, tels que Airflow

• Familiarité avec le traitement de formats de fichiers semi-structurés tels que Json ou parquet

• Vous avez l'esprit d'équipe et de bonnes capacités de communication

• Résolveur de problèmes avec d'excellentes compétences écrites et interpersonnelles

• Baccalauréat en informatique, en science des données ou dans un domaine connexe

Qualifications souhaitées

• Expérience avec Jinja, Shell scripting, DBT

• Développer dans une plateforme Cloud en utilisant des technologies sans serveur telles que AWS glue, lambda, EMR et EKS est un plus

• Expérience du développement à distance à l'aide d'AWS SDK est un plus

• Expérience avec les pipelines ETL et ELT, y compris les outils ETL traditionnels (par exemple, Airflow, Talend, Informatica) et les frameworks ELT modernes (par exemple, dbt, Snowflake)

• Connaissance des rôles AWS IAM, des permissions et des meilleures pratiques pour un accès avec le moins de privilèges possible

• Expérience de Terraform pour le provisionnement des ressources AWS, y compris la gestion de l'état à distance et les meilleures pratiques en matière de sécurité

• Expérience pratique du réseau AWS (VPC, groupes de sécurité, autorisations inter-comptes)

• Conception et mise en œuvre d'API REST

• Familiarité avec les conteneurs et les principes de l'infrastructure en tant que code

• Expérience avec les cadres d'automatisation - Git, Jenkins et Terraform

• Maîtrise en informatique, en science des données ou dans un domaine connexe

At Autodesk, we're building a diverse workplace and an inclusive culture to give more people the chance to imagine, design, and make a better world. Autodesk is proud to be an equal opportunity employer and considers all qualified applicants for employment without regard to race, color, religion, age, sex, sexual orientation, gender, gender identity, national origin, disability, veteran status or any other legally protected characteristic. We also consider for employment all qualified applicants regardless of criminal histories, consistent with applicable law.

Are you an existing contractor or consultant with Autodesk? Please search for open jobs and apply internally (not on this external site). If you have any questions or require support, contact Autodesk Careers.