Engenharia de Dados / Data Engineering

Apresentação

A Data Corner, membro oficial do Pack for Skills and EIT Deep Tech Initiative no âmbito da Comissão Europeia (CE), cuja participação com o Instituto Politécnico de Setúbal, no âmbito do projeto SONDA2026, na oferta desta proposta formativa pretende contribuir para o objetivo da CE de requalificar um milhão de profissionais de deep tech na Europa até 2025. 
Em conjunto com os cursos breves baseados em projetos em ciência de dados e em análise de dados, este curso foi desenhado para um público-alvo interessado em adquirir competências práticas nestas três categorias de análise de dados num curto período de tempo (3-4 meses) e usá-los para lidar com problemas reais. 
Além disso, os participantes nestas formações terão um perfil online na plataforma Elites Galaxy, que é reconhecida pelo programa Pact for Skills da Comissão Europeia como uma rede social inovadora para aprendizagem ao longo da vida.
Este curso, baseado em projetos, é direcionado para candidatos que possuem conhecimentos em programação e administração de bases de dados e que pretendam expandir os seus conhecimentos e capacidades no campo da Engenharia de Dados. O curso tem foco em fornecer aos estudantes o conhecimento e a experiência prática necessários para projetar e implementar pipelines ETL (Extract, Transform, Load) em projetos de Engenharia de Dados. Ao longo do curso, os estudantes aprenderão conceitos sobre os fundamentos da Engenharia de Dados, arquitetura de data warehousing, fontes de dados, gestão de metadados e integração de dados. Complementarmente obterão experiência prática na construção de pipelines ETL usando as ferramentas: Microsoft SQL Server Integration Services (SSIS), Talend, com desenvolvimentos em Python. O curso enfatiza uma abordagem de aprendizagem baseada em projetos, na qual os estudantes terão a oportunidade de trabalhar em projetos reais de Engenharia de Dados, permitindo aplicarem o conhecimento adquirido em sala de aula a cenários do mundo real. Além disso, os estudantes também terão oportunidade de participar num hackathon de análise de dados, com o objetivo de aplicarem as suas novas competências para resolver problemas do mundo real usando técnicas de Engenharia de Dados.

In English:

Data Corner, official member of the Pack for Skills and EIT Deep Tech Initiative within the scope of the  European Commission (EC), whose participation with the Polytechnic Institute of Setúbal, within the scope of the SONDA2026 project, in offering this training proposal intends to contribute to the objective of EC to retrain one million deep tech professionals in Europe by 2025.
In conjunction with the project-based short courses in data engineering and data analysis, this course is designed for individuals who wish to acquire practical skills in these categories of data engineering in a short period of time (3-4 months) and use them to deal with real problems.
In addition, all participants in these training courses will have an online profile on the Elites Galaxy platform, which is recognized by the European Commission's Pact for Skills program as an innovative social network for lifelong learning.
This project-based course is tailored for applicants with a strong programming and database administration background and who are looking to expand their knowledge and skills in data engineering. The course is focused on providing trainees with the knowledge and practical experience they need to effectively design and implement ETL (Extract, Transform, Load)  pipelines in Data Engineering projects. Throughout the course, trainees will learn about essential data engineering concepts, data warehousing architecture, data sourcing, metadata management, data integration, and more. They will also gain hands-on experience in building ETL pipelines using popular tools such as SSIS (Microsoft SQL Server Integration Services) and 
Talend. The course emphasizes a project-based learning approach, where students will have the opportunity to work on real-world data engineering projects, allowing them to apply the knowledge they have gained in class to real-world scenarios. Students will also have the chance to participate in data analytics hackathons, which will enable them to test their newly 
acquired skills by solving real-world problems using data engineering techniques

Objetivos e Competências

  • Dominar conceitos e técnicas fundamentais da Engenharia de Dados, com ênfase na implementação de projetos ETL (Extract, Transform, Load), bem como na adoção do ELT (Extract, Load, Transform);
  • Adquirir experiência prática e habilidades para trabalho em equipa, de forma a superar desafios típicos na área da Engenharia de Dados aplicados a contextos reais;
  • Resolver desafios concretos na área da Engenharia de Dados. Oportunidade de participar em hackathons de análise de dados, onde os estudantes podem aplicar o que aprenderam para resolver problemas do mundo real, entregando soluções para desafios na área da Engenharia de Dados;
  • Familiarizar os estudantes com trabalhos de pesquisa no domínio da Engenharia de Dados, ajudando-os a se manterem atualizados com os últimos desenvolvimentos e as melhores práticas neste campo em rápida evolução.

In English:

  • The training program focuses on teaching trainees the fundamental concepts and techniques of data engineering, with a particular emphasis on implementing ETL (Extract, Transform, Load) projects and adopting ELT (Extract, Load, Transform) approaches.
  • The program also emphasizes the development of teamwork skills, enabling students to actively participate in data engineering projects through hands-on experience.
  • As part of the training program, students have the opportunity to attend data analytics hackathons, where they can apply what they have learned to solve real-world problems by delivering innovative data engineering solutions.
  • The program also aims to familiarize students with research works in the data engineering domain, thereby helping them to stay up-to-date with the latest developments and best practices in this rapidly evolving field.

Estrutura curricular / Conteúdos:

  • Introdução aos tópicos essenciais de análise de dados
  • Conceitos essenciais de engenharia de dados
  • Conceitos de Data Warehousing
  • Arquitetura de Data Warehousing
  • Design de Data Warehousing: Blocos de construção
  • Fontes de dados
  • Limpeza de dados
  • Requisitos de script para fontes de dados
  • Metadados
  • Integração de dados
  • Validação de arquivo
  • A camada de encenação
  • A camada de validação de negócios
  • A camada de Data Warehouse
  • Desenvolvimento ETL com SSIS
  • Desenvolvimento ETL com Talend
  • Desenvolvimento ETL com Tableau
  • Técnicas de teste a modelos de ETL
  • Exemplos de mapeamento
  • Auditoria, balanceamento e controlo
  • Gestão de configurações
  • Implementar interações com o ChatGPT em Python
  • Revisão das técnicas de Prompt Engineering e IA generativa
  • Efetuar trabalhos de pesquisa e apresentar resultados em seminários 

In English:

  •  Introduction to essential data analytics topics
  •  Data Warehousing Concepts
  •  Data Warehousing Architecture
  •  Data Warehousing Design: Building Blocks
  •  Data Sourcing
  •  Data Cleaning
  •  Script Requirements for Data Sourcing
  •  Metadata
  •  Data Integration
  •  File Validation
  •  The Staging Layer
  •  Business Validation Layer
  •  Data Warehouse Layer
  •  Developing ETL with SSIS
  •  Developing ETL with Talend
  •  Testing Techniques in ETL
  •  Mapping examples
  •  Audit, Balance and Control
  •  Configuration Management
  •  Implementing ChatGPT in Python
  •  Reviewing the techniques of Prompt Engineering and Generative AI
  •  Research works and presenting the seminar in the related fields

Créditos ECTS

Brevemente disponível

Metodologias de Ensino / Aprendizagem

  • Os estudantes serão familiarizados com os conceitos essenciais e os fundamentos teóricos em domínios relacionados com a Engenharia de Dados.
  • Realização de sessões de treino baseadas em projetos, onde os estudantes possam aprender e aplicar as teorias em projetos do mundo real por meio de sessões práticas.
  • Atribuição de um projeto final para que os estudantes possam trabalhar em grupo e demonstrar o conhecimento apreendido aplicado a um projeto concreto.
  • Realização de sessões de mentoria onde os estudantes são acompanhados por docentes, podem esclarecer dúvidas e receber feedback sobre progressos alcançados.
  • Incentivar os estudantes na realização de trabalhos de pesquisa sobre novidades nos domínios da Engenharia de Dados e manterem-se atualizados com as tendências mais recentes.
  • Realização de hackathons com oportunidades para os estudantes formarem grupos de trabalho com colegas nos domínios engenharia de dados, ciência de dados e análise de dados. 
  • Este tipo de eventos (hackathon) proporcionará uma oportunidade para os estudantes praticarem atividades em equipa com base em cenários.

In English: 

  • Begin by teaching the essential concepts and theoretical background of related data analytics domains.
  • Provide project-based training sessions, where students can learn and apply the theories in real-world projects through hands-on sessions.
  • Assign a final project that students can work on to demonstrate all their learning through a real-world project.
  • Schedule mentoring sessions where students can seek help from instructors, ask questions, and 
  • receive feedback on their progress.
  • Encourage students to conduct research works to explore the latest advances in the studied data analytics domains and stay updated with the latest trends.
  • Host hackathons to create opportunities for students to build teams with other students in data science, data engineering, and data analysis domains. This hackathon will allow them to practice teamwork activities in real-world scenarios and solve real-world problems from three points of view: data engineering, data science, and data visualization.

Responsabilidade do Curso

Prof. Gabriel César Ferreira Pestana

Carga Horária, Horário e Período de Funcionamento

O curso tem uma duração de 162 horas, das quais 36 são de contacto (teórico-práticas) em regime online através da plataforma Microsoft Teams. Aulas e materiais lecionadas em Inglês.

In English:

The course has a duration of 162 hours, of which 36 are contact (theoretical-practical) and e-learning.

Destinatários

São destinatários desde curso trabalhadores de empresas industriais ou de serviços, estudantes, ou público em geral com conhecimentos aprofundados de programação e gestão de base de dados, com interesse em desenvolver competências na área da engenharia de dados.

In English:

This course is designed for workers from industrial or service companies, students, or the general public interested  in developing skills in the area of data engineering.

Vagas

Brevemente disponível

Propina

Brevemente disponível.

Processo de Candidatura

Brevemente disponível

Critérios de Seriação e de Seleção

Brevemente disponível

Júri

O júri do concurso de acesso é composto por: Brevemente disponível
Presidente: 
Vogais: 

Edital | Candidatura (brevemente disponível)