Relatório

Universidade Metodista de Angola
Faculdade de Engenharia e Arquitectura

Curso de Engenharia Informática
Trabalho Prático de Armazenamento de Dados (AD)
Autores:
Adão Oneide de Assureira Alberto – 26.846
Jovelino Fernandes Tomás – 29.486
Victória Joana Albérico Bastos – 26.817
O Professor
Prof. MSc. Edivaldo Rodrigues João
Luanda, de Dezembro de 2021

Adão Oneide de Assureira Alberto, Jovelino Fernandes Tomás, Victória
Joana Albérico Bastos
Trabalho Prático de Armazenamento de Dados (AD)
Trabalho Prático apresentado à

Faculdade de Engenharia e Arquitectura,
junto ao Departamento de Engenharia
Informática, para conclusão e obtenção da
nota da 1ª frequência da cadeira de
armazenamento de dados, leccionada pelo
Professor Msc. Edvaldo Rodrigues João.
Luanda, 03 de Dezembro de 2021
ii
Índice
1. Apresentação ......................................................................................................................... 4
1.1 Introdução ..................................................................................................................... 4
1.2 Definição do Problema .................................................................................................. 4
1.3 Justificativa ................................................................................................................... 4
1.4 Objectivos .......................................................................................................................... 5
1.4.1 Objectivo Geral ................................................................................................................ 5
1.4.2 Objectivos Específicos ..................................................................................................... 5
1.5 Metodologias de Desenvolvimento ..................................................................................... 5
2. Aplicação Prática................................................................................................................... 6
Conclusão ...................................................................................................................................... 9
Bibliografia ................................................................................................................................. 10
iii
1. Apresentação
1.1 Introdução
Durante as aulas de Armazenamento de Dados, houve um acordo com o

Professor, na qual para a obtenção da nota da primeira frequência, os alunos seriam
submetidos a dois tipos de avaliação. Sendo uma teórica, realizada na sala de aula e a
outra uma avaliação prática em prol do que foi demonstrado na sala de aula.
Esse mesmo trabalho visa realizar tarefas de extracção, transformação e limpeza

(ETL) usando a ferramenta Pentaho Data Integration (PDI). Sendo assim, começamos
por definir e apresentar conceitos básicos sobre essa ferramenta.
O Pentaho Data Integration é uma suite completa de Business Intelligence (BI)

formada por um conjunto de softwares voltados para construção de soluções de BI de
ponta-a-ponta, que inclui programas de extrair os dados de sistemas de origem em uma
empresa, gravá-los em um data warehouse (ou base de dados), limpá-los, prepará-los e
entrega-los a outros sistemas de destino ou mesmo a outros componentes da suite para
estudar ou dar acesso aos dados ao usuário final. Basicamente ele é usado para criar
processos de extracção, transformação e carga.
1.2 Definição do Problema
A transferência de grandes volumes de dados entre diferentes sistemas, muitas

das vezes acaba gerando problemas quando este não é realizado da melhor maneira,
além do elevado tempo que o processo acarreta. No caso por exemplo de empresas que
efectuam comercio online (E-commerce) na necessidade de efectuar transferência dos
seus dados para outro sistema, para o negocio não ficar parado a base de dados de
origem deve permanecer operando enquanto o processo é realizado, por isso a escolha
de uma ferramenta que permite tal processo sem interromper a base de dados de origem
é estritamente necessário.
Como não estamos trabalhando com dados reais de nenhuma empresa, por
exemplo, partimos do pressuposto de que fomos contactados pelo Director de uma
Escola, para fazer a transferência dos dados de seus Alunos de uma base de dados para
outra. Quais dados devem ser extraídos? Como efectuar a transferência dos dados? Qual
é a origem dos dados? Qual será o destino final dos dados?
1.3 Justificativa
De acordo com as informações apresentadas na definição do problema, acredita-

se que a melhor ferramenta ao nosso dispor para realizar o processo de ETL dos dados
dessa escola é o Pentaho Data Integration.
4
1.4 Objectivos
1.4.1 Objectivo Geral
O objectivo deste trabalho é a realização do processo de ETL por intermédio do

Pentaho Data Integration, no qual devem ser aplicados um conjunto de conhecimentos e
técnicas que foram apresentadas na UC de Armazenamento de Dados (AD).
1.4.2 Objectivos Específicos
A partir do objetivo geral tem-se os seguintes objetivos específicos:
 Definir as fontes de dados

 Fazer a extração dos dados vindos da fonte
 Selecionar os dados que deverão ser tratados
 Fazer a padronização dos dados
 Efectuar a tranformação dos dados
 Efectuar a carga dos dados para outro local.
1.5 Metodologias de Desenvolvimento
Para o desenvolvimento deste trabalho, inicialmente foi realizado um estudo

sobre quais fontes de dados podemos usar e quais dados iremos usar a fim de reunir
informações necessárias para o suficiente entendimento das técnicas a serem utilizadas.
Após a conclusão dessa etapa, foram seleccionados os dados, vindo das fontes
de dados, que iriamos usar, em seguida foi realizado o processo todo de ETL.
Durante a implementação foram sendo realizadas testes como: o uso de jobs não
vistos em aula, e o facto de usarmos fontes de dados diferentes, fez com que antes da
implementação final pudéssemos realizar testes diferentes. Para a realização do trabalho
utilizamos respectivamente, uma planilha de dados do Microsoft Excel e uma Base de
Dados do Microsoft Access, o Pentaho Data Integration e o Mysql como local de
armazenamento final dos dados.
5
2. Aplicação Prática
Nessa secção são apresentados a estrutura das fontes de dados e

consequentemente todo o processo até o envio dos dados finais a base de dados.
Na imagem Abaixo é apresentado os dados pertencentes a planilha de dados do

Excel.
A seguir é apresentado os dados pertencentes a base de dados do Access
Apresentamos agora os dados inicias das duas fontes, dentro do pentaho:
6
Abaixo a segunda fonte de dados
Apresentaremos agora, uma tela do pentaho com todas as transformações que

foram realizadas.
Em seguida, temos uma tela de execução do pentaho exibindo os dados após

sofrem as transformações incluídas na imagem acima.
7
E para terminar com essa secção, mostraremos agora a imagem do Mysql com as
respectivas tabelas criadas pelo processo todo e também a exibição de uma das tabelas
com os dados já transformados.
8
Conclusão
Podemos concluir que a realização deste trabalho foi um sucesso, pois

conseguimos alcançar com os objectivos práticos solicitados pelo professor,
principalmente por conseguirmos usar fontes diferentes.
Mas também importa salientar que tivermos, sim, muitas dificuldades com maior
realce na união dos dados vindo de fontes diferentes. E essa dificuldade fez com que o
trabalho fosse mesmo enviado tarde e aproveitamos solicitar desculpas por ter enviado o
trabalho tarde.
Para terminar, o nosso muito obrigado pelo trabalho, pois aprendemos que é o
pentaho é uma ferramenta, realmente, muito poderosa e útil na extracção, transformação
e carga de dados.
9
Bibliografia
www.infoq.com/br/articles/pentaho-pdi
www.google.com/com/amp/s/managebi.com/2021/02/10/pentaho-filter-rows/amp
10

Relatório

Enviado por

Direitos autorais:

Formatos disponíveis

Relatório

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Relatório

Enviado por

Direitos autorais:

Formatos disponíveis

Universidade Metodista de Angola

Faculdade de Engenharia e Arquitectura

Trabalho Prático de Armazenamento de Dados (AD)

Adão Oneide de Assureira Alberto – 26.846

Jovelino Fernandes Tomás – 29.486

Victória Joana Albérico Bastos – 26.817

Prof. MSc. Edivaldo Rodrigues João

Luanda, de Dezembro de 2021

Trabalho Prático de Armazenamento de Dados (AD)

Trabalho Prático apresentado à

Luanda, 03 de Dezembro de 2021

Durante as aulas de Armazenamento de Dados, houve um acordo com o

Esse mesmo trabalho visa realizar tarefas de extracção, transformação e limpeza

O Pentaho Data Integration é uma suite completa de Business Intelligence (BI)

1.2 Definição do Problema

A transferência de grandes volumes de dados entre diferentes sistemas, muitas

De acordo com as informações apresentadas na definição do problema, acredita-

1.4.1 Objectivo Geral

O objectivo deste trabalho é a realização do processo de ETL por intermédio do

1.4.2 Objectivos Específicos

A partir do objetivo geral tem-se os seguintes objetivos específicos:

 Definir as fontes de dados

1.5 Metodologias de Desenvolvimento

Para o desenvolvimento deste trabalho, inicialmente foi realizado um estudo

Nessa secção são apresentados a estrutura das fontes de dados e

Na imagem Abaixo é apresentado os dados pertencentes a planilha de dados do

A seguir é apresentado os dados pertencentes a base de dados do Access

Apresentamos agora os dados inicias das duas fontes, dentro do pentaho:

Apresentaremos agora, uma tela do pentaho com todas as transformações que

Em seguida, temos uma tela de execução do pentaho exibindo os dados após

Podemos concluir que a realização deste trabalho foi um sucesso, pois

Você também pode gostar