Ecommerce ·

Um modelo genérico de E-commerce para validação de conhecimentos da matéria de Engenharia de Dados.

Começando

Essas instruções permitirão que você obtenha uma cópia do projeto em operação na sua máquina local para fins de desenvolvimento e teste.

Desenho de Arquitetura

Pré-requisitos

Para que o projeto funcione devidamente é necessário que seja instalado em um computador com as seguintes configurações:

Memoria Ram: 16gb
Processador: Intel Core i5 6gh ou superior
Espaço em disco: 6gb

Além disto é necessário a prévia instalação e configuração do Docker: https://docs.docker.com/engine/install/

Instalação

Para realizar a instalação, rode o comando

docker compose up 

Este comando irá subir todos os containers que farão o processo funcionar devidamente

Implantação

Após instalado, será necessário a configuração das conexões do Apache Spark e do banco base PostgreSql. Esta configuração poderá ser feita dentro da aba de conexões do Apache Airflow, localizada em:

admin > Connections

Ferramentas utilizadas

• PostgreSQL - Banco de dados relacional
• Python - Linguagem de programação utilizada para criar os scripts de extração, transformação e carga de dados
• Docker - Containerização de aplicações
• Apache Spark - Processamento de dados em larga escala
• Apache Airflow - Orquestrador de tarefas
• Visual Studio Code - Editor de código
• Astro CLI - Ferramenta de linha de comando para gerenciamento de infraestrutura
• Minio - Armazenamento de objetos

Colaboração

O principal intuíto deste projeto é a validação de conhecimentos adquiridos na matéria de Engenharia de Dados, por isso, a colaboração é essencial para o desenvolvimento do projeto.

Leia abaixo como você pode colaborar com o projeto e ajudar compartilhando seu conhecimento e experiência.

Código de Conduta

Nosso código de conduta é derivado do Contributor Covenant, versão 2.1, disponível em CODE OF CONDUCT.

Guia de Colaboração

Leia o CONTRIBUTING para entender o processo de contribuição ao desenvolvimento do nosso projeto, auxiliando com possíveis bugfixes e melhorias.

Boas primeiras Issues

Para se familiarizar com o projeto, você pode começar verificando as issues com o rótulo "good first issue". Estas possuem bugs ou aprimoramentos mais simples de serem resolvidos, geralmente com escopos limitados e perfeito para quem está começando a contribuir com o nosso projeto.

Versão

O versionamento é feito com base na metodologia SEMVER. Explore as tags neste repositório para ver todas as versões disponíveis e o CHANGELOG.md para saber mais sobre as alterações em cada versão.

Autores

• Angelo José da Rosa - Orquestração
• Danilo Formanski - Documentação
• João Victor Miotelli Vitali - Orquestração
• Lucas de Oliveira Alano - Orquestração
• Vinicius Albino dos Santos - Data Visualization
• Vitor Loch Mafei Rosa - DBA
• Vitor Loch Mafei Rosa - DBA
• Vitor Minatto Barp - Data Visualization
• Yuri Lopes Machado - Documentação

Você também pode ver a lista de todos os colaboradores que participaram deste projeto.

Licença

Este projeto está sob a licença MIT - veja o arquivo LICENSE para detalhes.

Referências

• Documentação Apache Spark
• Documentação Apache Airflow
• Documentação Delta Lake
• Bíblia Sagrada