Ambiente para estudo dos principais frameworks big data em docker. Esse setup vai criar dockers com os frameworks HDFS, HBase, Hive, Presto, Spark, Jupyter, Hue, Mongodb, Metabase, Nifi, kafka, Mysql e Zookeeper com a seguinte arquitetura:
OBS: Esse passo deve ser realizado apena uma vez. Após o ambiente criado, utilizar o docker-compose para iniciar os containers como mostrado no tópico INICIANDO O AMBIENTE
OBS: Criar um diretório chamado docker
Sugestão no Windows:
Sugestão no Linux:
git clone https://github.com/fabiogjardim/bigdata_docker.git
No Windows abrir PowerShell, do Linux um terminal
docker-compose up -d
docker image ls
docker container ls
No Windows abrir o Docker Quickstart Terminal
docker stop [nome do container]
docker stop $(docker ps -a -q)
docker rm [nome do container]
docker rm $(docker ps -a -q)
docker container inspect [nome do container]
docker-compose up -d [nome do container]
docker-compose up -d
docker container logs [nome do container]
docker exec -it datanode bash
docker exec -it hbase-master bash
docker exec -it datanode bash
docker exec -it kafka bash
jdbc:mysql://database/employees
jdbc:hive2://hive-server:10000/default
jdbc:presto://presto:8080/hive/default
Usuário: admin
Senha: admin
Usuário: [email protected]
Senha: bigdata123
Usuário: root
Senha: secret
Usuário: root
Senha: root
Authentication Database: admin