cnpjrfb

Sistema para Consultar os dados públicos do CNPJ disponibilizados pela Receita Federal em PHP usando Adianti 7.1 e CNPJ-full

Stars
60

cnpjrfb

Sistema web em PHP usando o usando o Adianti FrameWork para consultar os Dados pblicos CNPJ fornecidos pela Receita Federal do Brasil.

A Verso 2.0.0 contem as alteraes do modelo de dados de 21/03/2021 feito pela RFB.

Agradecimento para todas as pessoas que contriburam de forma direta ou indireta para o projeto. Abaixo alguns nomes de destaque, pois o sistema de consulta foi baseado nos scripts de carga de dados das pessoas abaixo. Sem essas pessoas o trabalho seria bem mais difcil:

Instalando e rodando

O processo de instalao simples para a parte PHP. Porm a carga do banco de dados pode ser complicada e muito demorada, levando algumas horas at dias dependendo do seu hardware.

Requisitos

  • Apache PHP 8.1 ou superior para a verso 2.1.0 ou superior.
  • Banco de Dados Relacional, com a carga dos dados conforme modelo. Funciona nos bancos PostgreSQL, MySQL, MariaDB, SQLite !
  • Aproximadamente 50 GB de espao livre em disco para a instalao:
    • 6,1 GB arquivos zip da Receita Federal (Agosto/2024), que pode ser liberado depois da instalao.
    • 18 GB para arquivos texto descompactados, que pode ser liberado depois da instalao
    • 18 GB para banco de dados. Considerando o PostgreSQL.

Informao sobre o Banco de dados e carga ETL

Tabela Quantidade de linhas Tamanho em MB
empresa 45.811.638
estabelecimento 48.421.619
socios 20.426.417
simples 27.893.923
Total 142.553.597

Intalao separada

Parte 1 - PHP

  1. Ter um servidor PHP 8.1 ou superior. Com o drive PDO do banco relacional desejado e para o SqLite
  2. Configura o PHP conforme orientaes do Adianti FrameWork 7.3.0
  3. Crie no seu servidor a pasta cnjrfb.
  4. Copie o conteudo da pasta www/cnjrfb do projeto para a pasta cnjrfb do seu servidor PHP.
  5. Verifique se tudo dentro de <caminho servidor>/cnjrfb/ tem permisso de execuo do servidor web. Se for Linux (Debian/Ubuntu) com Apache pode executar sudo chown -R www-data:www-data
  6. Abra o sistema em um navegador e verifique se os sistema est funcionando. Existe um pequeno banco em SqLite para demonstrar o funcionamento.

ATENO!! a funo de gerar grafo foi removida temporarimente da verso 2.

Parte 2 - a carga dos dados, no banco relacional !

Agora vem parte demorada !

Caminho normal

  • Baixe todos os arquivos do site de receita federal. Para quem est usando Linux tem um script para essa parta www/cargabs/download/download_files.sh
  • Script PHP para carga no banco
    • na pasta projeto/modelo_banco/ vai encontrar os scripts criao do banco de dados, para os SGBD's: SqLite, MySql, MariaDB e PostgreSQL. Se precisar de um MER tem na pasta projeto/modelo_banco/mysql
    • Altere o arquivo de configurao projeto/www/cargabd/config.php
    • rode o script em modo terminal projeto/www/cargabd/index.php
    • v descenar !! o processo todo em desktop no win10, i5, 16 ram, PHP 7.4 no wamp com config padro levou mais de 30 horas.

Caminho alternativo

ATENO!! devido o volume de dados crie ndices, nas colunas que pretender ter o maior volume de pesquisa e assim diminuir o tempo de busco. Recomendo criar na coluna cnpj_basico em todas as tabelas

Parte 3 - Configurando o PHP para o banco completo !

  • altera o arquivo <caminho servidor>/cnjrfb/app/config/maindatabase.php para apontar para o novo banco de dados. Veja como em Adianti FrameWork 7.3.0
  • PARA quem criu o banco o DATABASE_SCHEMA altere o arquivo <caminho servidor>/cnjrfb/init.php na linha 33 alterando o valor da constante define('DATABASE_SCHEMA',''); para o valor desjado usando o PONTO para separar SCHEMA.TABELA

Intalao via Docker-compose - NO EST COMPLETO

Existem alguns arquivos em Docker-compose para criar todo o ambiente necessrios para rodar tudo que necessrio. A ideia com um comando o usurio consiga ter tudo funcionando sem muito esforo.

  1. Instale o Docker e Docker-compose
  2. Abriu um terminal na raiz do projeto
  3. Execute o comando docker-compose build para gerar todo o ambiente.
  4. Execute o comando docker-compose -f docker-compose.yml up -d para rodar o ambiente j configurado. O Docker pretender resolver apenas Parte 1 - PHP
  5. Verificando se a instalao est correta: Abra o sistema em um navegador e verifique se os 3 menus dentre home est funcionando: Empresa, Scios e CNEA.