Relatório Ad Hoc de Desmatamento de Biomas e suas características
Atuação como DBA e Analista de Dados, desenvolvendo um relatório ad hoc sobre o desmatamento de biomas brasileiros e suas características, utilizando dados do TerraBrasilis, IBGE e IpeaData.
Visão Geral
Este projeto propõe o desenvolvimento de uma aplicação que permita gerar relatórios ad hoc. Esse tipo de relatório é personalizável e criado para atender a uma necessidade pontual em cima de dados relacionados à um determinado tema. A aplicação foi desenvolvida para analisar o desmatamento de biomas brasileiros e suas características, como geologia, geomorfologia, pedologia e vegetação, utilizando dados do TerraBrasilis, IBGE e BDIA.
O projeto foi realizado durante a disciplina de Banco de Dados II, onde atuei como DBA e Analista de Dados, pensando na modelagem do banco e performance de consultas para a aplicação. Além disso, desenvolvi o ETL para extrair, transformar e carregar os dados necessários para a análise, os testes de performance das consultas e a criação de índices para otimizar a performance do banco de dados. O ETL foi realizado utilizando o KNIME, onde conectei as APIs do TerraBrasilis, IBGE e BDIA. A modelagem relacional foi feita no PostgreSQL, onde criei tabelas específicas para cada bioma e suas relações com os estados, garantindo a integridade referencial dos dados. Dessa forma, a aplicação Ad Hoc foi capaz de gerar relatórios dinâmicos e interativos, permitindo uma análise aprofundada do desmatamento no Brasil a qualquer um que deseje entender melhor o tema, seja um pesquisador, um estudante ou um profissional da área ambiental.
Implementação
Figura 1 - Exemplo de gráfico dinâmico gerado na aplicação ad hoc
Pipeline de Dados
Extração de Dados
Conexão com APIs do TerraBrasilis, IBGE, BDIA
Transformação e Limpeza
Limpeza de dados, tratamento de valores nulos, padronização de formatos e relações criadas usando o KNIME
Modelagem de Dados
Modelagem relacional no PostgreSQL, inserção de dados transformados e criação de tabelas
Visualização
Criação do relatório ad hoc utilizando ferramentas web, com gráficos interativos e filtros dinâmicos
Figura 2 - ETL realizado no KNIME (nós desativados)
Funcionalidades Principais
- • Visão geral do desmatamento de biomas
- • Características dos biomas
- • Relação entre biomas, estados e municípios
- • Extensão em hectares de biomas, estados e municípios
- • Gráficos dinâmicos e interativos
- • Filtros para personalização de relatórios
- • Exportação de relatórios em formatos CSV
Tecnologias Utilizadas
- • KNIME - ETL
- • PostgreSQL - Banco de dados
- • Apache JMeter - Testes de performance
Desafios e Soluções
Desafio: APIs nada documentadas
Usar a API do Terra Brasilis foi um grande desafio, isso porque ela não era documentada. Descobri que ela existia revirando a página do TerraBrasilis, quando eu fazia o download de um CSV o site fazia uma requisição a uma API, então foi necessário fazer uma engenharia reversa para entender os campos do .json retornados pela API e verificar esses dados de acordo com os dashboards presentes no site da mesma.
Solução: Engenharia reversa e testes de qualidade para garantir a integridade dos dados.
Performance do banco
Outro desafio foi garantir a performance do banco de dados, visto que o volume de dados era grande e as consultas algumas consultas poderiam ser lentas e custosas ao banco.
Solução: Criação de índices, otimização de consultas e testes de performance com Apache JMeter para garantir que as consultas fossem rápidas e eficientes.