Web System for pre-processing and analysis of Weather data

Authors

DOI:

https://doi.org/10.55761/abclima.v30i18.15079

Keywords:

Data Wrangling, Mineração de dados, Computação aplicada.

Abstract

Understanding the weather and climate is essential for making assertive decisions in various fields of human activity, requiring, therefore, consistent and reliable data. Thus, the objective of this work was to describe the functionalities of a system (web) developed to identify errors and impute missing data in historical series of meteorological data, describing the characteristics and errors of the INMET (National Institute of Meteorology) database from the municipalities of Matupá MT and Sinop MT. The system was built with the Python programming language, the Scikit-learn, SciPy, Pandas, Plotly libraries and the Streamlit Framework. For the validation of the system, a historical series of meteorological data provided by INMET was used, its failures were treated and the missing values were imputed with the KNNImputer algorithm. The assertiveness of imputation of missing values was verified through the metrics of Accuracy, Precision, Recall, F1-score and Mean Square Error (QMS). These metrics are derived from the comparison of predicted values and original values by confusion matrix. The system was efficient in identifying outliers and imputing missing values, identifying 100% of the outliers of the variables analyzed.

Downloads

Download data is not yet available.

Author Biographies

Walingson da Silva da Costa, Universidade Estadual do Mato Grosso (UNEMAT Alta Floresta)

Mestrando no Programa de Pós Graduação em Biodiversidade e Agroecossistemas Amazônicos na Universidade Estadual de Mato Grosso; Especialista em Planejamento e Gerenciamento em Biologia Ambiental pela Faculdade Brasil Central FBC BRASIL; Bacharel em Sistema da Informação pela Universidade Estadual de Mato Grosso (UNEMAT). Tem experiência na área de Biologia Geral, planejamento e gerenciamento de projetos, programação orientada a objetos, Ciencia de Dados, Aprendizagem de Máquinas e automação residencial/predial. Atuando principalmente, sistemas WEB e Tecnologia da Informação e Comunicação em escolas de ensino básico.

Rivanildo Dallacort, Universidade Estadual do Mato Grosso (UNEMAT Tangará da Serra)

Pesquisador, Bolsista de produtividade CNPq; Professor do Mestrado em Ambiente e Sistemas de Produção Agrícola - PPGASP; Professor do Mestrado em Biodiversidade e Agroecossistemas Amazônicos - PPGBioAgro; Coordenador do Centro de Geoprocessamento e Sensoriamento Remoto Aplicado a Produção de Biodiesel - CETEGEO, UNEMAT, Campus Universitário de Tangará da Serra Atua no INEP/MEC como avaliador de cursos de graduação e de instituições de educação superior; Atuante na área de Engenharia Agrícola, atuando principalmente nos seguintes temas: Agrometeorologia, Recursos Hídricos, Modelagem, Meio Ambiente, Geoprocessamento e Sensoriamento Remoto. 

Marcos Antônio Camillo de Carvalho, Universidade Estadual do Mato Grosso (UNEMAT Alta Floresta)

Possui graduação em Agrononia pela Universidade Estadual Paulista Júlio de Mesquita Filho (1985), mestrado em Agronomia (Produção Vegetal) pela Universidade Estadual Paulista Júlio de Mesquita Filho (1997) e doutorado em Agronomia (Produção Vegetal) pela Universidade Estadual Paulista Júlio de Mesquita Filho (2000), Pós Doutorado pela Universidade Estadual Paulista Júlio de Mesquita Filho (2018). Atualmente é professor adjunto da Universidade do Estado de Mato Grosso, lotado no Departamento de Agronomia do Campus Universitário de Alta Floresta. Tem experiência na área de Agronomia, com ênfase em Manejo e Tratos Culturais de Culturas e Fertilidade e Adubação do Solo, atuando principalmente nos seguintes temas: Recuperação e ou Renovação de Pastagens, Integração Lavoura Pecuária, Manejo e Conservação do Solo, trabalhando com as cultura do arroz, milho, soja, e feijão.

Silmara Bispo dos Santos, Universidade Federal do Brasil (UFMT Rondonópolis)

Possui graduação em Engenharia Agrícola pela Universidade Estadual do Oeste do Paraná (2005), Mestrado (2008) e Doutorado (2011) em Engenharia Agrícola na área de Pré-processamento e Armazenamento de Produtos Agrícolas pela Universidade Federal de Viçosa. Tem experiência na área de Engenharia Agrícola, com ênfase em Armazenamento e Secagem de Produtos Agrícolas, atuando principalmente nos seguintes temas: qualidade de grãos oleaginosos, qualidade de óleos vegetais e biodiesel, armazenamento hermético, secagem e resfriamento de grãos, extração de óleos vegetais e aproveitamento de co-produtos para geração de energia. Atualmente é Professora Associada do Curso de Engenharia Mecânica da Universidade Federal do Rondonópolis - UFR, onde ministra disciplinas na área de Fenômenos de Transporte e Engenharia Térmica e desenvolve projetos de pesquisa e extensão e coordena o Programa de Extensão tecnológica "Oficina Maker UFR". 

References

BABA, Ricardo Kazuo; VAZ, Maria Salete Marcon Gomes; COSTA, Jéssica da. Correção de dados agrometeorológicos utilizando métodos estatísticos. Revista Brasileira de Meteorologia, [S.L.], v. 29, n. 4, p. 515-526, dez. 2014. DOI: http://dx.doi.org/10.1590/0102-778620130611.

BIER, Anderson Augusto; FERRAZ, Simone Erotildes Teleginski. Comparação de Metodologias de Preenchimento de Falhas em Dados Meteorológicos para Estações no Sul do Brasil. Revista Brasileira de Meteorologia, v. 32, n. 2, p. 215–226, 2017. DOI 10.1590/0102-77863220008.

BILALLI, Besim et al. Intelligent assistance for data pre-processing. Computer Standards & Interfaces, [S.L.], v. 57, p. 101-109, mar. 2018. DOI: http://dx.doi.org/10.1016/j.csi.2017.05.004.

BRUBACHER, João Paulo; OLIVEIRA, Guilherme Garcia de; GUASSELLI, Laurindo Antonio. Preenchimento de Falhas em Séries Temporais de Precipitação Diária no Rio Grande do Sul. Revista Brasileira de Meteorologia, [S.L.], v. 35, n. 2, p. 335-344, jun. 2020. DOI: http://dx.doi.org/10.1590/0102-7786352035.

CHAFFEY, Dave; WHITE, Gareth. Business Information Management: Improving Performance Using Information Systems. 2. Ed. [s.l.]:Financial Times/Prentice Hall, 2011. ISBN 1784483648, 9781784483647.620 p.

CHIBANA, Eduardo Yasuji et al. Preenchimento de Falha de Dados Climáticos. In: XIV Congresso Brasileiro de Agrometeorologia, 2005, Campinas - SP. In: CONGRESSO BRASILEIRO DE AGROMETEOROLOGIA., 2005. Anais [...]. Santa Maria - RS, 2005. 8 p. Disponível em: < http://www.sbiagro.org.br/pdf/v_congresso/Trabalho41.pdf> Acessado em: 12/04/2019.

COSTA, Rafaela Lisboa et al. Imputação Multivariada de Dados Diários de Precipitação e Análise de Índices de Extremos Climáticos (Imputation Multivariate of Precipitation Daily Data and Analysis of Climate Extremes Index). Revista Brasileira de Geografia Física, [S.L.], v. 5, n. 3, p. 661-675, 5 nov. 2012. DOI: http://dx.doi.org/10.26848/rbgf.v5i3.232861.

COUTINHO, Eluã Ramos et al. Application of Artificial Neural Networks (ANNs) in the Gap Filling of Meteorological Time Series. Revista Brasileira de Meteorologia, [S.L.], v. 33, n. 2, p. 317-328, jun. 2018. DOI: http://dx.doi.org/10.1590/0102-7786332013.

DEPINÉ, Haline et al. Preenchimento de Falhas de Dados Horários de Precipitação Utilizando Redes Neurais Artificiais. Revista Brasileira de Recursos Hídricos, [S.L.], v. 19, n. 1, p. 51-63, 2014. http://dx.doi.org/10.21168/rbrh.v19n1.p51-63

DIAZ, Caio César Farias; PEREIRA, João Antonio dos Santos; NOBREGA, Ranyere Silva. Comparação de dados estimados pelo método da ponderação regional (PR) e dados estimados pelo TRMM para o preenchimento de falhas de precipitação na bacia hidrográfica do Rio Pajeú. Revista Brasileira de Climatologia, [S.L.], v. 22, p. 324-339, 7 maio 2018. Universidade Federal do Paraná. DOI: http://dx.doi.org/10.5380/abclima.v22i0.46911.

ENSOR, Leslie A.; ROBESON, Scott M. Statistical Characteristics of Daily Precipitation: comparisons of gridded and point datasets. Journal Of Applied Meteorology And Climatology, [S.L.], v. 47, n. 9, p. 2468-2476, 1 set. 2008. American Meteorological Society. DOI: http://dx.doi.org/10.1175/2008jamc1757.1.

FENSTERSEIFER, Cesar Augusto. Qualidade das estimativas de precipitações derivadas de satélites na bacia do Alto Jacuí –RS. 2013. Dissertação (Metrado em Engenharia Civil e Ambiental) – Universidade Federal de Santa Maria, UFSM RS. Santa Maria –RS, 2013. 126p.

GUIMARÃES, André José Ribeiro; BEZERRA, Cicero Aparecido. Gestão de dados: uma abordagem bibliométrica. Perspectivas em Ciência da Informação, v. 4, p. 171–186, 2019. DOI 10.1590/1981-5344/4192.

INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Cidades do Mato Grosso IBGE. 2019. Disponível em: https://cidades.ibge.gov.br/brasil/mt/historico. Acesso em: 18 abr. 2020.

INSTITUTO NACIONAL DE METEOROLOGIA. BDMEP Matupá MT INMET 2020. Disponível em: https://bdmep.inmet.gov.br/. Acesso em: 20 jan. 2021.

INSTITUTO NACIONAL DE METEOROLOGIA. Relatório do gestor INMET exercício de 2000. Brasilia: [s.n.], 2000. Disponível em: http://www.inmet.gov.br/html/informacoes/relatorio_gestor/pdf/SEDE_REL_GESTOR_2000.pdf. Acesso em: 8 maio 2020.

INSTITUTO NACIONAL DE METEOROLOGIA. Relatório de gestão INMET exercício 2017. Brasília: [s.n.], 2017. Disponível em: http://www.inmet.gov.br/html/informacoes/relatorio_gestor/pdf/RelatorioGestao2017.pdf. Acesso em: 8 maio 2020.

MATUPÁ, Prefeitura. Geografia de Matupá Mato Grosso. set. 2020. Disponível em: https://www.matupa.mt.gov.br/Nossa-Cidade/Geografia/. Acesso em: 20 mai. 2020.

NASCIMENTO, Telma Santos do et al. Preenchimento de falhas em banco de dados pluviométricos com base em dados do CPC (CLIMATE PREDICTION CENTER): estudo de caso do rio solimões-amazonas. Revista Brasileira de Climatologia, [S.L.], v. 7, p. 143-158, 30 set. 2010. DOI: http://dx.doi.org/10.5380/abclima.v7i0.25643.

RAMOS, Henrique da Cruz et al. Precipitação e temperatura do ar para o estado de mato grosso utilizando krigagem ordinária. Revista Brasileira de Climatologia, v. 13, n. 0, p. 2237–8642, 2017. DOI: https://doi.org/10.5380/abclima.v20i0.43762

Downloads

Published

16/04/2022

How to Cite

Costa, W. da S. da, Dallacort, R., Carvalho, M. A. C. de, & Santos, S. B. dos. (2022). Web System for pre-processing and analysis of Weather data. Brazilian Journal of Climatology, 30(18), 591–610. https://doi.org/10.55761/abclima.v30i18.15079

Issue

Vol. 30 (2022)

Section

Artigos

License

A aprovação dos artigos implica a aceitação imediata e sem ônus de que a Revista Brasileira de Climatologia terá exclusividade na primeira publicação do artigo. Os autores continuarão, não obstante, a deter os direitos autorais. Os autores autorizam também que seus artigos sejam disponibilizados em todos os indexadores aos quais a revista está vinculada.

Os autores mantém seus direitos de publicação sem restrições

A Comissão Editorial não se responsabiliza pelos conceitos ou afirmações expressos nos trabalhos publicados, que são de inteira responsabilidade dos autores.

A Revista Brasileira de Climatologia oferece acesso livre imediato ao seu conteúdo, seguindo o entendimento de que disponibilizar gratuitamente o conhecimento científico ao público proporciona maior democratização do conhecimento e tende a produzir maior impacto dos artigos publicados. Os artigos publicados na revista são disponibilizados segundo a Licença Creative Commons CC-BY-NC 4.0 (https://creativecommons.org/licenses/by-nc/4.0/). Segundo essa licença é permitido acessar, distribuir e reutilizar os artigos para fins não comerciais desde que citados os autores e a fonte. Ao submeter artigos à Revista Brasileira de Climatologia, os autores concordam em tornar seus textos legalmente disponíveis segundo essa licença