Web System for pre-processing and analysis of Weather data
DOI:
https://doi.org/10.55761/abclima.v30i18.15079Keywords:
Data Wrangling, Mineração de dados, Computação aplicada.Abstract
Understanding the weather and climate is essential for making assertive decisions in various fields of human activity, requiring, therefore, consistent and reliable data. Thus, the objective of this work was to describe the functionalities of a system (web) developed to identify errors and impute missing data in historical series of meteorological data, describing the characteristics and errors of the INMET (National Institute of Meteorology) database from the municipalities of Matupá MT and Sinop MT. The system was built with the Python programming language, the Scikit-learn, SciPy, Pandas, Plotly libraries and the Streamlit Framework. For the validation of the system, a historical series of meteorological data provided by INMET was used, its failures were treated and the missing values were imputed with the KNNImputer algorithm. The assertiveness of imputation of missing values was verified through the metrics of Accuracy, Precision, Recall, F1-score and Mean Square Error (QMS). These metrics are derived from the comparison of predicted values and original values by confusion matrix. The system was efficient in identifying outliers and imputing missing values, identifying 100% of the outliers of the variables analyzed.
Downloads
References
BABA, Ricardo Kazuo; VAZ, Maria Salete Marcon Gomes; COSTA, Jéssica da. Correção de dados agrometeorológicos utilizando métodos estatísticos. Revista Brasileira de Meteorologia, [S.L.], v. 29, n. 4, p. 515-526, dez. 2014. DOI: http://dx.doi.org/10.1590/0102-778620130611.
BIER, Anderson Augusto; FERRAZ, Simone Erotildes Teleginski. Comparação de Metodologias de Preenchimento de Falhas em Dados Meteorológicos para Estações no Sul do Brasil. Revista Brasileira de Meteorologia, v. 32, n. 2, p. 215–226, 2017. DOI 10.1590/0102-77863220008.
BILALLI, Besim et al. Intelligent assistance for data pre-processing. Computer Standards & Interfaces, [S.L.], v. 57, p. 101-109, mar. 2018. DOI: http://dx.doi.org/10.1016/j.csi.2017.05.004.
BRUBACHER, João Paulo; OLIVEIRA, Guilherme Garcia de; GUASSELLI, Laurindo Antonio. Preenchimento de Falhas em Séries Temporais de Precipitação Diária no Rio Grande do Sul. Revista Brasileira de Meteorologia, [S.L.], v. 35, n. 2, p. 335-344, jun. 2020. DOI: http://dx.doi.org/10.1590/0102-7786352035.
CHAFFEY, Dave; WHITE, Gareth. Business Information Management: Improving Performance Using Information Systems. 2. Ed. [s.l.]:Financial Times/Prentice Hall, 2011. ISBN 1784483648, 9781784483647.620 p.
CHIBANA, Eduardo Yasuji et al. Preenchimento de Falha de Dados Climáticos. In: XIV Congresso Brasileiro de Agrometeorologia, 2005, Campinas - SP. In: CONGRESSO BRASILEIRO DE AGROMETEOROLOGIA., 2005. Anais [...]. Santa Maria - RS, 2005. 8 p. Disponível em: < http://www.sbiagro.org.br/pdf/v_congresso/Trabalho41.pdf> Acessado em: 12/04/2019.
COSTA, Rafaela Lisboa et al. Imputação Multivariada de Dados Diários de Precipitação e Análise de Índices de Extremos Climáticos (Imputation Multivariate of Precipitation Daily Data and Analysis of Climate Extremes Index). Revista Brasileira de Geografia Física, [S.L.], v. 5, n. 3, p. 661-675, 5 nov. 2012. DOI: http://dx.doi.org/10.26848/rbgf.v5i3.232861.
COUTINHO, Eluã Ramos et al. Application of Artificial Neural Networks (ANNs) in the Gap Filling of Meteorological Time Series. Revista Brasileira de Meteorologia, [S.L.], v. 33, n. 2, p. 317-328, jun. 2018. DOI: http://dx.doi.org/10.1590/0102-7786332013.
DEPINÉ, Haline et al. Preenchimento de Falhas de Dados Horários de Precipitação Utilizando Redes Neurais Artificiais. Revista Brasileira de Recursos Hídricos, [S.L.], v. 19, n. 1, p. 51-63, 2014. http://dx.doi.org/10.21168/rbrh.v19n1.p51-63
DIAZ, Caio César Farias; PEREIRA, João Antonio dos Santos; NOBREGA, Ranyere Silva. Comparação de dados estimados pelo método da ponderação regional (PR) e dados estimados pelo TRMM para o preenchimento de falhas de precipitação na bacia hidrográfica do Rio Pajeú. Revista Brasileira de Climatologia, [S.L.], v. 22, p. 324-339, 7 maio 2018. Universidade Federal do Paraná. DOI: http://dx.doi.org/10.5380/abclima.v22i0.46911.
ENSOR, Leslie A.; ROBESON, Scott M. Statistical Characteristics of Daily Precipitation: comparisons of gridded and point datasets. Journal Of Applied Meteorology And Climatology, [S.L.], v. 47, n. 9, p. 2468-2476, 1 set. 2008. American Meteorological Society. DOI: http://dx.doi.org/10.1175/2008jamc1757.1.
FENSTERSEIFER, Cesar Augusto. Qualidade das estimativas de precipitações derivadas de satélites na bacia do Alto Jacuí –RS. 2013. Dissertação (Metrado em Engenharia Civil e Ambiental) – Universidade Federal de Santa Maria, UFSM RS. Santa Maria –RS, 2013. 126p.
GUIMARÃES, André José Ribeiro; BEZERRA, Cicero Aparecido. Gestão de dados: uma abordagem bibliométrica. Perspectivas em Ciência da Informação, v. 4, p. 171–186, 2019. DOI 10.1590/1981-5344/4192.
INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Cidades do Mato Grosso IBGE. 2019. Disponível em: https://cidades.ibge.gov.br/brasil/mt/historico. Acesso em: 18 abr. 2020.
INSTITUTO NACIONAL DE METEOROLOGIA. BDMEP Matupá MT INMET 2020. Disponível em: https://bdmep.inmet.gov.br/. Acesso em: 20 jan. 2021.
INSTITUTO NACIONAL DE METEOROLOGIA. Relatório do gestor INMET exercício de 2000. Brasilia: [s.n.], 2000. Disponível em: http://www.inmet.gov.br/html/informacoes/relatorio_gestor/pdf/SEDE_REL_GESTOR_2000.pdf. Acesso em: 8 maio 2020.
INSTITUTO NACIONAL DE METEOROLOGIA. Relatório de gestão INMET exercício 2017. Brasília: [s.n.], 2017. Disponível em: http://www.inmet.gov.br/html/informacoes/relatorio_gestor/pdf/RelatorioGestao2017.pdf. Acesso em: 8 maio 2020.
MATUPÁ, Prefeitura. Geografia de Matupá Mato Grosso. set. 2020. Disponível em: https://www.matupa.mt.gov.br/Nossa-Cidade/Geografia/. Acesso em: 20 mai. 2020.
NASCIMENTO, Telma Santos do et al. Preenchimento de falhas em banco de dados pluviométricos com base em dados do CPC (CLIMATE PREDICTION CENTER): estudo de caso do rio solimões-amazonas. Revista Brasileira de Climatologia, [S.L.], v. 7, p. 143-158, 30 set. 2010. DOI: http://dx.doi.org/10.5380/abclima.v7i0.25643.
RAMOS, Henrique da Cruz et al. Precipitação e temperatura do ar para o estado de mato grosso utilizando krigagem ordinária. Revista Brasileira de Climatologia, v. 13, n. 0, p. 2237–8642, 2017. DOI: https://doi.org/10.5380/abclima.v20i0.43762
Downloads
Published
How to Cite
Issue
Section
License
A aprovação dos artigos implica a aceitação imediata e sem ônus de que a Revista Brasileira de Climatologia terá exclusividade na primeira publicação do artigo. Os autores continuarão, não obstante, a deter os direitos autorais. Os autores autorizam também que seus artigos sejam disponibilizados em todos os indexadores aos quais a revista está vinculada.
Os autores mantém seus direitos de publicação sem restrições
A Comissão Editorial não se responsabiliza pelos conceitos ou afirmações expressos nos trabalhos publicados, que são de inteira responsabilidade dos autores.
A Revista Brasileira de Climatologia oferece acesso livre imediato ao seu conteúdo, seguindo o entendimento de que disponibilizar gratuitamente o conhecimento científico ao público proporciona maior democratização do conhecimento e tende a produzir maior impacto dos artigos publicados. Os artigos publicados na revista são disponibilizados segundo a Licença Creative Commons CC-BY-NC 4.0 (https://creativecommons.org/licenses/by-nc/4.0/). Segundo essa licença é permitido acessar, distribuir e reutilizar os artigos para fins não comerciais desde que citados os autores e a fonte. Ao submeter artigos à Revista Brasileira de Climatologia, os autores concordam em tornar seus textos legalmente disponíveis segundo essa licença