Grupo: GEC

Tema: Agregação da Inteligência aos Sistemas e Gestão de Energia Elétrica Brasileiros, Contemplando:

Título: Uma Plataforma de Ciência de Dados para o Setor Elétrico Brasileiro

Autores: André Emilio Toscano(1); Marcos de Almeida Leone Filho(1); Makoto Kadowaki(1); Rafael Vieira Giordano(1); João Borsói Soares(1)

Instituições: VENIDERA(1)

Resumo: O Sistema Interligado Nacional (SIN) é o sistema que atende o mercado consumidor de energia elétrica do Brasil. Um sistema peculiar pela abundante oferta de energia renovável hidrelétrica, com múltiplos empreendimentos de geração com as mais variadas fontes primárias. Sua malha de transmissão, de porte continental, integra os geradores aos centros consumidores, garantindo o suprimento de energia elétrica do mercado consumidor nacional e de países vizinhos. Um sistema de grande porte e complexo como o SIN é organizado e gerido por diferentes órgãos, como o Ministério de Minas e Energia (MME), a Agência Nacional de Energia Elétrica (ANEEL), a Câmara de Comercialização de Energia Elétrica (CCEE), o Operador Nacional do Sistema (ONS), a Empresa de Pesquisa Energética (EPE), a Agência Nacional de Águas (ANA) e outros órgãos que gerenciam aspectos regionais do sistema. Tais organizações mantêm sua transparência divulgando informações do sistema em suas fases de planejamento, operação e histórico. Diversos conjuntos de dados sobre características, estados e funcionamento do SIN são publicados de forma distribuída, mas a distribuição não é padronizada entre os órgãos, o que dificulta a sistematização do uso desses dados. Neste contexto, este informe técnico apresenta uma plataforma de ciência de dados desenvolvida como solução para aquisição, associação, armazenamento, indexação, processamento e exportação/visualização dos dados do setor elétrico brasileiro considerando suas fontes de dados diversificadas. A metodologia aplicada favorece a aquisição de dados em massa (streaming) através de coletores, a análise dos dados coletados para submissão de armazenamento por um misto de técnicas de modelagem de dados como a orientada a objetos, a relacional e a em grafos, com indexações espacial (GIS), temporal (séries temporais) e textual. A arquitetura orientada a serviços (SOA) e micro-serviços com comunicação RESTful foram aplicadas e requisitos de big data são atendidos. O resultado final foi a criação de um sistema que pode ser visto como uma base de dados do setor elétrico brasileiro. A orquestração de diferentes técnicas fornece o suporte para a coleta em massa de dados, o armazenamento otimizado e a leitura e exportação com alto desempenho, não sofrendo impactos sensíveis com o crescimento elevado do conjunto de dados armazenados. O caso básico de uso da plataforma de ciência de dados é a coleta de dados em massa de fontes públicas ou privadas, realizada de forma automatizada e periódica. Algoritmos de robotização fazem a aquisição dos dados na web sem qualquer intervenção dos usuários. Como exemplo, os dados publicados pelo MME (relatórios), ANEEL (normativas, revisões tarifárias), CCEE (InfoPLD, contratos, decks de preço, PLD), ONS (EAR, ENA, CMO, cart Anarede), EPE (decks de leilão, estudos de energia firme e garantia física) e ANA (operação dos reservatórios), bem como notícias do setor e dados meteorológicos são automaticamente coletados, tratados e armazenados com um modelo de dados híbrido que acomoda as informações associadas e geolocalizadas. Índices de alto desempenho são aplicados, permitindo buscas diversas e oferecendo rápida rastreabilidade dos dados armazenados. Os dados lidos da plataforma podem ser utilizados para visualização ou para exportação para sistemas corporativos ou científicos. A exportação para formatos transacionais como o XML e JSON está disponível e provê facilitada integração com ferramentas computacionais diversas. A plataforma também provê um serviço de computação para o suporte a aplicações diversas de tratamento e uso dos dados, tais como para execução de simulações, análises estatísticas e de anomalias, geração de previsores, dentre outras. Logo, os atuantes nas áreas de geração, transmissão e distribuição podem se valer dos dados de maneira ágil e amigável para os usos que desejarem. A escala computacional provida pela automatização dos processos de aquisição e processamento eliminam os limites que a operação manual imporia, bem como adiciona elevada consistência nas atividades de coleta e uso dos dados. Diversos subprodutos da plataforma de ciência de dados foram desenvolvidos, como estudos de dados com todos os decks Newave já publicados, análises de contratação de energia, relatórios informativos sobre o setor, e a análise de demanda e oferta do sistema. Os resultados apontam a entrega de valor estratégico aos usuários de órgãos públicos ou privados, provendo agilidade de aquisição e utilização dos dados do setor elétrico brasileiro para as mais diversas finalidades.