
Otimização da Redistribuição de Réplicas no HDFS com base na Carga dos Nodos
Author(s) -
Rhauani Weber Aita Fazul,
Patrícia Pitthan Barcelos
Publication year - 2020
Language(s) - Portuguese
Resource type - Conference proceedings
DOI - 10.5753/wscad.2020.14077
Subject(s) - computer science , physics , base (topology) , operating system , mathematics , mathematical analysis
O HDFS Balancer é a solução nativa para o balanceamento de réplicas no sistema de arquivos distribuído do Hadoop. Entretanto, o balanceador possui limitações de uso, uma vez que depende do disparo manual e sua política de balanceamento não considera o estado de sobrecarga do ambiente computacional. Este trabalho apresenta uma estratégia que automatiza a tomada de decisão para a conguração e execução do HDFS Balancer com base no monitoramento ativo do sistema. Em complemento, implementou-se uma customização para que a ferramenta passe a operar visando um balanceamento mínimo, enquanto esforça-se em reduzir a sobrecarga nas demais aplicações no cluster ao priorizar nodos com baixa carga para a redistribuição das réplicas.