Validação de Políticas para o Estabelecimento Dinâmico de Checkpoints no Apache Spark

O Apache Spark é uma plataforma voltada ao processamento distribuído de dados em memória. Para uma persistência confiável e tolerante a falhas, o Spark usa a técnica de checkpoint. O estabelecimento de checkpoints, entretanto, precisa ser realizado manualmente através do código-fonte, o que dificulta uma configuração eficiente. Esse trabalho apresenta e valida uma arquitetura de configuração dinâmica para checkpoints no Spark. A arquitetura proposta inicia procedimentos de checkpoint automaticamente, com base em políticas de monitoramento que observam o sistema e suas aplicações. Os experimentos demostram que o uso de políticas dinâmicas adequadas é capaz de aumentar a confiabilidade do Spark sem comprometer seu desempenho.