Agentes Inteligentes baseados em Aprendizado por Reforço para Alocação Dinâmica de Tráfego em Nuvens

A alocação eficiente do tráfego em nuvens é desafiadora devido ao compartilhamento de recursos entre os clientes. Isso pode implicar recursos ociosos caso os clientes estejam limitados a utilizar somente a banda contratada. O uso da nuvem pode ser otimizado provendo recursos aos clientes dinamicamente de acordo com a demanda. Agentes de aprendizado por reforço promovem respostas adaptáveis a ambientes variantes no tempo. Este artigo propõe um mecanismo baseado em Q-learning com múltiplos agentes para gerenciar o acesso aos recursos por cada cliente da nuvem. A proposta é analisada em um ambiente emulado, no qual um controlador é responsável pela alocação de tráfego aos clientes. Os resultados mostram que o mecanismo reduz a ociosidade da nuvem, permitindo que clientes com baixa priorização utilizem a banda disponível, ao mesmo tempo que garante a banda contratada a clientes prioritários. O mecanismo exige baixo comprometimento de processamento total, mesmo variando o número de estados e espaço de ações, ao passo que o custo em memória por agente aumenta, alcançando um máximo de 300 kB para 200 estados e ações.