Performance and Cost-aware HPC in Clouds: A Network Interconnection Assessment

Pesquisa realizada pelos integrantes do LARCC (Anderson M. Maliszewski e Dalvan Griebler) em conjunto com pesquisadores da UFRGS (Eduardo Roloff; Luciano P. Gaspary e Philippe O. A. Navaux) e um pesquisador da UFPR (Emmanuell D. Carreño) teve seus resultados publicados na vigésima quinta edição da conferência ISCC (IEEE Symposium on Computers and Communications), realizada em julho do corrente ano em Rennes, França. Em decorrência da pandemia, a apresentação foi de modo remoto. O artigo completo pode ser acessado pelo link.

Anderson descreveu um pouco desta experiência para nós da seguinte forma. “Este artigo foi realizado utilizando pela primeira vez no LARCC uma nuvem pública, a Microsoft Azure, que demonstrou-se extremamente prática para hospedar ambientes computacionais de alto desempenho. Ao contrário dos demais artigos já realizados na infraestrutura do LARCC, neste, o ambiente computacional da Azure tornou possível avaliar interconexões de rede de alto desempenho, como a InfiniBand, que são um conjunto de hardwares muito difíceis de serem encontrados em outros ambientes devido ao seu altíssimo custo de aquisição (enfatizando que a nuvem torna possível utilizar hardwares extremamente caros apenas pagando pelo tempo de utilização). Uma pena que o evento teve de ser remoto devido a pandemia, mas realizar a publicação sem dúvida foi muito útil tanto para minha experiência, quando para meu mestrado e projetos envolvidos.”

Anderson também detalha que este artigo avalia como a interconexão de rede impacta no desempenho e eficiência de custo de aplicações. Para os testes foram utilizadas as aplicações do conjunto de aplicações NPB (NAS Parallel Benchmarks) criado pelo NASA para avaliar o desempenho de supercomputadores paralelos e a aplicação real de alto desempenho Alya. Além disso, foram utilizadas três tipos de instâncias de nuvem diferentes, criando três clusters com 8 instâncias isoladas, cada qual com uma interconexão específica, sendo elas 10GbE, 40GbE InfiniBand e 50GbE InfiniBand. Durante o planejamento e execução dos experimentos, foram aplicadas técnicas para tornar a pesquisa reprodutiva, ou seja, permitir que outros pesquisadores possam seguir o mesmo processo experimental/metodológico e obtenham os mesmos resultados. Foram analisadas as aplicações em relação ao seu tempo de execução e eficiência de custo. Ao final do estudo, foram descobertas que a utilização de uma técnica conhecida como “Accelerated Network”, criada pela Azure, mostra-se muito efetiva. Ela permite que as instâncias possam ser interconectados por redes de alto desempenho, como InfiniBand, consequentemente performando as aplicações de maneira mais rápida, mas sem adicionar custos extras, umas vez que esta técnica é oferecida de forma gratuita, com a limitação apenas de ser utilizada por instâncias específicas.