Os alunos de Iniciação Científica do LARCC Gabriel Rustick Fim (Setrem), Greice Aline Welter (Setrem) e Júnior Löff (PUCRS) e orientados pelo Prof. Dr. Dalvan Griebler (Setrem/PUCRS), apresentaram no dia 19 de abril o artigo intitulado “Compressão de Dados em Clusters HPC com Flink, MPI e SPar” na Sessão de Iniciação Científica da XXII Escola Regional de Alto Desempenho da Região Sul (ERAD/RS 2022), que aconteceu de 18 a 20 de abril de 2022, em Curitiba (PR).
O artigo teve como objetivo avaliar o desempenho do algoritmo de compressão de dados bzip2 com as ferramentas de processamento de stream Apache Flink,
MPI e SPar utilizam um cluster Beowulf, composto por 5 nodos conectados através da rede, sendo um deles um gerente dos demais nodos. Os testes foram executados em três versões paralelas do algoritmo de compressão bzip2.
O Flink representa uma versão do bzip2 convertida para a linguagem Java e implementada com o framework Apache Flink. As versões da SPar foram geradas automaticamente pelo compilador da linguagem através de anotações no código sequencial do bzip2 em C++. As anotações fazem parte da linguagem da SPar
e expressam informações sobre o fluxo de dados no código. A versão MPI é uma versão oficial do MPIBZIP2 utilizando o Open MPI para sistemas distribuídos. Essa versão foi baseada em uma versão paralela para arquiteturas multi-core.
Considerando a aplicação bzip2 e o ambiente distribuído dos experimentos, os resultados com diferentes cargas de trabalho revelaram que o MPI e a SPar possuem desempenho superior ao Apache Flink, que é uma das principais ferramentas utilizadas na indústria. Os testes também mostraram que a SPar, mesmo sendo uma linguagem de alto-nível, possui desempenho equivalente ao MPI nesta aplicação de compressão de dados. Esses resultados são positivos e demonstram que abstrações são capazes de aumentar a programabilidade sem perdas significativas de desempenho.
Os resultados mostram que as versões com maior desempenho são o MPI e SPar, que finalizaram a execução dos testes mais de 7 vezes mais rápido do que a versão sequencial. O artigo completo com detalhes sobre os testes e os resultados pode ser lido no link a seguir: https://doi.org/10.5753/eradrs.2022.19153