PIG: A plataforma que une as universidades para democratizar o acesso à computação científica

Compartilhar recursos para ampliar oportunidades. Essa é a premissa que impulsiona a Plataforma para Pesquisa com GPUs (PIG), uma iniciativa da Comunidade de Supercomputação da CUDI que está demonstrando como a colaboração entre instituições pode abrir novas possibilidades para a pesquisa científica, a inteligência artificial e a formação de talentos especializados na região.

Em um contexto em que o acesso à infraestrutura de computação avançada se tornou um requisito para o desenvolvimento de pesquisas de ponta, a PIG propõe um modelo simples, mas transformador: conectar recursos distribuídos em diferentes universidades e colocá-los a serviço de uma comunidade acadêmica mais ampla.

A iniciativa reúne infraestrutura de GPU (unidade de processamento gráfico, do inglês Graphics Processing Unit) fornecida por diversas instituições membros da CUDI — a Rede Nacional de Pesquisa e Educação (RNIE) do México —, organização que a administra, permitindo que pesquisadores e estudantes tenham acesso a esses recursos por meio de uma plataforma comum, reduzindo barreiras técnicas, econômicas e administrativas.

Uma solução nascida de uma necessidade compartilhada

A história do PIG começou em 2019, quando a CUDI explorava a possibilidade de o México participar da então chamada Pacific Research Platform, hoje National Research Platform (NRP), que era liderada pela Universidade da Califórnia em San Diego. Mas a falta de recursos para adquirir nova infraestrutura obrigou a pensar em uma alternativa: “Devido à falta de recursos para adquirir o equipamento sugerido, decidimos realizar um projeto semelhante utilizando infraestrutura doada por diferentes instituições”, lembra Diego Dávila, líder do projeto.

A proposta era tão ambiciosa quanto pragmática: construir uma plataforma distribuída baseada no Kubernetes (sistema de código aberto que automatiza a implantação, o escalonamento e o gerenciamento de aplicativos em contêineres) que permitisse compartilhar recursos de processamento especializados entre universidades. “O objetivo era, e continua sendo, demonstrar as vantagens de compartilhar infraestrutura nesse modelo”, explica o líder do PIG.

Assim, o que começou como um experimento colaborativo acabou se transformando em uma plataforma funcional que hoje conecta capacidades de computação distribuídas em diversas instituições mexicanas.

Mais acesso, mais ciência

Para a CUDI, o verdadeiro valor do PIG não está apenas na tecnologia, mas em sua capacidade de ampliar oportunidades, como explica seu diretor-geral, Dr. Moisés Torres: “O projeto PIG é estratégico para as RNEI [sic] porque é uma forma de dar acesso a pesquisadores, alunos de pós-graduação e de graduação a recursos de GPUs para avançar em seus projetos de pesquisa. Esses recursos são disponibilizados às instituições e aos pesquisadores que, de outra forma, não teriam acesso a esses equipamentos de processamento”.

A relevância dessa missão torna-se especialmente evidente em um cenário em que a inteligência artificial, o aprendizado de máquina e a análise massiva de dados exigem cada vez mais capacidade computacional. “Este projeto proporciona aos pesquisadores acesso a recursos de GPUs para seus projetos de inteligência artificial, visando o avanço de suas pesquisas”, reafirma o diretor-geral da rede acadêmica mexicana.

A confiança como infraestrutura invisível

Certamente, o desafio tecnológico era considerável, mas construir a confiança necessária para compartilhar recursos entre instituições foi fundamental. “A colaboração interinstitucional é de suma importância, já que o projeto busca reunir os recursos de GPUs que as instituições possuem e permitir que seus pesquisadores tenham acesso à soma de todos os recursos do projeto”, explica o Dr. Torres.

Do ponto de vista técnico, o caminho não esteve isento de obstáculos. “A segurança e a conectividade têm sido o maior desafio”, indica o líder do projeto, Diego Dávila.

Muitos dos equipamentos integrados ao PIG pertencem a centros de computação de alto desempenho com políticas rigorosas de segurança, redes protegidas e mecanismos de acesso restrito. Mesmo assim, por meio do desenvolvimento de mecanismos seguros de interconexão, o projeto conseguiu concretizar uma infraestrutura compartilhada distribuída entre várias universidades.

E os resultados superaram as expectativas. “Ao compartilhar a infraestrutura, de forma automática e contínua, estabelecemos um grau significativo de confiança entre as instituições participantes. Isso abrirá as portas para outros tipos de projetos colaborativos”, afirma Dávila.

Uma comunidade para aprender e experimentar

Além das capacidades de processamento, o PIG se tornou um espaço para a formação de novas gerações de pesquisadores e especialistas em ciência de dados.

“Construímos uma plataforma ideal para a experimentação e o aprendizado dos futuros Data Scientists”, destaca Dávila.

A experiência de Bolivia Cuevas, pesquisadora pós-doutorado no Instituto de Astronomia da UNAM, ilustra esse impacto. Junto com uma equipe — formada por Juan Carlos Cuevas Tello, Luis León Anaya, Diego Dávila, Julio César Clemente, Octavio Valenzuela, Luciano Díaz, Victor Minjares, Edilberto Sánchez, Lizette Robles e Martha Ávila —, ela chegou ao PIG por meio de colegas ligados à colaboração LSST (Legacy Survey of Space and Time) e logo encontrou uma solução para um problema recorrente: a dificuldade de acessar GPUs disponíveis quando precisava delas.

“A maioria das placas em outra infraestrutura ficava ocupada quase o tempo todo. Com o PIG, tive a oportunidade de usar GPUs e a infraestrutura tem sido fácil de usar”, afirma a pesquisadora, cuja pesquisa visa “testar algoritmos de classificação de estrelas variáveis com dados do LSST”. Bolivia explica: “Na astrofísica, nos interessa estudar estrelas variáveis (que mudam seu brilho ao longo do tempo), pois elas nos permitem calcular distâncias até as galáxias onde se encontram”.

Atualmente, ela utiliza a plataforma para desenvolver pesquisas relacionadas a classificadores de objetos astronômicos variáveis. “Por enquanto, a pesquisa está em suas fases iniciais e, entre os próximos passos, está continuar trabalhando com outros usuários (alguns também usuários do PIG) para avançar na busca pelos melhores algoritmos para classificar estrelas variáveis em conjuntos de dados como os do levantamento LSST do Observatório Vera C. Rubin. Até o momento, meu maior uso do PIG tem se baseado na minha pesquisa e na preparação para o hackathon. Agora, a equipe será ampliada, incluindo também alguns participantes do hackathon que manifestaram interesse em continuar trabalhando no tema”, explica a pesquisadora pós-doutoranda da UNAM sobre seu desenvolvimento, referindo-se ao hackathon de supercomputação que o CUDI e o LAMOD organizaram em agosto passado.

Embora a adaptação a uma nova tecnologia tenha implicado um processo de aprendizagem, a experiência foi positiva, afirma Bolivia: “Aprender foi um pouco complicado porque eu não estava muito familiarizada com o Kubernetes, mas, depois que aprendi, foi muito simples usar tudo. A verdade é que é uma plataforma muito prática”. Para ela, a diferença foi significativa: “Contar com o PIG marcou um antes e um depois, já que ter várias placas permite executar vários trabalhos ao mesmo tempo”.

Da formação ao desenvolvimento de um fluxo científico reproduzível

A experiência de um estudante da Universidade Autônoma de San Luis Potosí (UASLP), compartilhada pelo Dr. Juan Carlos Cuevas Tello, do Centro de Pesquisa e Estudos de Pós-Graduação da Faculdade de Engenharia, é outro exemplo de como o PIG pode acompanhar a formação de novos pesquisadores. O estudante Ernesto Vizcaíno Alvarado conheceu a plataforma durante uma visita de Diego Dávila, líder do PIG, à universidade, justamente quando iniciava seu serviço social e começava a colaborar com pesquisadores da área de astronomia da UNAM em um projeto para classificar estrelas a partir de suas curvas de luz.

Antes de acessar a PIG, o principal obstáculo era dispor de infraestrutura especializada: adquirir e manter uma estação de trabalho com capacidade computacional suficiente era oneroso, enquanto as análises intensivas podiam consumir todos os recursos do equipamento pessoal. A plataforma permitiu separar o processamento científico do computador local, armazenar grandes conjuntos de dados e executar experimentos com maior continuidade e reprodutibilidade.

Nessa infraestrutura, Ernesto Vizcaíno Alvarado desenvolveu um fluxo de trabalho reproduzível de aprendizado de máquina para classificar estrelas variáveis periódicas com curvas de luz multibanda dos estudos astronômicos OGLE e ZTF. O trabalho abrangeu a preparação e auditoria de dados, a busca computacional de períodos, o cálculo de 51 características por curva de luz, o treinamento e a calibração de classificadores e a avaliação com conjuntos de teste separados. O sistema é capaz de distinguir oito subtipos físicos e, em testes internos, atingiu um F1 macro de 0,988 com dados do OGLE e de 0,877 com dados do ZTF. Mais do que reduzir os tempos de execução, a plataforma permitiu que o estudante avaliasse múltiplos modelos, estudasse sua estabilidade e mantivesse registros de cada etapa com vistas à elaboração de um artigo científico.

Impulsionando a astronomia com inteligência artificial

Outro exemplo do potencial da plataforma vem do projeto SMART-Astro, desenvolvido por pesquisadores do Instituto de Astronomia da UNAM para acelerar a detecção de asteróides por meio de inteligência artificial e processamento paralelo.

O Dr. Benjamín Hernández, do Departamento de Astrofísica Computacional do Instituto de Astronomia de Ensenada da UNAM, encontrou no PIG uma oportunidade para superar uma limitação específica. “A principal barreira era o acesso às GPUs”, destaca ele, ressaltando que, graças a essa capacidade de processamento, sua equipe conseguiu avançar no projeto SMART-Astro-TR, que busca acelerar a análise de grandes volumes de imagens astronômicas.

Os resultados mostram o impacto que o acesso à infraestrutura compartilhada pode ter. “Atualmente, a versão em GPUs é aproximadamente 100 vezes mais rápida do que a versão em CPUs”, afirma o Dr. Hernández, que reconhece que a plataforma permitiu que sua equipe — composta pelo estudante Ricardo Celis Carmona, e pelos doutores Benjamín Hernández Valencia, José Sergio Silva Cabrera e Mauricio Reyes Ruiz — não apenas realizar experimentos, mas também testar arquiteturas, validar bibliotecas e compreender melhor os requisitos computacionais das futuras etapas da pesquisa.

Rumo a uma comunidade regional de infraestrutura compartilhada

Cinco anos após sua criação, o PIG continua crescendo. A incorporação de novas instituições, maior capacidade de computação e equipes dedicadas à operação do projeto fazem parte do plano de ação para os próximos anos.

Mas a visão vai além do México. “Hoje, buscamos a participação de mais instituições de ensino superior do México e da América Latina para criar um projeto que ofereça acesso a esses recursos, criando um ecossistema de colaboração interinstitucional e internacional”, afirma Moisés Torres, convidando, por meio do CUDI, a comunidade ligada às Redes Nacionais de Pesquisa e Educação membros da RedCLARA a conhecer e se beneficiar do PIG.

Em uma região onde o acesso equitativo à infraestrutura científica continua sendo um desafio, o PIG representa muito mais do que uma plataforma tecnológica: é uma demonstração de que a cooperação entre instituições pode multiplicar capacidades, reduzir desigualdades e gerar novas oportunidades para a ciência.

Porque, quando as universidades compartilham recursos, elas também compartilham possibilidades. E isso, precisamente, é o que o PIG está fazendo pela pesquisa mexicana.

Conheça o PIG em: https://supercomputo.cudi.edu.mx/pig-plataforma-para-la-investigacion-con-gpus