Infraestrutura 

Esta Seção contém informação a respeito dos equipamentos que compõem o GridUnesp e da estrutura que dá suporte ao seu funcionamento.

Sumário

Infraestrutura

Data Center 

O GridUnesp é uma infraestrutura computacional localizada no Núcleo de Computação Científica da Unesp (NCC/Unesp), no campus da Barra Funda, na cidade de São Paulo. O cluster fica dentro do Data Center do NCC (foto acima), o qual abriga não apenas o GridUnesp, mas também outros projetos. Entre eles, podemos citar:

SPRACE (São Paulo Research and Analysis Center), que nasceu em 2003 com a função de desenvolver e aplicar pesquisa na área de física de altas energias e hoje opera uma Tier-2, um cluster de alto desempenho sob a estrutura do WorldWide LHC Computing Grid (WLCG) voltado para processamento, análise e armazenamento de dados produzidos pelo experimento CMS no Large Hadron Collider (LHC) do Centro Europeu de Pesquisas Nucleares (CERN). O GridUnesp nasceu como spin-off do SPRACE.
ANSPGrid CA (The Academic Network at São Paulo Grid Certification Authority), que entrou em operação em 2013 com o objetivo de emitir gratuitamente certificados de grid X509 para pesquisadores e máquinas de institutos de pesquisa científica do estado de São Paulo com base em criptografia de chave pública ou assimétrica, viabilizando a efetivação de propriedades importantes relativas à proteção da informação, como sigilo, integridade, autenticidade e irretratabilidade (ou não repúdio). Em 2018, passou a emitir certificados de grid para institutos de pesquisa em todo o Brasil.
Modern Code & Intel CoE (Center of Excelence) for Machine Learnig, um cluster baseado na arquitetura Intel Many Integrated Core (MIC) de processadores e coprocessadores desenvolvidos pela Intel, o qual é capaz de levar a ganhos de performance através de operações computacionais altamente paralelizadas. Esse cluster é utilizado em eventos de treinamento de modelos de programação OpenMP e MPI. Os participantes têm acesso ao cluster e obtêm familiaridade com o hardware, além do conhecimento necessário para desenvolvimento de novas ferramentas.
Espelhamento dos recursos administrativos da Reitoria. Todos os sistemas administrativos da Unesp presentes na cloud da Reitoria (no GTICC) tem um espelho no data center do NCC, ou seja, os sistemas são duplicados neste data center, assegurando um backup para que a Unesp mantenha seus sistemas sempre disponíveis.
Repositório Institucional Unesp (Biblioteca Digital) tem como objetivo armazenar, preservar, divulgar e permitir o acesso aberto a documentos científicos, acadêmicos, artísticos, técnicos, bem como dados e plano de gestão produzidos por pesquisadores e estudantes da Unesp.
unespNET atende à característica multicâmpus da Universidade, interconecta milhares de computadores distribuídos por 34 unidades universitárias, em 24 cidades do Estado de São Paulo, atendendo uma comunidade de aproximadamente 60 mil usuários entre estudantes de graduação e de pós-graduação, professores e servidores técnico-administrativos. O data center do NCC é um importante “ponto de presença” da unespNET em São Paulo: está conectado à Reitoria e ao NAP do Brasil por meio de canais ópticos de 10 Gbps; recebe links de algumas unidades do interior (Presidente Prudente, Bauru, Rio Claro e Botucatu) e conecta o campus São Paulo (Instituto de Artes e o Instituto de Física Teórica).
Base de dados do TnCentral e de Pesquisa Genômica, tendo sido implado em 2021 no data center do NCC, é um banco de dados biológicos que cataloga elementos transponíveis procarióticos que desempenham papel crítico relacionado à resistência bacteriana a antibióticos e a surtos de doenças em culturas agrícolas e pecuária economicamente importantes, sendo uma iniciativa desenvolvida por pesquisadores da Unesp, Protein Information Resource, Multidrug-Resistant Organism Repository and Surveillance Network, Walter Reed Army Institute of Research, Georgetown University Medical Center e University of Delaware. Além disso, esse banco de dados hospeda também os dados públicos e “genome browsers” referentes a todos os genomas de plantas desenvolvidos pelos Laboratórios de Genômica e Bioinformática de Plantas e Microorganismos e Lab. de Sistemática e Evolução Vegetal da UNESP-FCAV.

Equipe 

As pessoas que fazem parte do time do GridUnesp, juntamente com aquelas dos demais projetos do NCC, compõem uma equipe de especialistas de várias áreas da computação:

redes;
hardware;
desenvolvimento;
programação;
processamento;
análise;
segurança;
auditoria.

O trabalho desses profissionais é garantir que o Data Center permaneça operando em tempo integral para atender à demanda dos projetos. Eles realizam não apenas a aquisição e manutenção dos equipamentos, manutenção das conexões de internet e de rede elétrica, dos sistemas de refrigeração e de segurança, como também dão suporte à comunidade científica diretamente vinculada com o intuito de permitir que todos os projetos possam ter recursos suficientes e adequados à realização das pesquisas.

Além disso, o NCC também conta com pessoal qualificado na área administrativa (burocrática, orçamentária, etc.), fundamental para a manutenção de toda a infraestrutura.

Cluster do GridUnesp 

“Cluster” é um conjunto de vários computadores trabalhando simultaneamente com um volume de trabalho grande e repetitivo. Já o “grid” é um cluster de clusters, ou seja, são vários clusters trabalhando interconectados e de maneira coordenada, realizando serviços de maneira paralelizada.

O GridUnesp deu início a suas operações segundo o conceito de grid. Atualmente, opera segundo o conceito de cluster devido à instabilidade da Rede KyaTera que conecta o campus da Barra Funda com os campus do interior.

O GridUnesp foi criado em 2008 e entrou em funcionamento em 2009. Desde então, vem operando em regime de 24 por 7. São 365 dias no ano, todos os anos, com downtimes esporádicos apenas para a realização de reparos, intervenções pontuais e manutenções preventivas. Portanto, é de se esperar que, hoje, boa parte do equipamento não esteja mais em funcionamento, seja pelo uso ou obsolescência das máquinas, seja por terem atingido sua vida útil. Não obstante estarem contando com mais de 10 anos de vida, uma boa parte daqueles equipamentos ainda estão em operação.

Devido à aquisição realizada em 2016, que permitiu um upgrade no GridUnesp, um novo hardware está disponível (veja os comparativos na tabela abaixo). Os recursos do cluster foram ampliados, sendo composto por 3104 núcleos de processamento capazes de atingir 77 TeraFlops.

Característica	Anteriormente	Após o upgrade
Processing power (TF)	23	77
Storage (TB)	136	288
Cores	2048	3104

A imagem abaixo apresenta uma parte dos equipamentos que compõem o GridUnesp. São 2 racks que fazem parte do upgrade de 2017/2018. Em detalhe, estão ilustradas as conexões elétricas que alimentam o sistema.

As características dos equipamentos do upgrade do GridUnesp são as seguintes:

Processamento
- 56 nós de processamento, totalizando 1568 núcleos, 4 GB/núcleo (rede de comunicação de 40 Gb/s);
  - CPU: 2x Intel E5-2680 v4, 2.4 GHz;
  - MEM: 128 GB (por servidor);
- 4 servidores de gerenciamento
  - 12 núcleos/servidor, interfaces de rede 40 GbE
- Poder de processamento teórico 60,2 Tflops (teórico estimado)
Armazenamento
- 288 TB raw (216 TB efetivos), com discos NL-SAS de 4 TB e tecnologia Lustre
- 4 servidores de controle
Rede de comunicação interna
- 40 GbE interligando os nós de processamento (2 switches com 32 portas de 40GbE cada)
- 2 switches para a rede de dados (48x 1 GbE + 4x 10 GbE + 2x 40 GbE cada)

Rede 

Há alguns anos, o GridUnesp possuía uma rede InfiniBand, considerada bastante rápida e adequada a uma miríade de aplicações científicas. Esse equipamento, contudo, é muito caro, tornando inviável sua manutenção a longo prazo.

Com o advento do upgrade, a comunicação entre os nós de processamento e com o storage passou a ser feita por uma rede Ethernet 40 GB/s, conforme detalhado anteriormente.

Consumo energético 

O upgrade permitiu que o GridUnesp deixasse de consumir 90 KW/h. Com o novo hardware, o sistema consome apenas 15,8 KW/h.

No entanto, em caso de falha na alimentação da rede elétrica, o Data Center conta com 2 nobreaks, cuja função é segurar a carga de energia enquanto o gerador entra em funcionamento. Trata-se de um gerador a diesel com capacidade para manter o funcionamento dos equipamentos por algumas horas.

Nos casos em que a interrupção da alimentação da rede elétrica se mantenha por um período demasiadamente longo e, além disso, não seja possível o reabastecimento do gerador, a equipe de especialistas do NCC realiza um desligamento sequencial e sincronizado dos equipamentos. Em que pese os pesquisadores e estudantes ficarem momentaneamente impedidos de usar os recursos computacionais, o desligamento das máquinas visa garantir a manutenção de sua vida útil e segurança de todos os sistemas que compõem o Data Center.

Sistema de refrigeração 

Assim como desktops e laptops, os equipamentos abrigados em um Data Center também necessitam de refrigeração. O Data Center do NCC conta com 3 grandes ar-condicionados. A foto abaixo apresenta as 12 grandes ventoinhas (localizadas na parte externa do prédio) que dão suporte ao sistema de refrigeração.

Futuras aquisições 

A manutenção de uma infraestrutura como a do GridUnesp demanda não apenas pessoal qualificado, mas também da atualização dos equipamentos para dar conta da degradação natural e da obsolescência inevitável.

O Núcleo de Computação Científica da Unesp tem sempre buscado oportunidade de financiamento junto às agências de fomento para aquisição de novos equipamentos para prover a comunidade científica com maior capacidade de armazenamento, velocidade de processamento e transferência de dados. Com essas ações, o GridUnesp procura fazer com que os recursos computacionais continuem a impulsionar a pesquisa na universidade, abrindo novas fronteiras para a investigação científica na Unesp.

Atenção

O GridUnesp também implantou uma nova política para a incorporação de recursos computacionais à estrutura do NCC. Projetos de pesquisa que forem contemplados com novos equipamentos de Computação de Alto Desempenho (HPC) poderão solicitar que eles sejam agregados à estrutura já existente no Data Center e terão prioridade para o uso de seus recursos computacionais por um período de três anos. Após o período prioritário de três anos, os novos servidores de processamento e unidades de armazenamento serão incorporados em definitivo à estrutura já existente e seu uso passará a ser compartilhado em condições idênticas a todos os demais usuários do GridUnesp.

A incorporação das novas máquinas deve otimizar a utilização dos recursos financeiros, uma vez que o custo envolvido na implantação de um Data Center é, em geral, mais caro que os próprios equipamentos que nele serão abrigados.