Old » History » Version 60
Version 59 (Gabriel Winckler, 30 Jun 2016 13:17) → Version 60/61 (Raphael Cóbe, 12 Jul 2016 17:18)
h1. Documentação do usuário GridUNESP
{{>toc}}
h1. Introdução
Bem-vindo à página principal da documentação de usuário do GridUnesp, que visa disponibilizar informações úteis para a comunidade de usuários do sistema.
Correções e sugestões são sempre muito bem-vindas. Caso encontre falhas na documentação ou queira contribuir com sugestões para novos tópicos, pedimos que envie email ao time de suporte técnico: support(at)ncc.unesp.br.
h1. Informações importantes
h2. Política de uso
[[PoliticaDeUso|Política de uso]]
h2. Certificados digitais
[[InformacaoCertificados|Informações sobre os certificados digitais]]
h2. Citação
De acordo com a política de uso, em todos os artigos submetidos a revistas científicas, proceedings de conferências, teses, dissertações, etc., que façam uso dos recursos computacionais deve conter um agradecimento ao NCC/GridUNESP. O modelo de agradecimento segue abaixo:
"This research was supported by resources supplied by the Center for Scientific Computing (NCC/GridUNESP) of the São Paulo State University (UNESP)."
ou
"Esta pesquisa tornou-se possível graças aos recursos computacionais disponibilizados pelo Núcleo de Computação Científica (NCC/GridUNESP) da Universidade Estadual Paulista (UNESP)."
Solicitamos também que nos informe quando ocorrer a publicação.
Veja abaixo a lista de artigos científicos publicados sobre o GridUNESP.
[[Artigos|Artigos e trabalhos publicados]]
[[ProjetosCad|Projetos Cadastrados]]
h1. Acesso e submissão
h2. Informações básicas
* [[InstrucoesDeAcesso|Instruções de acesso]]
* [[TrocarSenha|Instruções de como trocar a senha]]
* [[EnvModules|Carregando ferramentas de compilação, aplicações e bibliotecas]]
* [[ReportingIssues|Identificando e informando problemas]]
* [[Filas| *(novo) Nova organização das filas* ]]
h2. Mecanismos de acesso aos recursos:
Atualmente o GridUnesp oferece diversas formas de utilizar os seus recursos. Elas variam em funcionalidade e capacidade. Com isso é possível escolher a forma que melhor atende ao seu modo de trabalho.
h3. Cluster local (HPC tradicional)
Esse é o modelo tradicional de uso de recursos de alto desempenho (Cluster HPC).
* Vantagens:
** simples
** melhor controle dos recursos alocados
** não requer mecanismos adicionais de segurança de grid (myproxy)
* Desvantagens:
** envio fica limitado à apenas o cluster central, não explorando todo o potencial das grades
* Recomendação:
** usuários iniciantes
** usuários com processos MPI e/ou SMP
** usuários com processos individuais que demorem mais de 12 horas
** usuários que precisem depurar ou otimizar programas
Mais informações: [[SLURM| *Usando o cluster local (via SLURM)*]]
h3. Grid tradicional (sem o go, diretamente com o condor_q)
É possível usar diretamente a estrutura de grid. Porém essa opção requer conhecimentos avançados da tecnologia de grid (globus, SRM, GridFTP, certificados...)
* Vantagens:
** permite explorar todo o potencial das grades
** uso de workflows complexos
** capacidade de tratar grandes fluxos de dados (ordem de TB)
* Desvantagens:
** limitações impostas aos processos de grid: single core, execução de até 12 horas, muitas vezes oportunístico
* Recomendação:
** usuários experientes com grids
** processos "bag of tasks" - muitos processos sem comunicação entre si
Mais informações: [[Introducao|Introdução sobre a tecnologia de grid]], [[SubmissaoTradicional| *Sistema tradicional de grid*]] e [[OperacaoCertificados|Informações práticas sobre o uso dos certificados digitais]]
h3. Sistema de submissão simplificado (GO)
Para simplificar o uso da estrutura de grid, desenvolvemos o script go. Ele abstrai vários detalhes e permite a geração de arquivos de progresso e checkpoint, por exemplo.
As aplicações instaladas são suportadas através de um template, simplificando muito o uso para usuários iniciantes. Porém elas podem ser limitantes em diversos aspectos.
O sistema GO ainda é suportado, e pode ser usado para o envio ao cluster local ou para o grid. Futuramente daremos prioridade ao uso do Goo (portal e linha de comando), desenvolvido para suceder o GO.
* Vantagens:
** suporte a diversas aplicações pelo uso de templates
** simples de usar
** abstrai o uso da tecnologia de grid
* Desvantagens:
** limitado quando a definições precisas dos recursos (uso de memória, distribuição dos jobs MPI...)
** eventualmente será substituído pelo Goo (portal)
* Recomendação:
** usuários habituados com esse método
Mais informações: [[SubmissaoSimplificada| *Sistema de submissão simplificada (GO)*]]
h3. Goo - Portal (+ linha de comando)
Trazendo diversos novos recursos, foi desenvolvido um sucessor do GO, o Goo. Ele é um portal de envio e gerenciamento de processos, mas que também funciona com linha de comando e uma API ReST.
Foi lançado em 2014, mas um número pequeno de aplicações suportadas pelo Go foram portadas para o Goo. Até que isso seja terminado, os dois sistemas estarão disponíveis.
* Vantagens:
** simplicidade de uso: basta um navegador, funcionando inclusive em tablets e celulares
** abstrai o uso da tecnologia de grid
* Desvantagens:
** poucas aplicações suportadas no momento
* Recomendação:
** usuários de aplicações já suportadas
Mais informações: "*Portal de submissão*":http://portal.grid.unesp.br
h1. Aplicativos suportados
|Nome |Versão|Local(*)|GO |Goo|
|[[BEAST]] |1.6.1 |S |S |N |
|[[BEAST]] |1.8.2 |S |N |N |
|[[BEAST]] |2.3.0 |S |N |N |
|[[BEAST]] |2.4.0 |S |N |N |
|[[Charmm]] |c37b2 |S |N |N |
|[[Clustalw]] |1.82 |N |S |N |
|[[Crystal]] |14.1 |S |S |N |
|[[Dacapo]] |r474 |N |S |N |
|[[Dalton]] |2013.4|N |S |N |
|[[Dalton]] |2016.0|S |N |N |
|[[Dirac]] |12.3 |N |S |N |
|[[Espresso]] |3.2.0 |N |S |N |
|[[Estructure]] |2.3.4 |S |N |N |
|[[Foam-Extend]] |2.3.4 |S |N |N |
|[[Estructurama]] |2.0 |S |N |N |
|[[Gamess]] |2013 |N |S |N |
|[[Gamit]] |10.5 |S |S |N |
|[[Garli]] |2.0 |N |S |N |
|[[Gaussian]] |09 |S |S |N |
|[[GPAW]] |2012 07|N |S |N |
|[[Gromacs]] |4.5.4 |N |S |N |
|[[Gromacs]] |4.6.5 |N |S |S |
|[[Gromacs]] |5.0.4 |S |N |N |
|[[Hmmer]] |3.1b2 |S |N |N |
|[[IM]] |12_17_2009|N |S |N |
|[[IMa2]] |8.26.11|N |S |N |
|[[LAMMPS]] |18_10_2011|N |S |N |
|[[LAMMPS]] |10_02_2015|S |N |N |
|[[Mathematica]] |9 |S |S |N |
|[[MOPAC]] |13.294|N |S |N |
|[[MrBayes]] |3.1.2 |N |S |N |
|[[MrBayes]] |3.2.5 |S |N |N |
|[[Mugsy]] |1.2.1 |N |S |N |
|[[NAMD]] |2.9 |N |S |N |
|[[NAMD]] |2.10 |S |N |N |
|[[NWChem]] |6.5.r26243|S |N |N |
|[[OpenFOAM]] |2.4.0 |N |S |N |
|[[Orca]] |r1730 |N |S |N |
|[[Phyluce]] |1.5.0 |S |N |N |
|[[Python]]* |2.7 |N |S |S |
|[[POY]] |4.1.2 |N |S |N |
|[[QuantumEspresso]] |4.3|S |S |N |
|[[QuantumEspresso]] |5.2|S |S |N |
|[[R]] |3.1 |S |S |N |
|[[RAxML]] |7.3.0 |N |S |N |
|[[RAxML]] |8.2.2 |S |N |N |
|[[Siesta]] |3.2.4 |S |S |N |
|[[TESS3]] |1.0 |S |N |N |
|[[Tesseract]] |3.05 |S |N |N |
(*) Todas as aplicações suportam execução pelo método local. As marcadas com (S) foram testadas e possuem os _enviroment modules_ corretos
h1. Suporte
h2. Sobre o estado do sistema
É possível verificar alguns aspectos do sistema através do "RSV": http://ce.grid.unesp.br/rsv/
Notícias relacionadas a instabilidades e manutenções serão registradas em "Notícias":https://ncc.unesp.br/its/projects/gridunesp/news (alto dessa página)
h2. Email
Envie suas dúvidas para a equipe de suporte através do email support(at)ncc.unesp.br.
h2. Reportando problemas
Para reportar dúvidas ou problemas utilize o sistema de tickets.
Para criar um novo Ticket, clique em "Entrar" no canto direito superior e use seu usuário e senha.
h2. Dúvidas freqüentes
[[FaqSuporte|FAQ (Frequently Asked Questions)]]
h1. Estatísticas
* [[Utilizacao2010|Utilização 2010]]
* [[Utilizacao2011|Utilização 2011]]
* [[Utilizacao2013|Utilização 2013]]
h1. Eventos
* São Paulo OSG School: https://indico.fnal.gov/conferenceDisplay.py?confId=3586
* [[Encontro2011]]
* [[WorkshopHPCSysAdmins]]
{{>toc}}
h1. Introdução
Bem-vindo à página principal da documentação de usuário do GridUnesp, que visa disponibilizar informações úteis para a comunidade de usuários do sistema.
Correções e sugestões são sempre muito bem-vindas. Caso encontre falhas na documentação ou queira contribuir com sugestões para novos tópicos, pedimos que envie email ao time de suporte técnico: support(at)ncc.unesp.br.
h1. Informações importantes
h2. Política de uso
[[PoliticaDeUso|Política de uso]]
h2. Certificados digitais
[[InformacaoCertificados|Informações sobre os certificados digitais]]
h2. Citação
De acordo com a política de uso, em todos os artigos submetidos a revistas científicas, proceedings de conferências, teses, dissertações, etc., que façam uso dos recursos computacionais deve conter um agradecimento ao NCC/GridUNESP. O modelo de agradecimento segue abaixo:
"This research was supported by resources supplied by the Center for Scientific Computing (NCC/GridUNESP) of the São Paulo State University (UNESP)."
ou
"Esta pesquisa tornou-se possível graças aos recursos computacionais disponibilizados pelo Núcleo de Computação Científica (NCC/GridUNESP) da Universidade Estadual Paulista (UNESP)."
Solicitamos também que nos informe quando ocorrer a publicação.
Veja abaixo a lista de artigos científicos publicados sobre o GridUNESP.
[[Artigos|Artigos e trabalhos publicados]]
[[ProjetosCad|Projetos Cadastrados]]
h1. Acesso e submissão
h2. Informações básicas
* [[InstrucoesDeAcesso|Instruções de acesso]]
* [[TrocarSenha|Instruções de como trocar a senha]]
* [[EnvModules|Carregando ferramentas de compilação, aplicações e bibliotecas]]
* [[ReportingIssues|Identificando e informando problemas]]
* [[Filas| *(novo) Nova organização das filas* ]]
h2. Mecanismos de acesso aos recursos:
Atualmente o GridUnesp oferece diversas formas de utilizar os seus recursos. Elas variam em funcionalidade e capacidade. Com isso é possível escolher a forma que melhor atende ao seu modo de trabalho.
h3. Cluster local (HPC tradicional)
Esse é o modelo tradicional de uso de recursos de alto desempenho (Cluster HPC).
* Vantagens:
** simples
** melhor controle dos recursos alocados
** não requer mecanismos adicionais de segurança de grid (myproxy)
* Desvantagens:
** envio fica limitado à apenas o cluster central, não explorando todo o potencial das grades
* Recomendação:
** usuários iniciantes
** usuários com processos MPI e/ou SMP
** usuários com processos individuais que demorem mais de 12 horas
** usuários que precisem depurar ou otimizar programas
Mais informações: [[SLURM| *Usando o cluster local (via SLURM)*]]
h3. Grid tradicional (sem o go, diretamente com o condor_q)
É possível usar diretamente a estrutura de grid. Porém essa opção requer conhecimentos avançados da tecnologia de grid (globus, SRM, GridFTP, certificados...)
* Vantagens:
** permite explorar todo o potencial das grades
** uso de workflows complexos
** capacidade de tratar grandes fluxos de dados (ordem de TB)
* Desvantagens:
** limitações impostas aos processos de grid: single core, execução de até 12 horas, muitas vezes oportunístico
* Recomendação:
** usuários experientes com grids
** processos "bag of tasks" - muitos processos sem comunicação entre si
Mais informações: [[Introducao|Introdução sobre a tecnologia de grid]], [[SubmissaoTradicional| *Sistema tradicional de grid*]] e [[OperacaoCertificados|Informações práticas sobre o uso dos certificados digitais]]
h3. Sistema de submissão simplificado (GO)
Para simplificar o uso da estrutura de grid, desenvolvemos o script go. Ele abstrai vários detalhes e permite a geração de arquivos de progresso e checkpoint, por exemplo.
As aplicações instaladas são suportadas através de um template, simplificando muito o uso para usuários iniciantes. Porém elas podem ser limitantes em diversos aspectos.
O sistema GO ainda é suportado, e pode ser usado para o envio ao cluster local ou para o grid. Futuramente daremos prioridade ao uso do Goo (portal e linha de comando), desenvolvido para suceder o GO.
* Vantagens:
** suporte a diversas aplicações pelo uso de templates
** simples de usar
** abstrai o uso da tecnologia de grid
* Desvantagens:
** limitado quando a definições precisas dos recursos (uso de memória, distribuição dos jobs MPI...)
** eventualmente será substituído pelo Goo (portal)
* Recomendação:
** usuários habituados com esse método
Mais informações: [[SubmissaoSimplificada| *Sistema de submissão simplificada (GO)*]]
h3. Goo - Portal (+ linha de comando)
Trazendo diversos novos recursos, foi desenvolvido um sucessor do GO, o Goo. Ele é um portal de envio e gerenciamento de processos, mas que também funciona com linha de comando e uma API ReST.
Foi lançado em 2014, mas um número pequeno de aplicações suportadas pelo Go foram portadas para o Goo. Até que isso seja terminado, os dois sistemas estarão disponíveis.
* Vantagens:
** simplicidade de uso: basta um navegador, funcionando inclusive em tablets e celulares
** abstrai o uso da tecnologia de grid
* Desvantagens:
** poucas aplicações suportadas no momento
* Recomendação:
** usuários de aplicações já suportadas
Mais informações: "*Portal de submissão*":http://portal.grid.unesp.br
h1. Aplicativos suportados
|Nome |Versão|Local(*)|GO |Goo|
|[[BEAST]] |1.6.1 |S |S |N |
|[[BEAST]] |1.8.2 |S |N |N |
|[[BEAST]] |2.3.0 |S |N |N |
|[[BEAST]] |2.4.0 |S |N |N |
|[[Charmm]] |c37b2 |S |N |N |
|[[Clustalw]] |1.82 |N |S |N |
|[[Crystal]] |14.1 |S |S |N |
|[[Dacapo]] |r474 |N |S |N |
|[[Dalton]] |2013.4|N |S |N |
|[[Dalton]] |2016.0|S |N |N |
|[[Dirac]] |12.3 |N |S |N |
|[[Espresso]] |3.2.0 |N |S |N |
|[[Estructure]] |2.3.4 |S |N |N |
|[[Foam-Extend]] |2.3.4 |S |N |N |
|[[Estructurama]] |2.0 |S |N |N |
|[[Gamess]] |2013 |N |S |N |
|[[Gamit]] |10.5 |S |S |N |
|[[Garli]] |2.0 |N |S |N |
|[[Gaussian]] |09 |S |S |N |
|[[GPAW]] |2012 07|N |S |N |
|[[Gromacs]] |4.5.4 |N |S |N |
|[[Gromacs]] |4.6.5 |N |S |S |
|[[Gromacs]] |5.0.4 |S |N |N |
|[[Hmmer]] |3.1b2 |S |N |N |
|[[IM]] |12_17_2009|N |S |N |
|[[IMa2]] |8.26.11|N |S |N |
|[[LAMMPS]] |18_10_2011|N |S |N |
|[[LAMMPS]] |10_02_2015|S |N |N |
|[[Mathematica]] |9 |S |S |N |
|[[MOPAC]] |13.294|N |S |N |
|[[MrBayes]] |3.1.2 |N |S |N |
|[[MrBayes]] |3.2.5 |S |N |N |
|[[Mugsy]] |1.2.1 |N |S |N |
|[[NAMD]] |2.9 |N |S |N |
|[[NAMD]] |2.10 |S |N |N |
|[[NWChem]] |6.5.r26243|S |N |N |
|[[OpenFOAM]] |2.4.0 |N |S |N |
|[[Orca]] |r1730 |N |S |N |
|[[Phyluce]] |1.5.0 |S |N |N |
|[[Python]]* |2.7 |N |S |S |
|[[POY]] |4.1.2 |N |S |N |
|[[QuantumEspresso]] |4.3|S |S |N |
|[[QuantumEspresso]] |5.2|S |S |N |
|[[R]] |3.1 |S |S |N |
|[[RAxML]] |7.3.0 |N |S |N |
|[[RAxML]] |8.2.2 |S |N |N |
|[[Siesta]] |3.2.4 |S |S |N |
|[[TESS3]] |1.0 |S |N |N |
|[[Tesseract]] |3.05 |S |N |N |
(*) Todas as aplicações suportam execução pelo método local. As marcadas com (S) foram testadas e possuem os _enviroment modules_ corretos
h1. Suporte
h2. Sobre o estado do sistema
É possível verificar alguns aspectos do sistema através do "RSV": http://ce.grid.unesp.br/rsv/
Notícias relacionadas a instabilidades e manutenções serão registradas em "Notícias":https://ncc.unesp.br/its/projects/gridunesp/news (alto dessa página)
h2. Email
Envie suas dúvidas para a equipe de suporte através do email support(at)ncc.unesp.br.
h2. Reportando problemas
Para reportar dúvidas ou problemas utilize o sistema de tickets.
Para criar um novo Ticket, clique em "Entrar" no canto direito superior e use seu usuário e senha.
h2. Dúvidas freqüentes
[[FaqSuporte|FAQ (Frequently Asked Questions)]]
h1. Estatísticas
* [[Utilizacao2010|Utilização 2010]]
* [[Utilizacao2011|Utilização 2011]]
* [[Utilizacao2013|Utilização 2013]]
h1. Eventos
* São Paulo OSG School: https://indico.fnal.gov/conferenceDisplay.py?confId=3586
* [[Encontro2011]]
* [[WorkshopHPCSysAdmins]]