Suporte (GridUNESP)

h1. Sistema de Submissão Simplificada (GO)

{{>toc}}

h2. Introdução

Avaliando a utilização do sistema e tentando sempre facilitar a utilização dos recursos, foram identificadas algumas facilidades que não estavam presentes nas ferramentas tradicionais de grid de forma que sua ausência prejudicava a adoção do grid por parte dos usuários. Por essa razão, foi desenvolvido um método de submissão simplificado, batizado de go, que oferece as seguintes vantagens:

* Submissão simplificada da simulação

* Acompanhamento do progresso durante a execução

* Salvar e recuperar checkpoints

* Suporte a grandes arquivos de entrada e saída

* Flexibilidade na descrição de arquivos de saída

* Utilização automática de diretórios temporários

* Facilitar depuração de erros

Ainda estão previstas novas melhorias, como a cópia de grandes arquivos em duas etapas, um sistema de acompanhamento de processos via web e um sistema que direcione automaticamente os processos para os recursos mais adequados.

Esse sistema permite a criação de templates para aplicações específicas, facilitando o seu uso. A lista das aplicações suportadas por esse mecanismo está descrita abaixo. Porém esse sistema permite a utilização de qualquer aplicação, incluindo as desenvolvidas ou compiladas pelos próprios usuários. *Recomendamos o uso dessa ferramenta para todos os usuários (básicos e avançados)*

h2.  Aplicativos suportados

O sistema permite o envio de um programa desenvolvido e compilado pelo usuário. Porém conta também com modelos simplificados para algumas as aplicações que damos suporte. Esperamos expandir o número de aplicações suportadas.

|Nome             |Status      |Versão|Serial|SMP|MPI|Chekpoint|Progress|

|[[BEAST]]        |OK          |1.6.1 |S     |S  |N  |N        |S       |

|[[Clustalw]]     |OK          |1.82  |N     |N  |S  |N        |S       |

|[[Crystal]]      |teste       |09    |S     |N  |?  |?        |S       |

|[[Dacapo]]       |teste       |r474  |S     |N  |S  |S        |S       |

|[[Dirac]]        |teste       |11    |S     |N  |S  |?        |S       |

|[[Espresso]]     |teste       |3.2.0 |S     |N  |S  |?        |S       |

|[[Gamess]]       |OK          |2009  |S     |N  |S  |?        |ni      |

|[[Gamit]]        |OK          |10.4  |S     |N  |N  |?        |ni      |

|[[Garli]]        |teste       |2.0   |S     |N  |S  |N        |S       |

|[[Gaussian]]     |OK          |09    |S     |S  |S  |S        |S       |

|[[GPAW]]         |teste       |0.8.0 |S     |N  |S  |S        |S       |

|[[Gromacs]]      |OK          |4.5.4 |S     |S  |S  |T        |S       |

|[[Gromacs]]      |teste       |4.6.5 |S     |S  |S  |T        |S       |

|[[IM]]           |teste       |12_17_2009 |S |N |N  |S        |S       |

|[[IMa2]]         |teste       |8.26.11 |S   |N  |N  |N        |S       |

|!InterproScan    |planejado   |      |      |   |   |         |        |

|[[LAMMPS]]       |teste       |18_10_2011|S |ni |S  |?        |S       |

|[[Mathematica]]  |OK          |9     |S     |N  |S  |?        |S       |

|[[MOPAC]]        |OK          |2012  |S     |?  |N  |N        |S       |

|[[MrBayes]]      |OK          |3.1.2 |S     |N  |S  |?        |ni      |

|[[Mugsy]]        |teste       |1.2.1 |S     |N  |N  |N        |S       |

|[[NAMD]]         |OK          |2.7   |ni    |N  |S  |?        |ni      |

|[[OpenFOAM]]     |teste       |2.1   |S     |N  |S  |?        |?       |

|[[Orca]]         |OK          |r1730 |S     |N  |?  |S        |S       |

|[[Python]]*      |OK          |2.7   |S     |S  |S  |-        |-       |

|[[POY]]          |teste       |4.1.2 |S     |N  |S  |?        |ni      |

|[[QuantumEspresso]] |teste    |4.3   |S     |N  |S  |?        |S       |

|[[R]]            |OK          |3.1   |S     |N  |N  |-        |-       |

|[[RAxML]]        |teste       |7.3.0 |S     |S  |S  |N        |S       |

|[[Siesta]]       |teste       |3.2.4 |S     |N  |N  |N        |S       |

Legenda:

|S |recurso implementado|

|N |recurso não suportado pelo software|

|T |recurso em fase de testes|

|ni|recurso disponibilizado pelo software, mas não implementado no *go*|

|? |informação não disponível|

[*] Módulos adicionais de Python

* SciPy

* NumPy

* matplotlib

* mpi4py

* networkx

* emcee

* decorators

* xlrd/xlwd

* libsbml

h2. Aplicativos compilados pelo próprio usuário

Com o go é possível também enviar arquivos desenvolvidos ou compilados pelo próprio usuário.

Mais detalhes estão [[SubmissaoSimplificadaCustom|aqui]].

h2. Utilização

* Crie um arquivo de parâmetros (ex: caso.go) como explicado abaixo

* Crie um certificado de proxy (myproxy-logon) com uma duração maior que a do seu job

* Execute "go caso.go"

Isso cria e envia o seu job para o grid. Caso não queira enviar imediatamente, utilize a opção "-nosubmit". O arquivo de submissão será criado com o nome de "caso.go.submit".

Caso você tenha especificado checkpoints ou arquivos de progresso, eles serão automaticamente copiados para esse diretório.

*IMPORTANTE: NÃO USE ESPAÇOS NOS NOMES DOS ARQUIVOS*

h2. Opções

h3. Opções gerais

* CASE - Nome do caso. Define o nome de arquivos de entrada, log e saida. *Padrão*: (nome do arquivo de parâmetros, sem a extensão)

* HOSTS - Número de hosts (processos) para a execução. *Padrão*: 1

* QUEUE - Fila do processo. Opções: short (até 3 horas), medium (até 24 horas), long (30 dias) *Padrão*: medium (24 horas)

* LARGE_FILES - Suporte a arquivos de simulação maiores que 8GB. *Padrão*: false

* NOTIFY - Escolhe quais notificação serão enviadas por email. "NOTIFY=" desabilita o envio.

h3. Opções *avançadas* (geralmente não são necessárias!)

* EXEC - executável

* TRANSFER_EXEC - se transfere o executável

* ARGS - argumentos

* INPUT - arquivos de entrada, *separados por espaço*

* OUTPUT - arquivos de saída, *separados por espaço*

* PROGRESS - arquivo que exibe o progresso da simulação

* WAIT_PROGRESS - tempo de atualização do progresso, em segundos. *Padrão*: 15 min.

* CHECKPOINT - arquivo de checkpoint

* WAIT_CHECKPOINT - tempo de atualização do checkpoint, em segundos. *Padrão*: 3 horas.

* HOSTS - Número de hosts (processos) para a execução. *Padrão*: 1

* PPH - Process per host. Opção para programas SMP

* MPI - Se o executável deve ser chamado em ambiente MPI (True ou False).

* SHARED_FS - Utiliza um sistema de arquivos compartilhado (útil para aplicações MPI)

h2. Exemplo passo-a-passo

Segue um exemplo completo utilizando o software "Orca". As opções específicas de cada aplicação estão a seguir.

h3. Prepare os arquivos de entrada 

Prepare os arquivos de entrada da aplicação. Nesse caso usaremos nome_do_caso.inp (arquivo do orca).

*IMPORTANTE: NÃO USE ESPAÇOS NOS NOMES*

caso_de_teste.inp

<pre>

! HF SVP

* xyz 0 1

  C 0.0 0.0 0.0

  O 0.0 0.0 1.13

*

</pre>

h3. Prepare o arquivo .go 

caso_de_teste.go

<pre><code class="bash">

APP=orca

QUEUE=short

</code></pre>

h3. Crie um proxy

<pre>

myproxy-logon

</pre>

h3. Submeta a simulação

<pre>

go caso_de_teste.go

</pre>

h3. Verificando o status

Você pode verificar o status com o comando: @condor_q $USER -globus@.

h3. Cancelando a execução

Para interromper uma simulação, utilize o comando: @condor_rm jobid@ , onde _jobid_ é o identificador do job, disponível no arquivo de log ou no comando de status.