Como transferir arquivos

A transferência de arquivos é feita pelo protocolo SCP ou SFTP.

Seja para enviar os arquivos de entrada ou para baixar os arquivos de saída, você deve utilizar o seu diretório home para essa transferência. Exemplo: /home/**username**.

Transferindo com uma máquina Linux/Unix/MacOS

Sistemas baseados em Unix possuem nativamente o utilitário de linha de comando scp. Caso você não possua este comando, você deverá instalar utilizando o sistema de repositórios do seu Sistema Operacional.

O Exemplo abaixo irá copiar o arquivo test.data do seu computador local para o seu home na máquina access.grid.unesp.br. Observe os dois pontos no final do comando:

$ scp test.data username@access.grid.unesp.br:

No seguinte exemplo, o comando scp irá executar a operação inversa: copiar o arquivo test.data da máquina access para o seu diretorio corrente no computador local. Observe o ponto no final do comando, indicicando o diretório de destino:

$ scp username@access.grid.unesp.br:test.data .

Também é possível utilizar algum utilitário gráfico para a transferência. Alguns exemplos:

Transferindo com uma máquina Windows

No Windows também é necessário um programa especial para as transferências. A sugestão é utilizar o WinSCP. Outra opção é o SSH Secure Shell Client, que já contém um programa para transferências.

Backup e uso consciente

Atenção!!: O GridUnesp não efetua backup em nenhum dos pontos de montagem. Você é o único responsável por salvar seus arquivos em um lugar seguro.

Não utilizamos política de quotas para nenhum dos pontos de montagem. Tenha em mente que o sistema é utilizado por outros usuários. Matenha sempre o seu /home/ limpo, guardando apenas os arquivos necessários para a execução atual.

Informações sobre o Storage

O GridUnesp possui vários storages para armazenar seus arquivos, sejam eles de entrada, saída ou temporários (gerados durante o processamento do seu job). Durante a execução do seu job, seu programa poderá manipular arquivos localizados em diferentes pontos de montagem. É fundamental que você entenda cada um deles.

Abaixo a lista dos pontos de montagens seguido do seu tamanho e escopo de acesso:

Ponto de Montagem Tamanho Escopo
/tmp Entre 59 e 187 GB Local
/store 32 TB Nós em execução
/home 40 TB Cluster Inteiro
/tmp
Utilizado para salvar arquivos temporários durante a execução do seu job. Este diretório é o menor de todos (entre 59 e 187 GB) e é diferente para cada nó do cluster. Ou seja, se o seu job está executando em 2 ou mais nós, cada processo irá acessar um /tmp diferente. Não há compartilhamento entre os /tmp de diferentes nós. Use o /store em caso de processos con múltiplos nós (ex: MPI);
/store
Caso o diretório temporário não seja suficiente, devido ao seu tamanho limitado ou ao seu escopo, você poderá salvar seus arquivos temporários no diretório /store. Este possui um escopo maior, sendo visível por todos os nós em que o seu job está em execução. Seu espaço também é maior, contendo, atualmente, 32 TB;
/home
Este é o único ponto de montagem acessível pela máquina de acesso (access.grid.unesp.br). Você deve colocar aqui seus arquivos de entrada, assim como, salvar seus arquivos finais de saída.

Em resumo:

  • Use o /home para transferir arquivos do seu computador para o GridUnesp
  • Para executar as simulações, utilize o /tmp ou /store
  • Para facilitar o uso do /tmp ou /store você pode usar o Script goo-job-nanny.