Problema #445
Job em Held (globus error 156)
| Status: | Resolvida | Start date: | 14 Feb 2012 | |
|---|---|---|---|---|
| Priority: | Imediata | Due date: | ||
| Assignee: | Gabriel Winckler | % Done: | 0% | |
| Category: | - | |||
| Target version: | - |
Description
Uma série de jobs do usuário Vinícius falhou com o erro 156.
Após uma investigação nos logs, concluí que houve um erro na comunicação entre a Access e a CE do cluster central.
Como houveram intermitências na rede nesse período, um hipótese seria uma falha em alguma consulta DNS ou equivalente.
Para liberar os jobs, utilizei o seguinte procedimento:
condor_qedit vinicius GlobusResubmit True condor_release vinicius
Os jobs estão em execução nesse momento.
History
#1 Updated by Gabriel Winckler over 14 years ago
O problema ocorreu novamente.
Limpei o home do usuário, que continha muitos diretórios gram_scratch, sem sucesso.
Continuando a investigação, descobri que o job_manager do usuário estava rodando na CE, mesmo sem nenhum job na fila, o que não deveria acontecer.
Matei o processo e reenviei os jobs. Um novo job manager foi criado automaticamente e o funcionamento se normalizou.
Isso indica que o job_manager começou a responder incorretamente, possivelmente por algum race condition.
Esse bug provavelmente foi introduzido nas novas versões do Globus.
Nesse momento não tomarei nenhuma outra ação, mas esse erro possivelmente deve se repetir. Nesse caso devemos vasculhar o bugzila do globus e eventualmente abrir um ticket.