Raphael¶

15-05-2013¶

Executou:¶

• Criação de ambiente (VMs) e execução de testes:
  • 2 Vms em um HW (vm2hw1) - Vms: 192.168.100.3 e 4) (Hospedeira: educloud05) 4 cores/vm, 2.5 GB/vm
  • 4 Vms em um HW (vm4hw1) - Vms: 192.168.100.5,7,8,9 (Hospedeira: educloud06) 2 cores/vm, 1.25 GB/vm
  • 8 Vms em um HW (vm8hw1) - Vms: 192.168.100.10 ~ 17 (Hospedeira: educloud07) 1 cores/vm, 0.625 GB/vm
  • 4 Vms em 2 HW (vm4hw2) - Vms: 192.168.100.18 ~ 21 (Hospedeiras: educloud08 e educloud10)4 cores/vm, 2.5 GB/vm

Próximas Ações:¶

• Verificar resultados e plotar gráficos

14-05-2013¶

Executou:¶

• Coleta de dados para 8 vms falha pois o SO hospedeiro está ficando sem memória para executar nada.
• Desempenho com 36% de uso de memória: 8 Gflops;

Próximas Ações:¶

• Verificar possibilidade de criar VMs com menos memória

13-05-2013¶

Executou:¶

• Implementação do script perl para conter a lógica da calculadora (terminado);
  • Atualizado script no git;
• Testes executando para 8vms em uma máquina física (uma por core) de 30% a 60% de uso de memória;

Próximas Ações:¶

• Verificar resultados e plotar gráficos

10-05-2013¶

Executou:¶

• Implementação do script perl para conter a lógica da calculadora;

Próximas Ações:¶

• Terminar a implementação do script;
• Executar testes com as novas entradas geradas;

09-05-2013¶

Executou:¶

• Execução de testes demorando muito - tamanho N utilizado incompatível com a RAM disponível;
• Testes para descobrir possível valor de porcentagem de memória aceitável para rodar benchmark;
• Máquina roda benchmark com até 55% de uso de memória para tamanho de bloco 248;

Próximas Ações:¶

• Estudo de cálculo utilizado pelo hpl-calculator;
• Implementação no script perl gerador de entradas a lógica utilizada pela calculadora;

08-05-2013¶

Executou:¶

• Execução de testes;
• Resolução de problemas de comunicação do impi: máquinas não reconheciam seus próprios hostnames;

Próximas Ações:¶

• Execução de testes;

07-05-2013¶

Executou:¶

• Configuração de ambiente para novos testes:
  • Pesquisa sobre como instanciar uma vm numa máquina específica;
  • Criação de 8 VMS em educloud05
  • Criação de flavor para teste: 1 processador, 750mb de ram;

Próximas Ações:¶

• Iniciar testes;

06-05-2013¶

Executou:¶

• Definição de calendário de atividades para novo mês;
• Leituras de referências sobre comparativos entre vms e hws reais;
  • http://www.loria.fr/~lnussbau/files/linux-virtualization-mls09-slides.pdf
  • https://indico.fnal.gov/getFile.py/access?contribId=55&sessionId=80&resId=0&materialId=slides&confId=2012

Próximas Ações:¶

• Subir ambiente para novos testes;

03-05-2013¶

Executou:¶

• Atualização do Wiki com comparativo:
  • 4 Máquinas Reais Vs 4 Máquinas Virtuais

Próximas Ações:¶

• Estudar parâmetros para otimização do kvm e tentar obter melhores resultados;

02-05-2013¶

Executou:¶

• Confecção do Relatório;

Próximas Ações:¶

• Atualizar Wiki com comparativo:
  • 4vm vs 4hw

30-04-2013¶

Executou:¶

• Confecção do Relatório;

Próximas Ações:¶

• Atualizar Wiki com comparativo:
  • 4vm vs 4hw

29-04-2013¶

Executou:¶

• Atualização da Página do wiki com dados do benchmark para 1vm;
• Atualização de Página wiki com comparativo entre os benchmarks:
  • 1vm vs 1hw
• Início do Relatório;

Próximas Ações:¶

• Relatório;
• Atualizar Wiki com comparativo:
  • 4vm vs 4hw

26-04-2013¶

Executou:¶

• Coleta de dados Inicial para 4 vms;
  • Resultado inicial em Número de Operações: 2.05980*10^02 GFlops

Próximas Ações:¶

• Atualizar Página com comparativos:
  • 1vm vs 1hw
  • 4vm vs 4hw

25-04-2013¶

Executou:¶

• Coleta de dados Inicial para 1 vm;
  • Resultado inicial em Número de Operações: 7.63280*10^01 GFlops
• Script de geração de estatísticas comitado para git;

Próximas Ações:¶

• Coletar dados para 4 vms;

24-04-2013¶

Executou:¶

• Instalação do nova-compute em máquinas;
• Teste Benchmark com uma VM;
• Teste de Benchmark com 4 VMs

Próximas Ações:¶

• Coletar dados;

23-04-2013¶

Executou:¶

• Criação da Imagem para rodar benchmarks

Próximas Ações:¶

• Instalação do nova-compute em máquinas;
• Rodar teste com uma VM única e compararar com Hw real;

22-04-2013¶

Executou:¶

• Coleta de dados e filtragem de dados no experimento de 4 máquinas (32 processadores);
• Atualização e reorganização de Página no Wiki com comparativos;

Próximas Ações:¶

• Instalação do nova-compute em máquinas;
• Rodar teste com uma VM única e compararar com Hw real;

19-04-2013¶

Executou:¶

• Modificação do script para coleta de dados de forma que fique genérico para criação de gráficos

Próximas Ações:¶

• Coletar resultados para 4 máquinas (32 processadores);

18-04-2013¶

Executou:¶

• Criação de entradas para benchmark;
• Modificação do script run-multi.sh para rodar com todas as possíveis entradas;

Próximas Ações:¶

• Coletar resultados e plotar gráficos;

17-04-2013¶

Executou:¶

• Script para coleta de dados da execução em uma máquina sem HT;
• Criação de gráficos para apresentar variação do tempo em cada porcentagem de memória;
• Criação de gráficos para apresentar variação do Número de operações em cada porcentagem de memória;
• Criação de gráficos com Número de operações e Tempo para cada porcentagem de uso de memória;
• Descoberta de melhor valor de uso de memória e tamanho de problema:
  • 92% de uso de memória;
  • Tamanho de problema (NB) em 184;
  • Número de Operações: 7.82992*10^01 GFlops;
• Setup do ambiente para execução de testes em mais de uma máquina (ssh sem senha, testes com o mpirun);

Próximas Ações:¶

• Executar testes para 4 máquinas;

16-04-2013¶

Executou:¶

• Execução de experimentos com processador utilizando HT - 90% de uso de memória;
• Criação de gráfico que compara a execução do benchmark com HT e sem.
• Criação de página no wiki para guardar resultados de benchmarks;

Próximas Ações:¶

• Encontrar valor otimizado de memória e tamanho de problema para uma única máquina sem HT.

Bloqueio:¶

• Aguardando benchmark terminar de executar;

15-04-2013¶

Executou:¶

• Script para busca de valores otimizados para tamanho do problema, NB e melhor uso de memória;

Próximas Ações:¶

• Plotar Gráfico de resultados;
• Criar página no wiki com resultados;

12-04-2013¶

Executou:¶

• Valor otimizado para uso do hpl em nb = 120 (com 90% de uso de memória: 7.66826e+01 GFlops);
• Gráfico de estudo do tempo vs nbs vs gflops
  

Próximas Ações:¶

• instalar nova-compute em máquinas;

11-04-2013¶

Executou:¶

• Codificação de script para geração de arquivos .dat de entrada;
• Geração de entradas;
• Script para execução do linpack, jpgando saídas em output/
• Ticket 779 fechado (https://ncc.unesp.br/its/issues/779);

Próximas Ações:¶

• Verificar valores otimizados para testes;
• Plotar gráfico com dados de saída dos testes;

10-04-2013¶

Executou:¶

• Execução do Procedimento UNESP nas máquinas 04-08;
• Modificação do nfs para rw;
• Teste do Linpack utilizando nfs;
• Desabilitação do ht na educloud05;

Próximas Ações:¶

• Rodar conjuntos de testes para achar valores otimizados de Ns e NBs

09-04-2013¶

Executou:¶

• Tentativa de compilação do Linpack;
  • Utilizando openmpi;
• Testes de execução do linpack com Intel® Math Kernel Library;
• Screen sobre a utilização do Linpack utilizando Intel mpi;
• Leituras sobre o uso da calculadora para HPL.dat (http://hpl-calculator.sourceforge.net/):
  • http://ufpr.dl.sourceforge.net/project/hpl-calculator/HPL%20Calculator/HPL-HowTo.pdf

Próximas Ações:¶

• Completar instalação do ambiente;
• Testar execução do linpack otimizado para intel (fornecido pelo ncc) - em /opt;

08-04-2013¶

Executou:¶

• Leitura sobre Top500
  • http://www.top500.org/project/introduction/
  • http://www.top500.org/project/linpack/
• Leitura sobre Linpack
  • http://www.netlib.org/utk/people/JackDongarra/PAPERS/The-LINPACK-Benchmark-An-Explanation.pdf
  • Sobre HPL: http://www.netlib.org/benchmark/hpl/
  • http://support.clearspeed.com/resources/documentation/LINPACK_Getting_Started_Manual_Rev1.B.pdf
    • Guia de uso do Linpack

• Sobre a diferença entre LAPACK e LINPACK:
  Até onde entendi o LAPACK é uma biblioteca para algebra linear e pode (deve) ser utilizado em um futuro para a substituição de algumas rotinas do problema solucionado pelo LINPACK. A idéia é que o LINPACK foi concebido para rodar nos computadores que eram modernos na época, os Vector CPUS (http://en.wikipedia.org/wiki/Vector_processor). Ao se substituir as rotinas do problema solucionado pelo LINPACK pelo LAPACK o benchmark (ainda o LINPACK) vai poder explorar melhor as arquiteturas modernas baseadas em cache.

• LAPACK vs LINPACK vs EISPACK: http://www.netlib.org/lapack/lug/node10.html.

03-04-2013¶

Executou:¶

• Definição cronograma próxima fase;
• Criação de imagem do ubuntu e upload para Glance;
• Instalação do Cinder;
• Atualização da página do Ambiente com manual de instalação do Cinder;

Próximas ações:¶

• Começar estudo Top500.org;

02-04-2013¶

Executou:¶

• Escrita do Relatório

Próximas ações:¶

• Instalação Cinder;

01-04-2013¶

Executou:¶

• Leituras sobre criação de imagens personalizadas:
  • Utilizando o proprio nova: http://docs.openstack.org/trunk/openstack-compute/admin/content/creating-images-from-running-instances.html
  • Utilizando o VMBuilder:
    • http://wiki.debian.org/VMBuilder - Criação de imagens debian;
    • Ubuntu Juice (JeOS): https://help.ubuntu.com/12.04/serverguide/jeos-and-vmbuilder.html
    • Usando debootstrap: http://www.diogogomes.com/2012/07/13/debootstrap-kvm-image
• Leitura de QEMU vs KVM:
  • http://blog.vmsplice.net/2011/03/should-i-use-qemu-or-kvm.html

Próximas ações:¶

• Criação de imagem personalizada

28-03-2013¶

Executou:¶

• Instalação do nova;
• Problemas com a documentação http://docs.openstack.org/trunk/openstack-compute/install/apt/content/osfolubuntu-computesevice.html
  • O serviço não inicializa, esperando o componente nova-conductor que não está na lista de dependência dos pacotes do nova;
  • Leitura sobre o nova-conductor http://russellbryantnet.wordpress.com/2012/11/19/a-new-nova-service-nova-conductor
    • Basicamente nova-conductor é o componente responsável por funcionar como um proxy para o banco de dados, evitando assim que em cenários com múltiplos nova-compute todos façam acesso ao banco de dados. Nós com nova-compute não são considerados seguros.

Próximas ações:¶

• instalação cinder;
• geração de imagem debian personalizada;

Bloqueio:¶

• configuração da rede na instalação do nova;

27-03-2013¶

Executou:¶

• Resolução de problema de autenticação no glance + keystone;
  • Problemas com a documentação http://docs.openstack.org/trunk/openstack-compute/install/apt/content/osfolubuntu-imageservice.html:
    • Usuário admin não é adicionad a tenant service;
    • Trocar o usuário admin em *-paste.ini de admin para glance;

Próximas ações:¶

• Instalação nova;
• Instalação cinder;

26-03-2013¶

Executou:¶

• Implementação das configurações de servidor na máquina 00.
• Inicio da implementação do Ambiente na máquina 00.
  • instalação do keystone
  • instalação do glance

Próximas ações:¶

• finalizar instalação do glance
• instalação do cinder

Bloqueio:¶

• glance não faz autenticação no keystone
  • Rever http://docs.openstack.org/developer/glance/authentication.html;
  • Possivelmente relacionado:
    • https://lists.launchpad.net/openstack/msg21700.html

25-03-2013¶

Executou¶

• Leituras sobre Quantum:
  • Instalação e configuração do Quantum-Server;
  • Setup de RPC;
  • Lista de plugins;
  • Comparação Quantum vs nova-network: http://www.gossamer-threads.com/lists/openstack/dev/18373
    • Recomendação de continuar com nova-network para instalação Flat DHCP;
  • Integração com Keystone;
    • Criação de Serviço e endpoint;

Próximos passos:

• Definição de arquitetura de rede a ser utilizada pelas máquinas de nova-compute

21-03-2013¶

Executou¶

• Leitura OPS - Guia de operação do openstack;
  • Capítulo 1;
  • Diferença entre back-end de armazenamento em blocos e em objetos (cinder vs swift);
• Estudo de diferenças entre Cinder e nova-volumes;
  • http://docs.openstack.org/trunk/openstack-compute/admin/content/cinder-vs-nova-volumes.html

Próximos Passos:

• Instalaçõa de Máquinas;

20-03-2013 (presencialmente na Unesp)¶

Executou

• Configuração BMC da máquina 06;
• Atualização da Bios;
• Atualização Firmware do BMC;

Próximos Passos:

• Estudo Cinder;
• Estudo Quantum

19-03-2013¶

Executou¶

• Leitura Release Notes Openstack Folsom;
  • https://wiki.openstack.org/wiki/ReleaseNotes/Folsom;
    *Tradução de texto com perguntas sobre TPM/TXT;

Próximos Passos:

• Estudo Cinder;
• Estudo Quantum

18-03-2013¶

Executou

• Screen de instalação do nova + nós;

Próximos Passos:

• Screen instalação Horizon

15-03-2013¶

Executou

• Screen de instalação do glance;

Próximos Passos:

• Instalação do nova;

14-03-2013¶

Executou:

• Screen de instalação do Keystone

Próximos Passos:

• Instalação do Glance;

13-03-2013¶

Executou:

• Instalação de SO - 3 Máquinas:
  • Sistema Operacional;
  • Procedimento UNESP;

Próximos Passos:

• Leitura do documento produzido no Educloud com o procedimento de instalação - Ambiente;

12-03-2013¶

Executou:

• Leitura sobre Glance:
  • http://docs.openstack.org/developer/glance/installing.html - Instalação;
  • http://docs.openstack.org/developer/glance/configuring.html - Configuração (Leitura rápida pra familiarização com Parâmetros);
  • http://docs.openstack.org/developer/glance/authentication.html - Integração com o Keystone;

Próximos Passos:

• Leitura do documento produzido no Educloud com o procedimento de instalação - Ambiente;
• Instalação de SO em máquinas - Quarta pela manhã.

11-03-2013¶

Executou:

• Leitura de artigo sobre UEFI vs TPM (em especial sobre o secure boot e implementação no Suse.:
  • https://www.suse.com/blogs/uefi-secure-boot-overview/
  • https://www.suse.com/blogs/uefi-secure-boot-plan/
• Leitura sobre openstack: Keystone:
  • http://docs.openstack.org/developer/keystone/architecture.html - Arquitetura;
  • http://docs.openstack.org/developer/keystone/installing.html - Instalação;
• Leitura básica sobre devstack
  • http://devstack.org/

Próximos Passos:

• Continuar leituras sobre openstack;