Raphael » History » Version 40
Version 39 (Raphael Cóbe, 05 Jun 2013 12:37) → Version 40/45 (Raphael Cóbe, 05 Jun 2013 12:50)
h1. Raphael
h2. 05-06-2013
h3. Executou:
* Leitura Whitepaper OpenFlow:
** http://www.openflow.org/documents/openflow-wp-latest.pdf
h3. Próximas Ações:
* Ler Especificação 1.0 do OpenFlow;
h2. 04-06-2013
h3. Executou:
* Levantamente de features de controladores;
* Criação da tabela no wiki com comparativo de controladores
h3. Próximas Ações:
* Continuar estudo do OpenFlow;
h2. 03-06-2013
h3. Executou:
* Leitura sobre Mininet (walkthrough) e testes:
** http://mininet.org/walkthrough/
* Leituras Introdutórias OpenFlow:
**
h3. Próximas Ações:
* Estudo Controladores OpenFlow;
h2. 28-05-2013
h3. Executou:
* Relatório
h3. Próximas Ações:
* Estudo sobre OpenFlow;
h2. 27-05-2013
h3. Executou:
* Elaboração de Relatório
h3. Próximas Ações:
* Elaboração de Relatório Continuação;
h2. 24-05-2013
h3. Executou:
* Coleta de dados e construção de gráficos de perfomance;
* Criação de wikis com dados coletados;
h3. Próximas Ações:
* Elaboração de Relatório;
h2. 23-05-2013
h3. Executou:
* Modificações ao script de coleta de dados e geração de gráficos:
** Ver log do git para detalhes;
* Leituras sobre gerência de memória no KVM:
** http://www.linux-kvm.org/page/Memory
** FAQ do KVM (http://www.linux-kvm.org/page/FAQ);
* Acompanhamento das threads:
** https://www.redhat.com/archives/rhelv6-list/2011-February/msg00011.html
* Overcommiting de CPUs e Memória:
** http://www.linuxtopia.org/online_books/rhel6/rhel_6_virtualization/rhel_6_virtualization_sect-Virtualization-Tips_and_tricks-Overcommitting_with_KVM.html
h3. Próximas Ações:
* Coletar dados;
h2. 22-05-2013
h3. Executou:
* Resolvido problemas com mpirun;
** Os testes deveriam iniciar consumindo menos memória;
** Máquinas criada com o nova não estavam recebendo hostnames;
*** Hostnames definidos na mão;
*** /etc/hosts alterado na mão;
* Iniciados Testes;
h3. Próximas Ações:
* Coletar dados;
h2. 21-05-2013
h3. Executou:
* Detectados problemas na execução dos teste:
** mpirun alegando problemas de comunicação;
** leituras de referências para resolução do problema;
h3. Próximas Ações:
* Coletar dados;
h2. 20-05-2013
h3. Executou:
* Criação de ambiente de testes:
** 8 Vms em 2 HW (vm8hw2) - Hospedeiras: educloud05 e educloud06 2 cores/vm, 1.25 GB/vm
** 16 Vms em 2 HW (vm16hw2) - Hespedeiras: educloud07 e educloud08 1 core/vm, 0.625 GB/vm
* Inicio dos testes;
h3. Próximas Ações:
* Coletar dados;
h2. 17-05-2013
h3. Executou:
* Coleta de dados:
** 4 Vms em 2 HW (vm4hw2) - Vms: 192.168.100.18 ~ 21 (Hospedeiras: educloud08 e educloud10)4 cores/vm, 2.5 GB/vm
* Criação de Páginas com resultados;
h3. Próximas Ações:
* Criação de ambiente de testes para 8 vms em 2 hw e 16 vm em 2 hw;
h2. 16-05-2013
h3. Executou:
* Coleta de dados:
** 2 Vms em um HW (vm2hw1) - Vms: 192.168.100.3 e 4) (Hospedeira: educloud05) 4 cores/vm, 2.5 GB/vm
** 4 Vms em um HW (vm4hw1) - Vms: 192.168.100.5,7,8,9 (Hospedeira: educloud06) 2 cores/vm, 1.25 GB/vm
** 8 Vms em um HW (vm8hw1) - Vms: 192.168.100.10 ~ 17 (Hospedeira: educloud07) 1 cores/vm, 0.625 GB/vm
* Criação de Páginas com resultados;
h3. Próximas Ações:
* Verificar resultados para 4 Vms em 2 HW (vm4hw2)
h2. 15-05-2013
h3. Executou:
* Criação de ambiente (VMs) e execução de testes:
** 2 Vms em um HW (vm2hw1) - Vms: 192.168.100.3 e 4) (Hospedeira: educloud05) 4 cores/vm, 2.5 GB/vm
** 4 Vms em um HW (vm4hw1) - Vms: 192.168.100.5,7,8,9 (Hospedeira: educloud06) 2 cores/vm, 1.25 GB/vm
** 8 Vms em um HW (vm8hw1) - Vms: 192.168.100.10 ~ 17 (Hospedeira: educloud07) 1 cores/vm, 0.625 GB/vm
** 4 Vms em 2 HW (vm4hw2) - Vms: 192.168.100.18 ~ 21 (Hospedeiras: educloud08 e educloud10)4 cores/vm, 2.5 GB/vm
h3. Próximas Ações:
* Verificar resultados e plotar gráficos
h2. 14-05-2013
h3. Executou:
* Coleta de dados para 8 vms falha pois o SO hospedeiro está ficando sem memória para executar nada.
* Desempenho com 36% de uso de memória: 8 Gflops;
h3. Próximas Ações:
* Verificar possibilidade de criar VMs com menos memória
h2. 13-05-2013
h3. Executou:
* Implementação do script perl para conter a lógica da calculadora (terminado);
** Atualizado script no git;
* Testes executando para 8vms em uma máquina física (uma por core) de 30% a 60% de uso de memória;
h3. Próximas Ações:
* Verificar resultados e plotar gráficos
h2. 10-05-2013
h3. Executou:
* Implementação do script perl para conter a lógica da calculadora;
h3. Próximas Ações:
* Terminar a implementação do script;
* Executar testes com as novas entradas geradas;
h2. 09-05-2013
h3. Executou:
* Execução de testes demorando muito - tamanho N utilizado incompatível com a RAM disponível;
* Testes para descobrir possível valor de porcentagem de memória aceitável para rodar benchmark;
* Máquina roda benchmark com até 55% de uso de memória para tamanho de bloco 248;
h3. Próximas Ações:
* Estudo de cálculo utilizado pelo hpl-calculator;
* Implementação no script perl gerador de entradas a lógica utilizada pela calculadora;
h2. 08-05-2013
h3. Executou:
* Execução de testes;
* Resolução de problemas de comunicação do impi: máquinas não reconheciam seus próprios hostnames;
h3. Próximas Ações:
* Execução de testes;
h2. 07-05-2013
h3. Executou:
* Configuração de ambiente para novos testes:
** Pesquisa sobre como instanciar uma vm numa máquina específica;
** Criação de 8 VMS em educloud05
** Criação de flavor para teste: 1 processador, 750mb de ram;
h3. Próximas Ações:
* Iniciar testes;
h2. 06-05-2013
h3. Executou:
* Definição de calendário de atividades para novo mês;
* Leituras de referências sobre comparativos entre vms e hws reais;
** http://www.loria.fr/~lnussbau/files/linux-virtualization-mls09-slides.pdf
** https://indico.fnal.gov/getFile.py/access?contribId=55&sessionId=80&resId=0&materialId=slides&confId=2012
h3. Próximas Ações:
* Subir ambiente para novos testes;
h2. 03-05-2013
h3. Executou:
* Atualização do Wiki com comparativo:
** [[4 Máquinas Reais Vs 4 Máquinas Virtuais]]
h3. Próximas Ações:
* Estudar parâmetros para otimização do kvm e tentar obter melhores resultados;
h2. 02-05-2013
h3. Executou:
* Confecção do Relatório;
h3. Próximas Ações:
* Atualizar Wiki com comparativo:
** 4vm vs 4hw
h2. 30-04-2013
h3. Executou:
* Confecção do Relatório;
h3. Próximas Ações:
* Atualizar Wiki com comparativo:
** 4vm vs 4hw
h2. 29-04-2013
h3. Executou:
* Atualização da Página do wiki com dados do benchmark para 1vm;
* Atualização de Página wiki com comparativo entre os benchmarks:
** 1vm vs 1hw
* Início do Relatório;
h3. Próximas Ações:
* Relatório;
* Atualizar Wiki com comparativo:
** 4vm vs 4hw
h2. 26-04-2013
h3. Executou:
* Coleta de dados Inicial para 4 vms;
** Resultado inicial em Número de Operações: 2.05980*10^02 GFlops
h3. Próximas Ações:
* Atualizar Página com comparativos:
** 1vm vs 1hw
** 4vm vs 4hw
h2. 25-04-2013
h3. Executou:
* Coleta de dados Inicial para 1 vm;
** Resultado inicial em Número de Operações: 7.63280*10^01 GFlops
* Script de geração de estatísticas comitado para git;
h3. Próximas Ações:
* Coletar dados para 4 vms;
h2. 24-04-2013
h3. Executou:
* Instalação do nova-compute em máquinas;
* Teste Benchmark com uma VM;
* Teste de Benchmark com 4 VMs
h3. Próximas Ações:
* Coletar dados;
h2. 23-04-2013
h3. Executou:
* Criação da Imagem para rodar benchmarks
h3. Próximas Ações:
* Instalação do nova-compute em máquinas;
* Rodar teste com uma VM única e compararar com Hw real;
h2. 22-04-2013
h3. Executou:
* Coleta de dados e filtragem de dados no experimento de 4 máquinas (32 processadores);
* Atualização e reorganização de Página no Wiki com comparativos;
h3. Próximas Ações:
* Instalação do nova-compute em máquinas;
* Rodar teste com uma VM única e compararar com Hw real;
h2. 19-04-2013
h3. Executou:
* Modificação do script para coleta de dados de forma que fique genérico para criação de gráficos
h3. Próximas Ações:
* Coletar resultados para 4 máquinas (32 processadores);
h2. 18-04-2013
h3. Executou:
* Criação de entradas para benchmark;
* Modificação do script run-multi.sh para rodar com todas as possíveis entradas;
h3. Próximas Ações:
* Coletar resultados e plotar gráficos;
h2. 17-04-2013
h3. Executou:
* Script para coleta de dados da execução em uma máquina sem HT;
* Criação de gráficos para apresentar variação do tempo em cada porcentagem de memória;
* Criação de gráficos para apresentar variação do Número de operações em cada porcentagem de memória;
* Criação de gráficos com Número de operações e Tempo para cada porcentagem de uso de memória;
* Descoberta de melhor valor de uso de memória e tamanho de problema:
** 92% de uso de memória;
** Tamanho de problema (NB) em 184;
** Número de Operações: 7.82992*10^01 GFlops;
* Setup do ambiente para execução de testes em mais de uma máquina (ssh sem senha, testes com o mpirun);
h3. Próximas Ações:
* Executar testes para 4 máquinas;
h2. 16-04-2013
h3. Executou:
* Execução de experimentos com processador utilizando HT - 90% de uso de memória;
* Criação de gráfico que compara a execução do benchmark com HT e sem.
* Criação de página no wiki para guardar resultados de benchmarks;
h3. Próximas Ações:
* Encontrar valor otimizado de memória e tamanho de problema para uma única máquina sem HT.
h3. Bloqueio:
* Aguardando benchmark terminar de executar;
h2. 15-04-2013
h3. Executou:
* Script para busca de valores otimizados para tamanho do problema, NB e melhor uso de memória;
h3. Próximas Ações:
* Plotar Gráfico de resultados;
* Criar página no wiki com resultados;
h2. 12-04-2013
h3. Executou:
* Valor otimizado para uso do hpl em nb = 120 (com 90% de uso de memória: 7.66826e+01 GFlops);
* Gráfico de estudo do tempo vs nbs vs gflops
!https://ncc.unesp.br/its/attachments/225/NBvsTimevsGflops.png!
h3. Próximas Ações:
* instalar nova-compute em máquinas;
h2. 11-04-2013
h3. Executou:
* Codificação de script para geração de arquivos .dat de entrada;
* Geração de entradas;
* Script para execução do linpack, jpgando saídas em output/
* Ticket 779 fechado (https://ncc.unesp.br/its/issues/779);
h3. Próximas Ações:
* Verificar valores otimizados para testes;
* Plotar gráfico com dados de saída dos testes;
h2. 10-04-2013
h3. Executou:
* Execução do Procedimento UNESP nas máquinas 04-08;
* Modificação do nfs para rw;
* Teste do Linpack utilizando nfs;
* Desabilitação do ht na educloud05;
h3. Próximas Ações:
* Rodar conjuntos de testes para achar valores otimizados de Ns e NBs
h2. 09-04-2013
h3. Executou:
* Tentativa de compilação do Linpack;
** Utilizando openmpi;
* Testes de execução do linpack com Intel® Math Kernel Library;
* Screen sobre a utilização do Linpack utilizando Intel mpi;
* Leituras sobre o uso da calculadora para HPL.dat (http://hpl-calculator.sourceforge.net/):
** http://ufpr.dl.sourceforge.net/project/hpl-calculator/HPL%20Calculator/HPL-HowTo.pdf
h3. Próximas Ações:
* Completar instalação do ambiente;
* Testar execução do linpack otimizado para intel (fornecido pelo ncc) - em /opt;
h2. 08-04-2013
h3. Executou:
* Leitura sobre Top500
** http://www.top500.org/project/introduction/
** http://www.top500.org/project/linpack/
* Leitura sobre Linpack
** http://www.netlib.org/utk/people/JackDongarra/PAPERS/The-LINPACK-Benchmark-An-Explanation.pdf
** Sobre HPL: http://www.netlib.org/benchmark/hpl/
** http://support.clearspeed.com/resources/documentation/LINPACK_Getting_Started_Manual_Rev1.B.pdf
*** Guia de uso do Linpack
* Sobre a diferença entre LAPACK e LINPACK:
Até onde entendi o LAPACK é uma biblioteca para algebra linear e pode (deve) ser utilizado em um futuro para a substituição de algumas rotinas do problema solucionado pelo LINPACK. A idéia é que o LINPACK foi concebido para rodar nos computadores que eram modernos na época, os Vector CPUS (http://en.wikipedia.org/wiki/Vector_processor). Ao se substituir as rotinas do problema solucionado pelo LINPACK pelo LAPACK o benchmark (ainda o LINPACK) vai poder explorar melhor as arquiteturas modernas baseadas em cache.
* LAPACK vs LINPACK vs EISPACK: http://www.netlib.org/lapack/lug/node10.html.
h2. 03-04-2013
h3. Executou:
* Definição cronograma próxima fase;
* Criação de imagem do ubuntu e upload para Glance;
* Instalação do Cinder;
* Atualização da página do [[Ambiente]] com manual de instalação do Cinder;
h3. Próximas ações:
* Começar estudo Top500.org;
h2. 02-04-2013
h3. Executou:
* Escrita do Relatório
h3. Próximas ações:
* Instalação Cinder;
h2. 01-04-2013
h3. Executou:
* Leituras sobre criação de imagens personalizadas:
** Utilizando o proprio nova: http://docs.openstack.org/trunk/openstack-compute/admin/content/creating-images-from-running-instances.html
** Utilizando o VMBuilder:
*** http://wiki.debian.org/VMBuilder - Criação de imagens debian;
*** Ubuntu Juice (JeOS): https://help.ubuntu.com/12.04/serverguide/jeos-and-vmbuilder.html
*** Usando debootstrap: http://www.diogogomes.com/2012/07/13/debootstrap-kvm-image
* Leitura de QEMU vs KVM:
** http://blog.vmsplice.net/2011/03/should-i-use-qemu-or-kvm.html
h3. Próximas ações:
* Criação de imagem personalizada
h2. 28-03-2013
h3. Executou:
* Instalação do nova;
* Problemas com a documentação http://docs.openstack.org/trunk/openstack-compute/install/apt/content/osfolubuntu-computesevice.html
** O serviço não inicializa, esperando o componente nova-conductor que não está na lista de dependência dos pacotes do nova;
** Leitura sobre o nova-conductor http://russellbryantnet.wordpress.com/2012/11/19/a-new-nova-service-nova-conductor
*** Basicamente nova-conductor é o componente responsável por funcionar como um proxy para o banco de dados, evitando assim que em cenários com múltiplos nova-compute todos façam acesso ao banco de dados. Nós com nova-compute não são considerados seguros.
h3. Próximas ações:
* instalação cinder;
* geração de imagem debian personalizada;
h3. Bloqueio:
* configuração da rede na instalação do nova;
h2. 27-03-2013
h3. Executou:
* Resolução de problema de autenticação no glance + keystone;
** Problemas com a documentação http://docs.openstack.org/trunk/openstack-compute/install/apt/content/osfolubuntu-imageservice.html:
*** Usuário admin não é adicionad a tenant service;
*** Trocar o usuário admin em *-paste.ini de admin para glance;
h3. Próximas ações:
* Instalação nova;
* Instalação cinder;
h2. 26-03-2013
h3. Executou:
* Implementação das configurações de servidor na máquina 00.
* Inicio da implementação do Ambiente na máquina 00.
** instalação do keystone
** instalação do glance
h3. Próximas ações:
* finalizar instalação do glance
* instalação do cinder
h3. Bloqueio:
* glance não faz autenticação no keystone
** Rever http://docs.openstack.org/developer/glance/authentication.html;
** Possivelmente relacionado:
*** https://lists.launchpad.net/openstack/msg21700.html
h2. 25-03-2013
h3. Executou
* Leituras sobre Quantum:
** Instalação e configuração do Quantum-Server;
** Setup de RPC;
** Lista de plugins;
** Comparação Quantum vs nova-network: http://www.gossamer-threads.com/lists/openstack/dev/18373
*** Recomendação de continuar com nova-network para instalação Flat DHCP;
** Integração com Keystone;
*** Criação de Serviço e endpoint;
h3. Próximos passos:
* Definição de arquitetura de rede a ser utilizada pelas máquinas de nova-compute
h2. 21-03-2013
h3. Executou
* Leitura OPS - Guia de operação do openstack;
** Capítulo 1;
** Diferença entre back-end de armazenamento em blocos e em objetos (cinder vs swift);
* Estudo de diferenças entre Cinder e nova-volumes;
** http://docs.openstack.org/trunk/openstack-compute/admin/content/cinder-vs-nova-volumes.html
h3. Próximos Passos:
* Instalaçõa de Máquinas;
h2. 20-03-2013 (presencialmente na Unesp)
h3. Executou
* Configuração BMC da máquina 06;
* Atualização da Bios;
* Atualização Firmware do BMC;
h3. Próximos Passos:
* Estudo Cinder;
* Estudo Quantum
h2. 19-03-2013
h3. Executou
* Leitura Release Notes Openstack Folsom;
** https://wiki.openstack.org/wiki/ReleaseNotes/Folsom;
*Tradução de texto com perguntas sobre TPM/TXT;
h3. Próximos Passos:
* Estudo Cinder;
* Estudo Quantum
h2. 18-03-2013
h3. Executou
* Screen de instalação do nova + nós;
h3. Próximos Passos:
* Screen instalação Horizon
h2. 15-03-2013
h3. Executou
* Screen de instalação do glance;
h3. Próximos Passos:
* Instalação do nova;
h2. 14-03-2013
h3. Executou:
* Screen de instalação do Keystone
h3. Próximos Passos:
* Instalação do Glance;
h2. 13-03-2013
h3. Executou:
* Instalação de SO - 3 Máquinas:
** Sistema Operacional;
** Procedimento UNESP;
h3. Próximos Passos:
* Leitura do documento produzido no Educloud com o procedimento de instalação - [[Ambiente]];
h2. 12-03-2013
h3. Executou:
* Leitura sobre Glance:
** http://docs.openstack.org/developer/glance/installing.html - Instalação;
** http://docs.openstack.org/developer/glance/configuring.html - Configuração (Leitura rápida pra familiarização com Parâmetros);
** http://docs.openstack.org/developer/glance/authentication.html - Integração com o Keystone;
h3. Próximos Passos:
* Leitura do documento produzido no Educloud com o procedimento de instalação - [[Ambiente]];
* Instalação de SO em máquinas - Quarta pela manhã.
h2. 11-03-2013
h3. Executou:
* Leitura de artigo sobre UEFI vs TPM (em especial sobre o secure boot e implementação no Suse.:
** https://www.suse.com/blogs/uefi-secure-boot-overview/
** https://www.suse.com/blogs/uefi-secure-boot-plan/
* Leitura sobre openstack: Keystone:
** http://docs.openstack.org/developer/keystone/architecture.html - Arquitetura;
** http://docs.openstack.org/developer/keystone/installing.html - Instalação;
* Leitura básica sobre devstack
** http://devstack.org/
h3. Próximos Passos:
* Continuar leituras sobre openstack;
h2. 05-06-2013
h3. Executou:
* Leitura Whitepaper OpenFlow:
** http://www.openflow.org/documents/openflow-wp-latest.pdf
h3. Próximas Ações:
* Ler Especificação 1.0 do OpenFlow;
h2. 04-06-2013
h3. Executou:
* Levantamente de features de controladores;
* Criação da tabela no wiki com comparativo de controladores
h3. Próximas Ações:
* Continuar estudo do OpenFlow;
h2. 03-06-2013
h3. Executou:
* Leitura sobre Mininet (walkthrough) e testes:
** http://mininet.org/walkthrough/
* Leituras Introdutórias OpenFlow:
**
h3. Próximas Ações:
* Estudo Controladores OpenFlow;
h2. 28-05-2013
h3. Executou:
* Relatório
h3. Próximas Ações:
* Estudo sobre OpenFlow;
h2. 27-05-2013
h3. Executou:
* Elaboração de Relatório
h3. Próximas Ações:
* Elaboração de Relatório Continuação;
h2. 24-05-2013
h3. Executou:
* Coleta de dados e construção de gráficos de perfomance;
* Criação de wikis com dados coletados;
h3. Próximas Ações:
* Elaboração de Relatório;
h2. 23-05-2013
h3. Executou:
* Modificações ao script de coleta de dados e geração de gráficos:
** Ver log do git para detalhes;
* Leituras sobre gerência de memória no KVM:
** http://www.linux-kvm.org/page/Memory
** FAQ do KVM (http://www.linux-kvm.org/page/FAQ);
* Acompanhamento das threads:
** https://www.redhat.com/archives/rhelv6-list/2011-February/msg00011.html
* Overcommiting de CPUs e Memória:
** http://www.linuxtopia.org/online_books/rhel6/rhel_6_virtualization/rhel_6_virtualization_sect-Virtualization-Tips_and_tricks-Overcommitting_with_KVM.html
h3. Próximas Ações:
* Coletar dados;
h2. 22-05-2013
h3. Executou:
* Resolvido problemas com mpirun;
** Os testes deveriam iniciar consumindo menos memória;
** Máquinas criada com o nova não estavam recebendo hostnames;
*** Hostnames definidos na mão;
*** /etc/hosts alterado na mão;
* Iniciados Testes;
h3. Próximas Ações:
* Coletar dados;
h2. 21-05-2013
h3. Executou:
* Detectados problemas na execução dos teste:
** mpirun alegando problemas de comunicação;
** leituras de referências para resolução do problema;
h3. Próximas Ações:
* Coletar dados;
h2. 20-05-2013
h3. Executou:
* Criação de ambiente de testes:
** 8 Vms em 2 HW (vm8hw2) - Hospedeiras: educloud05 e educloud06 2 cores/vm, 1.25 GB/vm
** 16 Vms em 2 HW (vm16hw2) - Hespedeiras: educloud07 e educloud08 1 core/vm, 0.625 GB/vm
* Inicio dos testes;
h3. Próximas Ações:
* Coletar dados;
h2. 17-05-2013
h3. Executou:
* Coleta de dados:
** 4 Vms em 2 HW (vm4hw2) - Vms: 192.168.100.18 ~ 21 (Hospedeiras: educloud08 e educloud10)4 cores/vm, 2.5 GB/vm
* Criação de Páginas com resultados;
h3. Próximas Ações:
* Criação de ambiente de testes para 8 vms em 2 hw e 16 vm em 2 hw;
h2. 16-05-2013
h3. Executou:
* Coleta de dados:
** 2 Vms em um HW (vm2hw1) - Vms: 192.168.100.3 e 4) (Hospedeira: educloud05) 4 cores/vm, 2.5 GB/vm
** 4 Vms em um HW (vm4hw1) - Vms: 192.168.100.5,7,8,9 (Hospedeira: educloud06) 2 cores/vm, 1.25 GB/vm
** 8 Vms em um HW (vm8hw1) - Vms: 192.168.100.10 ~ 17 (Hospedeira: educloud07) 1 cores/vm, 0.625 GB/vm
* Criação de Páginas com resultados;
h3. Próximas Ações:
* Verificar resultados para 4 Vms em 2 HW (vm4hw2)
h2. 15-05-2013
h3. Executou:
* Criação de ambiente (VMs) e execução de testes:
** 2 Vms em um HW (vm2hw1) - Vms: 192.168.100.3 e 4) (Hospedeira: educloud05) 4 cores/vm, 2.5 GB/vm
** 4 Vms em um HW (vm4hw1) - Vms: 192.168.100.5,7,8,9 (Hospedeira: educloud06) 2 cores/vm, 1.25 GB/vm
** 8 Vms em um HW (vm8hw1) - Vms: 192.168.100.10 ~ 17 (Hospedeira: educloud07) 1 cores/vm, 0.625 GB/vm
** 4 Vms em 2 HW (vm4hw2) - Vms: 192.168.100.18 ~ 21 (Hospedeiras: educloud08 e educloud10)4 cores/vm, 2.5 GB/vm
h3. Próximas Ações:
* Verificar resultados e plotar gráficos
h2. 14-05-2013
h3. Executou:
* Coleta de dados para 8 vms falha pois o SO hospedeiro está ficando sem memória para executar nada.
* Desempenho com 36% de uso de memória: 8 Gflops;
h3. Próximas Ações:
* Verificar possibilidade de criar VMs com menos memória
h2. 13-05-2013
h3. Executou:
* Implementação do script perl para conter a lógica da calculadora (terminado);
** Atualizado script no git;
* Testes executando para 8vms em uma máquina física (uma por core) de 30% a 60% de uso de memória;
h3. Próximas Ações:
* Verificar resultados e plotar gráficos
h2. 10-05-2013
h3. Executou:
* Implementação do script perl para conter a lógica da calculadora;
h3. Próximas Ações:
* Terminar a implementação do script;
* Executar testes com as novas entradas geradas;
h2. 09-05-2013
h3. Executou:
* Execução de testes demorando muito - tamanho N utilizado incompatível com a RAM disponível;
* Testes para descobrir possível valor de porcentagem de memória aceitável para rodar benchmark;
* Máquina roda benchmark com até 55% de uso de memória para tamanho de bloco 248;
h3. Próximas Ações:
* Estudo de cálculo utilizado pelo hpl-calculator;
* Implementação no script perl gerador de entradas a lógica utilizada pela calculadora;
h2. 08-05-2013
h3. Executou:
* Execução de testes;
* Resolução de problemas de comunicação do impi: máquinas não reconheciam seus próprios hostnames;
h3. Próximas Ações:
* Execução de testes;
h2. 07-05-2013
h3. Executou:
* Configuração de ambiente para novos testes:
** Pesquisa sobre como instanciar uma vm numa máquina específica;
** Criação de 8 VMS em educloud05
** Criação de flavor para teste: 1 processador, 750mb de ram;
h3. Próximas Ações:
* Iniciar testes;
h2. 06-05-2013
h3. Executou:
* Definição de calendário de atividades para novo mês;
* Leituras de referências sobre comparativos entre vms e hws reais;
** http://www.loria.fr/~lnussbau/files/linux-virtualization-mls09-slides.pdf
** https://indico.fnal.gov/getFile.py/access?contribId=55&sessionId=80&resId=0&materialId=slides&confId=2012
h3. Próximas Ações:
* Subir ambiente para novos testes;
h2. 03-05-2013
h3. Executou:
* Atualização do Wiki com comparativo:
** [[4 Máquinas Reais Vs 4 Máquinas Virtuais]]
h3. Próximas Ações:
* Estudar parâmetros para otimização do kvm e tentar obter melhores resultados;
h2. 02-05-2013
h3. Executou:
* Confecção do Relatório;
h3. Próximas Ações:
* Atualizar Wiki com comparativo:
** 4vm vs 4hw
h2. 30-04-2013
h3. Executou:
* Confecção do Relatório;
h3. Próximas Ações:
* Atualizar Wiki com comparativo:
** 4vm vs 4hw
h2. 29-04-2013
h3. Executou:
* Atualização da Página do wiki com dados do benchmark para 1vm;
* Atualização de Página wiki com comparativo entre os benchmarks:
** 1vm vs 1hw
* Início do Relatório;
h3. Próximas Ações:
* Relatório;
* Atualizar Wiki com comparativo:
** 4vm vs 4hw
h2. 26-04-2013
h3. Executou:
* Coleta de dados Inicial para 4 vms;
** Resultado inicial em Número de Operações: 2.05980*10^02 GFlops
h3. Próximas Ações:
* Atualizar Página com comparativos:
** 1vm vs 1hw
** 4vm vs 4hw
h2. 25-04-2013
h3. Executou:
* Coleta de dados Inicial para 1 vm;
** Resultado inicial em Número de Operações: 7.63280*10^01 GFlops
* Script de geração de estatísticas comitado para git;
h3. Próximas Ações:
* Coletar dados para 4 vms;
h2. 24-04-2013
h3. Executou:
* Instalação do nova-compute em máquinas;
* Teste Benchmark com uma VM;
* Teste de Benchmark com 4 VMs
h3. Próximas Ações:
* Coletar dados;
h2. 23-04-2013
h3. Executou:
* Criação da Imagem para rodar benchmarks
h3. Próximas Ações:
* Instalação do nova-compute em máquinas;
* Rodar teste com uma VM única e compararar com Hw real;
h2. 22-04-2013
h3. Executou:
* Coleta de dados e filtragem de dados no experimento de 4 máquinas (32 processadores);
* Atualização e reorganização de Página no Wiki com comparativos;
h3. Próximas Ações:
* Instalação do nova-compute em máquinas;
* Rodar teste com uma VM única e compararar com Hw real;
h2. 19-04-2013
h3. Executou:
* Modificação do script para coleta de dados de forma que fique genérico para criação de gráficos
h3. Próximas Ações:
* Coletar resultados para 4 máquinas (32 processadores);
h2. 18-04-2013
h3. Executou:
* Criação de entradas para benchmark;
* Modificação do script run-multi.sh para rodar com todas as possíveis entradas;
h3. Próximas Ações:
* Coletar resultados e plotar gráficos;
h2. 17-04-2013
h3. Executou:
* Script para coleta de dados da execução em uma máquina sem HT;
* Criação de gráficos para apresentar variação do tempo em cada porcentagem de memória;
* Criação de gráficos para apresentar variação do Número de operações em cada porcentagem de memória;
* Criação de gráficos com Número de operações e Tempo para cada porcentagem de uso de memória;
* Descoberta de melhor valor de uso de memória e tamanho de problema:
** 92% de uso de memória;
** Tamanho de problema (NB) em 184;
** Número de Operações: 7.82992*10^01 GFlops;
* Setup do ambiente para execução de testes em mais de uma máquina (ssh sem senha, testes com o mpirun);
h3. Próximas Ações:
* Executar testes para 4 máquinas;
h2. 16-04-2013
h3. Executou:
* Execução de experimentos com processador utilizando HT - 90% de uso de memória;
* Criação de gráfico que compara a execução do benchmark com HT e sem.
* Criação de página no wiki para guardar resultados de benchmarks;
h3. Próximas Ações:
* Encontrar valor otimizado de memória e tamanho de problema para uma única máquina sem HT.
h3. Bloqueio:
* Aguardando benchmark terminar de executar;
h2. 15-04-2013
h3. Executou:
* Script para busca de valores otimizados para tamanho do problema, NB e melhor uso de memória;
h3. Próximas Ações:
* Plotar Gráfico de resultados;
* Criar página no wiki com resultados;
h2. 12-04-2013
h3. Executou:
* Valor otimizado para uso do hpl em nb = 120 (com 90% de uso de memória: 7.66826e+01 GFlops);
* Gráfico de estudo do tempo vs nbs vs gflops
!https://ncc.unesp.br/its/attachments/225/NBvsTimevsGflops.png!
h3. Próximas Ações:
* instalar nova-compute em máquinas;
h2. 11-04-2013
h3. Executou:
* Codificação de script para geração de arquivos .dat de entrada;
* Geração de entradas;
* Script para execução do linpack, jpgando saídas em output/
* Ticket 779 fechado (https://ncc.unesp.br/its/issues/779);
h3. Próximas Ações:
* Verificar valores otimizados para testes;
* Plotar gráfico com dados de saída dos testes;
h2. 10-04-2013
h3. Executou:
* Execução do Procedimento UNESP nas máquinas 04-08;
* Modificação do nfs para rw;
* Teste do Linpack utilizando nfs;
* Desabilitação do ht na educloud05;
h3. Próximas Ações:
* Rodar conjuntos de testes para achar valores otimizados de Ns e NBs
h2. 09-04-2013
h3. Executou:
* Tentativa de compilação do Linpack;
** Utilizando openmpi;
* Testes de execução do linpack com Intel® Math Kernel Library;
* Screen sobre a utilização do Linpack utilizando Intel mpi;
* Leituras sobre o uso da calculadora para HPL.dat (http://hpl-calculator.sourceforge.net/):
** http://ufpr.dl.sourceforge.net/project/hpl-calculator/HPL%20Calculator/HPL-HowTo.pdf
h3. Próximas Ações:
* Completar instalação do ambiente;
* Testar execução do linpack otimizado para intel (fornecido pelo ncc) - em /opt;
h2. 08-04-2013
h3. Executou:
* Leitura sobre Top500
** http://www.top500.org/project/introduction/
** http://www.top500.org/project/linpack/
* Leitura sobre Linpack
** http://www.netlib.org/utk/people/JackDongarra/PAPERS/The-LINPACK-Benchmark-An-Explanation.pdf
** Sobre HPL: http://www.netlib.org/benchmark/hpl/
** http://support.clearspeed.com/resources/documentation/LINPACK_Getting_Started_Manual_Rev1.B.pdf
*** Guia de uso do Linpack
* Sobre a diferença entre LAPACK e LINPACK:
Até onde entendi o LAPACK é uma biblioteca para algebra linear e pode (deve) ser utilizado em um futuro para a substituição de algumas rotinas do problema solucionado pelo LINPACK. A idéia é que o LINPACK foi concebido para rodar nos computadores que eram modernos na época, os Vector CPUS (http://en.wikipedia.org/wiki/Vector_processor). Ao se substituir as rotinas do problema solucionado pelo LINPACK pelo LAPACK o benchmark (ainda o LINPACK) vai poder explorar melhor as arquiteturas modernas baseadas em cache.
* LAPACK vs LINPACK vs EISPACK: http://www.netlib.org/lapack/lug/node10.html.
h2. 03-04-2013
h3. Executou:
* Definição cronograma próxima fase;
* Criação de imagem do ubuntu e upload para Glance;
* Instalação do Cinder;
* Atualização da página do [[Ambiente]] com manual de instalação do Cinder;
h3. Próximas ações:
* Começar estudo Top500.org;
h2. 02-04-2013
h3. Executou:
* Escrita do Relatório
h3. Próximas ações:
* Instalação Cinder;
h2. 01-04-2013
h3. Executou:
* Leituras sobre criação de imagens personalizadas:
** Utilizando o proprio nova: http://docs.openstack.org/trunk/openstack-compute/admin/content/creating-images-from-running-instances.html
** Utilizando o VMBuilder:
*** http://wiki.debian.org/VMBuilder - Criação de imagens debian;
*** Ubuntu Juice (JeOS): https://help.ubuntu.com/12.04/serverguide/jeos-and-vmbuilder.html
*** Usando debootstrap: http://www.diogogomes.com/2012/07/13/debootstrap-kvm-image
* Leitura de QEMU vs KVM:
** http://blog.vmsplice.net/2011/03/should-i-use-qemu-or-kvm.html
h3. Próximas ações:
* Criação de imagem personalizada
h2. 28-03-2013
h3. Executou:
* Instalação do nova;
* Problemas com a documentação http://docs.openstack.org/trunk/openstack-compute/install/apt/content/osfolubuntu-computesevice.html
** O serviço não inicializa, esperando o componente nova-conductor que não está na lista de dependência dos pacotes do nova;
** Leitura sobre o nova-conductor http://russellbryantnet.wordpress.com/2012/11/19/a-new-nova-service-nova-conductor
*** Basicamente nova-conductor é o componente responsável por funcionar como um proxy para o banco de dados, evitando assim que em cenários com múltiplos nova-compute todos façam acesso ao banco de dados. Nós com nova-compute não são considerados seguros.
h3. Próximas ações:
* instalação cinder;
* geração de imagem debian personalizada;
h3. Bloqueio:
* configuração da rede na instalação do nova;
h2. 27-03-2013
h3. Executou:
* Resolução de problema de autenticação no glance + keystone;
** Problemas com a documentação http://docs.openstack.org/trunk/openstack-compute/install/apt/content/osfolubuntu-imageservice.html:
*** Usuário admin não é adicionad a tenant service;
*** Trocar o usuário admin em *-paste.ini de admin para glance;
h3. Próximas ações:
* Instalação nova;
* Instalação cinder;
h2. 26-03-2013
h3. Executou:
* Implementação das configurações de servidor na máquina 00.
* Inicio da implementação do Ambiente na máquina 00.
** instalação do keystone
** instalação do glance
h3. Próximas ações:
* finalizar instalação do glance
* instalação do cinder
h3. Bloqueio:
* glance não faz autenticação no keystone
** Rever http://docs.openstack.org/developer/glance/authentication.html;
** Possivelmente relacionado:
*** https://lists.launchpad.net/openstack/msg21700.html
h2. 25-03-2013
h3. Executou
* Leituras sobre Quantum:
** Instalação e configuração do Quantum-Server;
** Setup de RPC;
** Lista de plugins;
** Comparação Quantum vs nova-network: http://www.gossamer-threads.com/lists/openstack/dev/18373
*** Recomendação de continuar com nova-network para instalação Flat DHCP;
** Integração com Keystone;
*** Criação de Serviço e endpoint;
h3. Próximos passos:
* Definição de arquitetura de rede a ser utilizada pelas máquinas de nova-compute
h2. 21-03-2013
h3. Executou
* Leitura OPS - Guia de operação do openstack;
** Capítulo 1;
** Diferença entre back-end de armazenamento em blocos e em objetos (cinder vs swift);
* Estudo de diferenças entre Cinder e nova-volumes;
** http://docs.openstack.org/trunk/openstack-compute/admin/content/cinder-vs-nova-volumes.html
h3. Próximos Passos:
* Instalaçõa de Máquinas;
h2. 20-03-2013 (presencialmente na Unesp)
h3. Executou
* Configuração BMC da máquina 06;
* Atualização da Bios;
* Atualização Firmware do BMC;
h3. Próximos Passos:
* Estudo Cinder;
* Estudo Quantum
h2. 19-03-2013
h3. Executou
* Leitura Release Notes Openstack Folsom;
** https://wiki.openstack.org/wiki/ReleaseNotes/Folsom;
*Tradução de texto com perguntas sobre TPM/TXT;
h3. Próximos Passos:
* Estudo Cinder;
* Estudo Quantum
h2. 18-03-2013
h3. Executou
* Screen de instalação do nova + nós;
h3. Próximos Passos:
* Screen instalação Horizon
h2. 15-03-2013
h3. Executou
* Screen de instalação do glance;
h3. Próximos Passos:
* Instalação do nova;
h2. 14-03-2013
h3. Executou:
* Screen de instalação do Keystone
h3. Próximos Passos:
* Instalação do Glance;
h2. 13-03-2013
h3. Executou:
* Instalação de SO - 3 Máquinas:
** Sistema Operacional;
** Procedimento UNESP;
h3. Próximos Passos:
* Leitura do documento produzido no Educloud com o procedimento de instalação - [[Ambiente]];
h2. 12-03-2013
h3. Executou:
* Leitura sobre Glance:
** http://docs.openstack.org/developer/glance/installing.html - Instalação;
** http://docs.openstack.org/developer/glance/configuring.html - Configuração (Leitura rápida pra familiarização com Parâmetros);
** http://docs.openstack.org/developer/glance/authentication.html - Integração com o Keystone;
h3. Próximos Passos:
* Leitura do documento produzido no Educloud com o procedimento de instalação - [[Ambiente]];
* Instalação de SO em máquinas - Quarta pela manhã.
h2. 11-03-2013
h3. Executou:
* Leitura de artigo sobre UEFI vs TPM (em especial sobre o secure boot e implementação no Suse.:
** https://www.suse.com/blogs/uefi-secure-boot-overview/
** https://www.suse.com/blogs/uefi-secure-boot-plan/
* Leitura sobre openstack: Keystone:
** http://docs.openstack.org/developer/keystone/architecture.html - Arquitetura;
** http://docs.openstack.org/developer/keystone/installing.html - Instalação;
* Leitura básica sobre devstack
** http://devstack.org/
h3. Próximos Passos:
* Continuar leituras sobre openstack;