Versão Final » History » Version 15
Version 14 (Beraldo Leal, 30 Apr 2012 18:11) → Version 15/49 (Beraldo Leal, 30 Apr 2012 18:12)
h1. Ciclo 2 - Relatório final
h2. Resumo
O conceito de computação em nuvem (em inglês, cloud computing) refere-se à utilização da memória, capacidade de armazenamento e poder computacional dos computadores interligados por meio da Internet, seguindo o princípio da computação em grade. Com a subutilização destes recursos computacionais em equipamentos modernos, surgiu a necessidade de compartilhar recursos de forma isolada, tornando assim uma máquina física em várias máquinas virtuais, cada uma servindo para um determinado propósito e com seus recursos bem definidos, tentando obter o máximo de aproveitamento dos recursos computacionais.
Prover uma infraestrutura de máquinas virtuais para clientes de forma escalável é hoje uma necessidade mundial e um desafio tecnológico. Este relatório tem por objetivo exibir as características e requisitos necessários para instalar e configurar uma infraestrutura de Cloud para prover máquinas virtuais aos usuários do projeto EduCloud.
h2. Introdução
O projeto EduCloud é uma iniciativa da Universidade Estadual Paulista - UNESP, em parceria com a secretaria de educação do estado de São Paulo, Intel e ACCEPT. Esta iniciativa visa fornecer uma infraestrutura de computação em nuvem para hospedar sistemas de apoio ao ensino para as Universidades e Escolas públicas do Brasil.
A maior vantagem da computação em nuvem é a possibilidade de utilizar softwares sem que estes estejam instalados no computador. Mas há outras vantagens[1]:
* na maioria das vezes o usuário não precisa se preocupar com o sistema operacional e hardware que está usando em seu computador pessoal, podendo acessar seus dados na "nuvem computacional" independentemente disso;
* as atualizações dos softwares são feitas de forma automática, sem necessidade de intervenção do usuário;
* o trabalho corporativo e o compartilhamento de arquivos se tornam mais fáceis, uma vez que todas as informações se encontram no mesmo "lugar", ou seja, na "nuvem computacional";
* os softwares e os dados podem ser acessados em qualquer lugar, bastando que haja acesso à Internet, não estando mais restritos ao ambiente local de computação, nem dependendo da sincronização de mídias removíveis.
* o usuário tem um melhor controle de gastos ao usar aplicativos, pois a maioria dos sistemas de computação em nuvem fornece aplicações gratuitamente e, quando não gratuitas, são pagas somente pelo tempo de utilização dos recursos. Não é necessário pagar por uma licença integral de uso de software;
* diminui a necessidade de manutenção da infraestrutura física de redes locais cliente/servidor, bem como da instalação dos softwares nos computadores corporativos, pois esta fica a cargo do provedor do software em nuvem, bastando que os computadores clientes tenham acesso à Internet;
* a infraestrutura necessária para uma solução de cloud computing é bem mais enxuta do que uma solução tradicional de hosting ou collocation, consumindo menos energia, refrigeração e espaço físico e consequentemente contribuindo para preservação e uso racional dos recursos naturais.
Para implementar uma infraestrutura de nuvem, o Núcleo de Computação Ciêntifica - NCC, da UNESP pesquisou as principais ferramentas livres[2] do mercado para que juntas, executem esta tarefa.
Para prover uma infraestrutura de nuvem, precisamos atender as seguintes necessidades:
# Disponibilizar máquinas virtuais de acordo com a demanda de forma automática e rápida, com diferentes configurações de memória, disco e cpu;
# Disponibilizar para estas máquinas virtuais, unidades de armazenamento de dados;
# Ter um controle de acesso de usuários e grupos que podem utilizar estes recursos, bem como, uma "quota" de recursos por usuário/grupo;
# Armezar as máquinas virtuais e os dados de forma descentralizada, permitindo assim escalar facilmente;
Alguns softwares existem para suprir estas necessidades. No capítulo 1 falaremos sobre o projeto OpenStack[3], responsável por disponibilizar uma infraestrutura de máquinas virtuais e unidades de armazenamento para as máquinas virtuais. No capítulo 2 falaremos sobre o projeto Hadoop[4], responsável por *[preencher aqui]*. No capítulo 5, falaremos sobre os balanceadores de conexões e de máquinas virtuais, fundamental para balancear a carga da nuvem entre os nós "workers", no capítulo 6 falaremos sobre o OCCI[5], uma interface de comunicação entre os serviços de cloud.
h2. OpenStack
O OpenStack é uma coleção de projetos "open source" que servem para executar uma infraestrutura de computação em nuvem e armazenamento distribuído. A empresa Rackspace[6] e a NASA[7] são os principais contribuidores do conjunto de projetos. Hoje o consórsio possui mais de 100 membros, dentre as principais temos: rackspace, AT&T, NASA, DreamHost, Safew Labs, Citrix, Dell, AMD, Intel, Canonical, Yahoo e HP. O projeto mantém uma página[8] com uma lista dos principais contribuidores do projeto.
No OpenStack, existem 3 principais componentes:
* Compute Infrastructure (Nova)
Nova é um controlador de poder computacional para o OpenStack. Todas as atividades necessárias durante o ciclo de vida de uma instância (uma máquina virtual sendo executada) com o OpenStack são gerenciadas pelo Nova. Isto faz do Nova uma plataforma de gerenciamento que gerencia recursos computacionais, rede, autorização e escabilidade. O Nova não provê nenhuma funcionalidade de virtualização por si só; ele usa a interface libvirt[9] para interagir com os hypervisors[10] suportados.
* Storage Infrastructure (Swift)
O Swift provê um armazenamento para os objetos (dados) de forma distribuída. Ele é análogo ao serviço da Amazon: Simple Storage Service (S3)[11]. O Swift é capaz de armazenar bilhões de objetos distribuindos entre os nós. Ele possui um mecanismo de redundância e failover e é capaz de armazenar e transmitir os dados. É extremamente escalável em termos de tamanho (petabytes) e capacidade (número de objetos).
* Imaging Service (Glance)
O Glance é um sistema de busca e recuperação de imagens de máquinas virtuais. Ele é responsável por gerenciar as imagens das máquinas virtuais, mas armazena elas no sistema de arquivos local ou via o OpenStack Object Store - Swift.
Outros componentes, como um front end web (Horizon) e um serviço de autenticação (keystone), também fazem parte do projeto. O OpenStack está disponível no site do projeto[10] e está dispobilizado sobre a licença Apache[11].
O OpenStack atende as necessidades do projeto EduCloud por se tratar de um conjunto de ferramentas que permitem montar uma infra estrutura de cloud utilizando ferramentas livres. Cada subprojeto do OpenStack tem suas próprias caracterias, mas de modo geral as principais vantagens do openstack são:
* Comunidade ativa;
* Licenca Livre;
* API com suporte a REST nativo;
* Projeto com apoio de grande empresas;
* API com "rate limite";
* VNC proxy via web browser;
As principais desvantagens são:
* Documentação dispersa;
* Muitos subprojetos;
* Difícil de implementar;
h3. Requisitos de hardware
O OpenStack é uma infraestrutura complexa que exige um conjunto mínimo de algumas máquinas. Embora uma única máquina pode ser utilizada para fins de desenvolvimento, os requisitos mínimos para um ambiente de produção exige uma quantidade maior de máquinas.
As recomendações de hardware foram retiradas do site do projeto OpenStack[11]. Abaixo temos 3 propostas de arquiteturas para o projeto EduCloud, com suas respectivas configurações:
h4. Arquitetura proposta - mínima
!https://ncc.unesp.br/its/attachments/189/openstack_small.png!
Nesta arquitetura proposta, temos as seguintes máquinas:
* 05 Computer Nodes;
* 03 Storage Nodes;
* 04 Standard Servers (Storage Proxy, Nova Server, API Server e Network Controller)
* 04 Switches 10 GBoE;
Com as seguintes configurações:
* Computer Nodes: 2 x 64 bits QuadCore x86 CPU with HT support | 16 GB RAM | 2 x 2TB SATA | 2 x 10GBoE NICs
* Storage Nodes: 2 x 64 bits QuadCore x86 CPU with HT support | 16 GB RAM | 24 2T SATA | 2 x 10GBoE NICs
* Standard Servers: 2 x 64 bits QuadCore x86 CPU with HT support | 16 GB RAM | 2 x 2TB SATA | 2 x 10GBoE NICs
h4. Arquitetura proposta - caso médio
!https://ncc.unesp.br/its/attachments/190/openstack_medium.png!
Nesta arquitetura proposta, temos as seguintes máquinas:
* 10 Computer Nodes;
* 05 Storage Nodes;
* 08 Standard Servers (Storage Proxy, Nova Server, API Server, Network Controller, VPN, etc..)
* 04 Switches 10 GBoE;
Com as seguintes configurações:
* Computer Nodes: 2 x 64 bits QuadCore x86 CPU with HT support | 32 GB RAM | 2 x 2TB SATA | 2 x 10GBoE NICs
* Storage Nodes: 2 x 64 bits QuadCore x86 CPU with HT support | 32 GB RAM | 24 2T SATA | 2 x 10GBoE NICs
* Standard Servers: 2 x 64 bits QuadCore x86 CPU with HT support | 32 GB RAM | 2 x 2TB SATA | 2 x 10GBoE NICs
h4. Arquitetura proposta - melhor caso
!https://ncc.unesp.br/its/attachments/191/openstack_big.png!
Nesta arquitetura proposta, temos as seguintes máquinas:
* 20 10 Computer Nodes;
* 10 05 Storage Nodes;
* 08 Standard Servers (Storage Proxy, Nova Server, API Server, Network Controller, VPN, etc..)
* 08 04 Switches 10 GBoE;
Com as seguintes configurações:
* Computer Nodes: 2 x 64 bits QuadCore x86 CPU with HT support | 32 GB RAM | 2 x 2TB SATA | 2 x 10GBoE NICs
* Storage Nodes: 2 x 64 bits QuadCore x86 CPU with HT support | 32 GB RAM | 24 2T SATA | 2 x 10GBoE NICs
* Standard Servers: 2 x 64 bits QuadCore x86 CPU with HT support | 32 GB RAM | 2 x 2TB SATA | 2 x 10GBoE NICs
h3. Tecnologias alternativas
Várias tecnologias podem ser utilizadas para provêr uma infraestrutura de máquinas virtuais. Algumas delas na forma de solução livre, podendo ser instalada em infraestrutura própria, e outras na forma de serviço web, sendo executada na infraestrutura da empresa que a provê.
Entre as tecnologias livres mais conhecidas, temos:
# abiquo (Sua versão community);
# nimbus;
# openstack;
# opennebula;
# eucalyptus;
Entre as tecnologias funcionando como serviço web, temos:
# Amazon Web Service;
# Linode;
# Rackspace;
# Gogrid;
Estas são apenas as principais alternativas que atendem os requisitos do projeto, levando em consideração popularidade, quantidade de downloads/mês e nível de maturidade do projeto.
h2. Referências
# "O que é computação em nuvem?":http://www.infowester.com/cloudcomputing.php
# "Definição de software livre":http://www.gnu.org/philosophy/free-sw.html
# http://www.gnu.org/philosophy/free-sw.html
# "Projeto Hadoop":http://hadoop.apache.org/
# "Open Cloud Compute Interface - OCCI":http://occi-wg.org/
# "Rackspace":http://rackspace.com/
# "Nasa":http://www.nasa.gov/
# "OpenStack - Empresas Participantes":http://www.openstack.org/community/companies/
# "The virtualization API":http://libvirt.org/
# "Hypervisor":http://en.wikipedia.org/wiki/Hypervisor
# "Projeto OpenStack":http://openstack.org/
# "Apache License":http://www.apache.org/licenses/LICENSE-2.0
# "Amazon Simple Storage Service":http://aws.amazon.com/s3/
h2. Resumo
O conceito de computação em nuvem (em inglês, cloud computing) refere-se à utilização da memória, capacidade de armazenamento e poder computacional dos computadores interligados por meio da Internet, seguindo o princípio da computação em grade. Com a subutilização destes recursos computacionais em equipamentos modernos, surgiu a necessidade de compartilhar recursos de forma isolada, tornando assim uma máquina física em várias máquinas virtuais, cada uma servindo para um determinado propósito e com seus recursos bem definidos, tentando obter o máximo de aproveitamento dos recursos computacionais.
Prover uma infraestrutura de máquinas virtuais para clientes de forma escalável é hoje uma necessidade mundial e um desafio tecnológico. Este relatório tem por objetivo exibir as características e requisitos necessários para instalar e configurar uma infraestrutura de Cloud para prover máquinas virtuais aos usuários do projeto EduCloud.
h2. Introdução
O projeto EduCloud é uma iniciativa da Universidade Estadual Paulista - UNESP, em parceria com a secretaria de educação do estado de São Paulo, Intel e ACCEPT. Esta iniciativa visa fornecer uma infraestrutura de computação em nuvem para hospedar sistemas de apoio ao ensino para as Universidades e Escolas públicas do Brasil.
A maior vantagem da computação em nuvem é a possibilidade de utilizar softwares sem que estes estejam instalados no computador. Mas há outras vantagens[1]:
* na maioria das vezes o usuário não precisa se preocupar com o sistema operacional e hardware que está usando em seu computador pessoal, podendo acessar seus dados na "nuvem computacional" independentemente disso;
* as atualizações dos softwares são feitas de forma automática, sem necessidade de intervenção do usuário;
* o trabalho corporativo e o compartilhamento de arquivos se tornam mais fáceis, uma vez que todas as informações se encontram no mesmo "lugar", ou seja, na "nuvem computacional";
* os softwares e os dados podem ser acessados em qualquer lugar, bastando que haja acesso à Internet, não estando mais restritos ao ambiente local de computação, nem dependendo da sincronização de mídias removíveis.
* o usuário tem um melhor controle de gastos ao usar aplicativos, pois a maioria dos sistemas de computação em nuvem fornece aplicações gratuitamente e, quando não gratuitas, são pagas somente pelo tempo de utilização dos recursos. Não é necessário pagar por uma licença integral de uso de software;
* diminui a necessidade de manutenção da infraestrutura física de redes locais cliente/servidor, bem como da instalação dos softwares nos computadores corporativos, pois esta fica a cargo do provedor do software em nuvem, bastando que os computadores clientes tenham acesso à Internet;
* a infraestrutura necessária para uma solução de cloud computing é bem mais enxuta do que uma solução tradicional de hosting ou collocation, consumindo menos energia, refrigeração e espaço físico e consequentemente contribuindo para preservação e uso racional dos recursos naturais.
Para implementar uma infraestrutura de nuvem, o Núcleo de Computação Ciêntifica - NCC, da UNESP pesquisou as principais ferramentas livres[2] do mercado para que juntas, executem esta tarefa.
Para prover uma infraestrutura de nuvem, precisamos atender as seguintes necessidades:
# Disponibilizar máquinas virtuais de acordo com a demanda de forma automática e rápida, com diferentes configurações de memória, disco e cpu;
# Disponibilizar para estas máquinas virtuais, unidades de armazenamento de dados;
# Ter um controle de acesso de usuários e grupos que podem utilizar estes recursos, bem como, uma "quota" de recursos por usuário/grupo;
# Armezar as máquinas virtuais e os dados de forma descentralizada, permitindo assim escalar facilmente;
Alguns softwares existem para suprir estas necessidades. No capítulo 1 falaremos sobre o projeto OpenStack[3], responsável por disponibilizar uma infraestrutura de máquinas virtuais e unidades de armazenamento para as máquinas virtuais. No capítulo 2 falaremos sobre o projeto Hadoop[4], responsável por *[preencher aqui]*. No capítulo 5, falaremos sobre os balanceadores de conexões e de máquinas virtuais, fundamental para balancear a carga da nuvem entre os nós "workers", no capítulo 6 falaremos sobre o OCCI[5], uma interface de comunicação entre os serviços de cloud.
h2. OpenStack
O OpenStack é uma coleção de projetos "open source" que servem para executar uma infraestrutura de computação em nuvem e armazenamento distribuído. A empresa Rackspace[6] e a NASA[7] são os principais contribuidores do conjunto de projetos. Hoje o consórsio possui mais de 100 membros, dentre as principais temos: rackspace, AT&T, NASA, DreamHost, Safew Labs, Citrix, Dell, AMD, Intel, Canonical, Yahoo e HP. O projeto mantém uma página[8] com uma lista dos principais contribuidores do projeto.
No OpenStack, existem 3 principais componentes:
* Compute Infrastructure (Nova)
Nova é um controlador de poder computacional para o OpenStack. Todas as atividades necessárias durante o ciclo de vida de uma instância (uma máquina virtual sendo executada) com o OpenStack são gerenciadas pelo Nova. Isto faz do Nova uma plataforma de gerenciamento que gerencia recursos computacionais, rede, autorização e escabilidade. O Nova não provê nenhuma funcionalidade de virtualização por si só; ele usa a interface libvirt[9] para interagir com os hypervisors[10] suportados.
* Storage Infrastructure (Swift)
O Swift provê um armazenamento para os objetos (dados) de forma distribuída. Ele é análogo ao serviço da Amazon: Simple Storage Service (S3)[11]. O Swift é capaz de armazenar bilhões de objetos distribuindos entre os nós. Ele possui um mecanismo de redundância e failover e é capaz de armazenar e transmitir os dados. É extremamente escalável em termos de tamanho (petabytes) e capacidade (número de objetos).
* Imaging Service (Glance)
O Glance é um sistema de busca e recuperação de imagens de máquinas virtuais. Ele é responsável por gerenciar as imagens das máquinas virtuais, mas armazena elas no sistema de arquivos local ou via o OpenStack Object Store - Swift.
Outros componentes, como um front end web (Horizon) e um serviço de autenticação (keystone), também fazem parte do projeto. O OpenStack está disponível no site do projeto[10] e está dispobilizado sobre a licença Apache[11].
O OpenStack atende as necessidades do projeto EduCloud por se tratar de um conjunto de ferramentas que permitem montar uma infra estrutura de cloud utilizando ferramentas livres. Cada subprojeto do OpenStack tem suas próprias caracterias, mas de modo geral as principais vantagens do openstack são:
* Comunidade ativa;
* Licenca Livre;
* API com suporte a REST nativo;
* Projeto com apoio de grande empresas;
* API com "rate limite";
* VNC proxy via web browser;
As principais desvantagens são:
* Documentação dispersa;
* Muitos subprojetos;
* Difícil de implementar;
h3. Requisitos de hardware
O OpenStack é uma infraestrutura complexa que exige um conjunto mínimo de algumas máquinas. Embora uma única máquina pode ser utilizada para fins de desenvolvimento, os requisitos mínimos para um ambiente de produção exige uma quantidade maior de máquinas.
As recomendações de hardware foram retiradas do site do projeto OpenStack[11]. Abaixo temos 3 propostas de arquiteturas para o projeto EduCloud, com suas respectivas configurações:
h4. Arquitetura proposta - mínima
!https://ncc.unesp.br/its/attachments/189/openstack_small.png!
Nesta arquitetura proposta, temos as seguintes máquinas:
* 05 Computer Nodes;
* 03 Storage Nodes;
* 04 Standard Servers (Storage Proxy, Nova Server, API Server e Network Controller)
* 04 Switches 10 GBoE;
Com as seguintes configurações:
* Computer Nodes: 2 x 64 bits QuadCore x86 CPU with HT support | 16 GB RAM | 2 x 2TB SATA | 2 x 10GBoE NICs
* Storage Nodes: 2 x 64 bits QuadCore x86 CPU with HT support | 16 GB RAM | 24 2T SATA | 2 x 10GBoE NICs
* Standard Servers: 2 x 64 bits QuadCore x86 CPU with HT support | 16 GB RAM | 2 x 2TB SATA | 2 x 10GBoE NICs
h4. Arquitetura proposta - caso médio
!https://ncc.unesp.br/its/attachments/190/openstack_medium.png!
Nesta arquitetura proposta, temos as seguintes máquinas:
* 10 Computer Nodes;
* 05 Storage Nodes;
* 08 Standard Servers (Storage Proxy, Nova Server, API Server, Network Controller, VPN, etc..)
* 04 Switches 10 GBoE;
Com as seguintes configurações:
* Computer Nodes: 2 x 64 bits QuadCore x86 CPU with HT support | 32 GB RAM | 2 x 2TB SATA | 2 x 10GBoE NICs
* Storage Nodes: 2 x 64 bits QuadCore x86 CPU with HT support | 32 GB RAM | 24 2T SATA | 2 x 10GBoE NICs
* Standard Servers: 2 x 64 bits QuadCore x86 CPU with HT support | 32 GB RAM | 2 x 2TB SATA | 2 x 10GBoE NICs
h4. Arquitetura proposta - melhor caso
!https://ncc.unesp.br/its/attachments/191/openstack_big.png!
Nesta arquitetura proposta, temos as seguintes máquinas:
* 20 10 Computer Nodes;
* 10 05 Storage Nodes;
* 08 Standard Servers (Storage Proxy, Nova Server, API Server, Network Controller, VPN, etc..)
* 08 04 Switches 10 GBoE;
Com as seguintes configurações:
* Computer Nodes: 2 x 64 bits QuadCore x86 CPU with HT support | 32 GB RAM | 2 x 2TB SATA | 2 x 10GBoE NICs
* Storage Nodes: 2 x 64 bits QuadCore x86 CPU with HT support | 32 GB RAM | 24 2T SATA | 2 x 10GBoE NICs
* Standard Servers: 2 x 64 bits QuadCore x86 CPU with HT support | 32 GB RAM | 2 x 2TB SATA | 2 x 10GBoE NICs
h3. Tecnologias alternativas
Várias tecnologias podem ser utilizadas para provêr uma infraestrutura de máquinas virtuais. Algumas delas na forma de solução livre, podendo ser instalada em infraestrutura própria, e outras na forma de serviço web, sendo executada na infraestrutura da empresa que a provê.
Entre as tecnologias livres mais conhecidas, temos:
# abiquo (Sua versão community);
# nimbus;
# openstack;
# opennebula;
# eucalyptus;
Entre as tecnologias funcionando como serviço web, temos:
# Amazon Web Service;
# Linode;
# Rackspace;
# Gogrid;
Estas são apenas as principais alternativas que atendem os requisitos do projeto, levando em consideração popularidade, quantidade de downloads/mês e nível de maturidade do projeto.
h2. Referências
# "O que é computação em nuvem?":http://www.infowester.com/cloudcomputing.php
# "Definição de software livre":http://www.gnu.org/philosophy/free-sw.html
# http://www.gnu.org/philosophy/free-sw.html
# "Projeto Hadoop":http://hadoop.apache.org/
# "Open Cloud Compute Interface - OCCI":http://occi-wg.org/
# "Rackspace":http://rackspace.com/
# "Nasa":http://www.nasa.gov/
# "OpenStack - Empresas Participantes":http://www.openstack.org/community/companies/
# "The virtualization API":http://libvirt.org/
# "Hypervisor":http://en.wikipedia.org/wiki/Hypervisor
# "Projeto OpenStack":http://openstack.org/
# "Apache License":http://www.apache.org/licenses/LICENSE-2.0
# "Amazon Simple Storage Service":http://aws.amazon.com/s3/