Estado Da Arte Cluster

Estado da Arte da Computao em Clusters GNU/Linux
Marcos Pitanga
Clusters o incio NORAD

North American Air Defense
SAGE - 1962
Semi-Automatic Ground Environment
Histrico da Supercomputao
O que um Cluster?
uma arquitetura que compreende dois ou mais computadores que trabalham em conjunto para executar aplicaes ou realizar outras tarefas, de tal forma para que os usurios que os utilizam tenham a impresso que somente um nico sistema responde para eles.
Porqu usar um cluster? diminuir o tempo de execuo de um determinado programa; distribuir a carga entre vrios computadores; garantir que seu servio esteja no ar.
Existem vrias tcnicas diferentes de cluster, cada uma com um objetivo diferente
Viso em camadas
Tipos de Clusters
* Alta Performance de Computao
Beowulf, programao paralela...
openMosix
* Web Service
LVS/Piranha, LB em conexes TCP, Dados Replicados GFS, PVFS, mesma viso dos dados a todos os ns Heartbeat, drbd, Lifekeeper
* Storage Clusters
* Alta Disponibilidade
Porqu o GNU/Linux?

gratuito Cdigo Aberto Multitarefa, Multiusurio Conectividade com vrias plataformas Protocolo TCP/IP nativo Servidores de rede gratuitos: web, ftp, firewall, tftp, dns, etc... No requer licenas de uso No precisa de uma mquina potente para funcionar....
Vantagens Clusters GNU/Linux

* Desempenho * Custo * PoPCs (Pile of Pcs) * COTS (Commodity Off-The-Shelf) - Componentes de fcil disponibilidade - Fcil manuteno - Independncia de fornecedores de hardware - Hardware reutilizvel - Sistema Operacional de Cdigo Aberto - Escalabilidade
Beowulf - cluster de processamento O principal objetivo de um cluster beowulf aumentar o poder computacional e diminuir o tempo de execuo de programas, distribuindo trechos do processamento pelos vrios ns. Muito utilizado em laboratrios que necessitam fazer uma grande quantidade de clculos numricos.
Beowulf
Nenhum componente feito sob encomenda;
Independncia de fornecedores de hardware e software;
Perifricos escalveis;
Software livre de cdigo aberto;
Uso de ferramentas de computao distribuda disponvel livremente com alteraes mnima;
Rank
Site Country/Year
Earth Simulator Center Japan/2002 Los Alamos National Laboratory United States/2002 Virginia Tech United States/2003 NCSA United States/2003 Pacific Northwest National Laboratory United States/2003 Los Alamos National Laboratory United States/2003 Lawrence Livermore National Laboratory United States/2002 Lawrence Livermore National Laboratory United States/2000 NERSC/LBNL United States/2002 Lawrence Livermore National Laboratory United States/2003
Computer / Processors Manufacturer Earth-Simulator / 5120 NEC ASCI Q AlphaServer SC45, 1.25 GHz / 8192 HP X 1100 Dual 2.0 GHz Apple G5/Mellanox Infiniband 4X/Cisco GigE / 2200 Self-made Tungsten PowerEdge 1750, P4 Xeon 3.06 GHz, Myrinet / 2500 Dell Mpp2 Integrity rx2600 Itanium2 1.5 GHz, Quadrics / 1936 HP Lightning Opteron 2 GHz, Myrinet / 2816 Linux Networx MCR Linux Cluster Xeon 2.4 GHz Quadrics / 2304 Linux Networx/Quadrics ASCI White, SP Power3 375 MHz / 8192 IBM Seaborg SP Power3 375 MHz 16 way / 6656 IBM xSeries Cluster Xeon 2.4 GHz Quadrics / 1920 IBM/Quadrics
Rmax Rpeak
35860 40960
13880 20480
10280 17600
9819 15300
8633 11616
8051 11264
7634 11060
7304 12288
7304 9984
10
6586 9216
Hello World Seqencial

#include <stdio.h>
main() { printf(Hello World); return 0; }
Hello Wold Paralelizado

# include "mpi.h #Include <stdio.h>
int main(int argc,char *argv[]) {

int meu_id, numero_processos; // Rotinas de inicializao
MPI_Init(&argc,&argv);
MPI_Comm_size(MPI_COMM_WORLD,&numero_processos); MPI_Comm_rank(MPI_COMM_WORLD,&meu_id);
fprintf(stdout,Ol mundo! Sou o processo %i de %i criados, meu_id, numero_processos);

// Rotinas de finalizao MPI_Finalize(); return 0; }
- cluster de migrao de processos No OpenMosix, o principal objetivo distribuir tarefas entre vrios servidores, sem a necessidade de programao especial. Os processos migram naturalmente de uma mquina para outra, procura de um melhor desempenho. Muito interessante para ser utilizado em servidores carregados, para distribuir a carga.
openMosix
Cluster SMP em Rede Fork and Forget Migrao Preemptiva de Processos Balanceamento Dinmico de Carga MFS + DFSA
Aplicaes Paralelas
Cluster Alta-Disponibilidade
alguns servios no podem parar.
todo equipamento um dia pra.
os equipamentos que no podem parar tambm param.
Alguns Nmeros...
Um equipamento comum, possui uma disponibilidade 99% a 99,99% dependendo da sua qualidade...
com 99,9% de disponibilidade, o equipamento fica fora do ar 8 horas por ano.
Com 99,99% ele fica fora do ar 53 minutos em um ano

Com 99,999% a ele fica indisponvel apenas 5 minutos por ano.
Uma situao real
Situao real 2
Os arquivos
drbd Muitas alteraes, necessidade de integridade total dos dados. Um bom exemplo: Banco de Dados
rsync Muitas alteraes pequenas, pode sofrer pequenas perdas. Normalmente repositrios de arquivos de usurio se encaixam nessa definio. scp Alteraes espordicas. Com pginas em um servidor web.
Sistema de Arquivos Distribudos NFS, openAFS, LUSTRE, Intermezzo, openGFS
O DRBD
Balanceamento de Carga
Escalonamento de processos Balanceamento de Carga Estabilidade no sistema Eficincia Alto desempenho
Balanceamento de Carga
Tecnologias de Redes

Fast Ethernet
Myrinet SCI Gigabit ATM FibreChannel etc...
Fast Ethernet
Myrinet
Full Duplex 2 + 2 Gbps Baixa Latncia Cut-through e Crossbar Caminhos alternativos Interage com processos Host, fazendo bypass do SO, conversando diretamente com a rede Chip VLSI LANai Processador RISC Mem Local 128K para os pacotes SRAM 512K a 1Mb
SCI Scalable Coehrent Interface
Topologia Anel
Latncia 3us
Paradigma de Memria Distribuda Compartilhada

Fabricada pela Dolphin e Scali
Cluster Middleware
Single System Image (SSI) System Availability (SA)
Programando para clusters HPC

APIs ---> MPI, PVM Linguagens --> C, C++, Perl, Python, Fortran 77, 90, 95, High Performance Fortran, Cilk, Linda Cuidados na granularidade do problema Arquitetura homognea ou heterognea? Portabilidade Ferramentas de depurao
Programando para clusters HPC
Tendncias Grid Computing
Referncias
www.linux-ha.org
www.samag.com/articles/2001/0109/
www.linuxfocus.org/English/November 2000/article179.shtml www.linuxvirtualserver.org/
www.top500.org
www.beowulf.org www.openmosix.org
Marcos
Pitanga
pitanga@domain.com.br marcos_pitanga@ig.com.br

Estado Da Arte Cluster

Enviado por

Direitos autorais:

Formatos disponíveis

Estado Da Arte Cluster

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Estado Da Arte Cluster

Enviado por

Direitos autorais:

Formatos disponíveis

Estado da Arte da Computao em Clusters GNU/Linux

Clusters o incio NORAD

Beowulf, programao paralela...

Vantagens Clusters GNU/Linux

Nenhum componente feito sob encomenda;

Independncia de fornecedores de hardware e software;

Uso de ferramentas de computao distribuda disponvel livremente com alteraes mnima;

Hello World Seqencial

Hello Wold Paralelizado

int main(int argc,char *argv[]) {

fprintf(stdout,Ol mundo! Sou o processo %i de %i criados, meu_id, numero_processos);

os equipamentos que no podem parar tambm param.

Com 99,99% ele fica fora do ar 53 minutos em um ano

Uma situao real

Sistema de Arquivos Distribudos NFS, openAFS, LUSTRE, Intermezzo, openGFS

SCI Scalable Coehrent Interface

Paradigma de Memria Distribuda Compartilhada

Programando para clusters HPC

Programando para clusters HPC

Tendncias Grid Computing

Você também pode gostar