CreaciónCreación dede unun clustercluster HPCHPC concon GNU/LinuxGNU/Linux
Jornadas sobre HPC y Software Libre (5-7 de Octubre 2011, Campus de Ourense)
Orlando García Feal
Índice
1.- Motivación 2.- ¿Por qué GNU/Linux? 3.- Difusión en ambientes de HPC 4.- Aspectos a tener en cuenta 5.- Tipos de distribuciones 6.- Distribuciones basadas en Red Hat 7.- Distribuciones basadas en SUSE 8.- Distribuciones basadas en Debian 9.- Otras distribuciones 10.- Conclusiones 11.- Enlaces de interés
Motivación
●¿Qué necesitamos saber a la hora de elegir una distribución de GNU/Linux para HPC?
● ¿Qué distribuciones existen para HPC?
● ¿Cómo saber qué distribución es la más indicada en nuestro caso?
● ¿Por qué la distribución X y no la distribución Y?
¿Por qué GNU/Linux?
● GNU/Linux es un standard de facto en entornos de HPC.
●Es multiplataforma, puede usarse a múltiples arquitecturas.
● Es escalable, es utilizado en dispositivos móviles y en supercomputadores.
● Es software libre, puede adaptarse a nuestra necesidades.
Difusión en ambientes de HPC
●¿Hasta que punto está extendido GNU/Linux?
● Podemos hacernos una idea echando un vistazo a las estadísticas de top500.org
● TOP500 es un sitio que mantiene un ranking de los 500 supercomputadores conocidos más potentes del mundo.
Difusión en ambientes de HPC
Difusión en ambientes de HPC
Aspectos a tener en cuenta
● Prácticamente cualquier distribución de GNU/Linux es válida para ser usada en un entorno de computación de altas prestaciones.
● Sin embargo, algunos aspectos hacen que unas sean más convenientes que otras.
● Veamos algunos de ellos...
Aspectos a tener en cuenta
1.- ¿Está nuestra arquitectura de procesador soportada?
Habitualmente x86_64, pero arquitecturas como Itanium, POWER o SPARC no están soportadas por todas las distribuciones.
Aspectos a tener en cuenta
2.- ¿Está todo nuestro hardware soportado?
¿Tenemos drivers binarios sólo soportados por una distribución específica? ¿La versión de Kernel incluye soporte para nuestro hardware? ¿Podemos compilar los drivers necesarios?
Aspectos a tener en cuenta
3.- ¿Dispone de todo el software que necesitamos?
¿Incluye el software que necesitamos en sus repositorios (compiladores, librerías, etc.)? ¿Dispone de las versiones adecuadas de dicho software? ¿Necesitaremos compilar parte del software?
Aspectos a tener en cuenta
4.- Evitar distribuciones de tipo rolling- release
Estas distribuciones no disponen de una rama estable. Una instalación de software puede implicar profundos cambios en el sistema. Indicadas sólo para entornos de escritorio o de pruebas.
Aspectos a tener en cuenta
5.- ¿Se actualiza lo necesario?
¿La distribución publica actualizaciones de seguridad? ¿La distribución publica actualizaciones para corregir bugs? ¿Durante cuánto tiempo lo hará?
Aspectos a tener en cuenta
6.- ¿Tenemos experiencia con cierta distribución?
¿Tenemos familiaridad con cierto sistema de paquetería? ¿Cuánta formación necesitamos para administrar una distribución concreta? ¿Existe buena documentación?
Aspectos a tener en cuenta
7.- ¿Necesitamos contratar soporte?
¿Tenemos suficiente personal contratado dedicado a soporte? ¿Tenemos presupuesto para contratar soporte externo?
Tipos de distribuciones
● Distribuciones basadas en RedHat: ● CentOS ● Scientific Linux ● ROCKS
● Distribuciones basadas en OpenSUSE: ● SLES (SUSE Linux Enterprise Server) ● UNICOS/lc
● Distribuciones basadas en Debian: ● Ubuntu Server ● Pelican HPC
● Otras distribuciones: ● Slackware ● CAOS
Distribuciones basadas en Red Hat
Red Hat Enterprise Linux (RHEL)
● Distribución comercial ● Sistema de paquetería RPM ● Disponible para x86, x86_64, PowerPC e s390x ● Certificación oficial Red Hat ● 7 años de soporte (10 con ELS) ● Muy estable ● Repositorios de software oficial limitados. ● Soporte por parte de los principales fabricantes de hardware. ● Se venden licencias con soporte técnico según el tipo de servidor.
Distribuciones basadas en Red Hat
CentOS
● Distribución gratuita basada en Red Hat. ● 100% compatible con RHEL. ● Muy popular ● Soporte hasta 7 años. ● Actualizaciones con cierto retraso respecto a RHEL. ● Sólo soporta de forma oficial x86 y x86_64. ● Sin soporte técnico comercial. ● Muy estable. ● Repositorios de software oficial limitados. ● ¿Futuro de la organización incierto?
Distribuciones basadas en Red Hat
Scientific Linux
● Basada en RHEL, intenta ser lo más compatible posible. ● Creada por el Fermilab y el CERN. ● ¡Está financiada con tus impuestos! ● Soporte hasta 7 años. ● Actualizaciones con cierto retraso respecto a RHEL. ● Sólo soporta x86 y x86_64. ● Sin soporte técnico comercial. ● Muy estable. ● Repositorios de software oficial limitados.
Distribuciones basadas en Red Hat
ROCKS
● Basada en Centos. ● Diseñada para crear clusters HPC de forma sencilla. ● Creada por laNational Partnership for Advanced Computational Infrastructure. ● Dispone de módulos (rolls) según las características que deseemos instalar en nuestro cluster. ● Sólo soporta x86 y x86_64. ● Sin soporte técnico comercial.
Distribuciones basadas en SUSE
SUSE Linux Enterprise Server (SLES)
● Distribución comercial. ● Sistema de paquetería RPM. ● Soporta x86, x86_64, s390x, PowerPC e Itanium ● Dispone de soporte técnico comercial (más barato que el de RHEL). ● 7 años de soporte. ● Muy estable ● Repositorios de software oficial limitados. ● Soporte por parte de los principales fabricantes de hardware.
Distribuciones basadas en Debian
Debian GNU/Linux
● Libre y gratuita ● Basado en sistema de paquetería APT. ● Soporta una gran cantidad de arquitecturas hardware (9 en la versión 6.0), x86, x86_64, PowerPC, SPARC, MIPS, Itanium, s390... ● Sus repositorios oficiales mantienen una gran cantidad de paquetes (~29000 en la versión 6.0). ● Soporte aproximado de 3 años* ● Muy popular. ● No dispone de soporte técnico oficial.
* Extraído textualmente de los FAQs de Debian: The security team tries to support a stable distribution for about one year after the next stable distribution has been released, except when another stable distribution is released within this year. It is not possible to support three distributions; supporting two simultaneously is already difficult enough. Distribuciones basadas en Debian
Ubuntu Server Edition
● Basada en Debian. ● Gratuita, dispone de soporte técnico comercial. ● Ofrece 5 años de soporte. ● Actualmente sólo soporta x86 y x86_64. ● No es necesariamente compatible con Debian. ● Tiene una gran cantidad de paquetes en sus repositorios pero sólo una parte son soportados (repositorio Main y Restricted).
Distribuciones basadas en Debian
PelicanHPC
● Distribución no comercial. ● Creada por la Universitat Autònoma de Barcelona. ● Basada en debian. ● Depende de los repositorios de Debian. ● Permite crear un cluster de forma rápida y sencilla.
Otras distribuciones
Slackware
● Libre y gratuita. ● Basada en paquetes tgz (sistema de paquetería muy simple). ● Sin ningún tipo de soporte técnico oficial. ● Soporta x86, x86_64, ARM y s390. ● No existe una política oficial respecto a las actualizaciones de antiguas versiones. ● Administración compleja. ● Número limitado de paquetes en los repositorios oficiales. ● Bastante estable.
Conclusiones
Antes de elegir una distribución tenemos que comprobar que:
● Se adapte a nuestro hardware y software.
● Nos facilite la administración de los sistemas.
● Ofrezca actualizaciones durante un período razonable.
● Se adapte a nuestro presupuesto.
● Sea estable y segura.
Enlaces de interés
http://top500.org http://distrowatch.com http://en.wikipedia.org/wiki/Comparison_of_Linux_distributions http://www.redhat.com www.centos.org www.scientificlinux.org http://www.rocksclusters.org www.suse.com/products/server/ www.debian.org www.ubuntu.com http://idea.uab.es/mcreel/PelicanHPC/ http://www.slackware.com/
¿Preguntas?