Greg Kurtzer, uno de los cofundadores de la distribución CentOS Linux, el creador del entorno de contenedores Singularity para cargas de trabajo HPC, el fundador de la nueva distribución Rocky Linux que busca reemplazar el ahora desaparecido CentOS, y un gurú de HPC en el suyo. correcto, está en una misión. Y es una misión que admiramos y vemos todo el tiempo: construir una plataforma de aplicación integrada que elimine radicalmente la complejidad de la computación distribuida moderna sin simplificarla.
Esto es algo muy difícil de hacer, y Kurtzer lo sabe muy bien, aunque lo ve desde un ángulo ligeramente oblicuo.
Kurtzer es un tipo divertido, incluso si el trabajo que ha hecho es tremendamente serio. Por su propia admisión, vagó un poco en la universidad, estudiando ingeniería mecánica, música y pre-medicina antes de obtener una licenciatura en ciencias en bioquímica en 1997 de lo que él llama la “Escuela de preparación de pollos del norte de California”, y agregó que ” podrías pensar que soy indeciso, pero no estoy tan seguro “. (Se presume que es la Universidad de California en Berkeley, uno de los principales semilleros de arquitectura de hardware y software de computadoras en el mundo).
Kurtzer trabajó en una empresa de biotecnología haciendo trabajo de genómica después de graduarse, y luego consiguió un trabajo como ingeniero de software en Linuxcare, una de las infinidad de distribuciones de Linux, justo antes de que el boom de las puntocom explotara a finales de 2000.
Luego, Kurtzer cambió de tema, o eso podría parecer, para convertirse en arquitecto de sistemas de HPC y líder técnico en el Laboratorio Nacional Lawrence Berkeley, uno de los principales centros de HPC administrado por el Departamento de Energía de EE. UU., Que fue una cita conjunta con la universidad, y durante ese tiempo integró alrededor de 40 clústeres diferentes para el trabajo de HPC mientras, al mismo tiempo, escribía la herramienta de administración de clústeres Warewulf, y en su tiempo libre trabajó con Rocky McGough y Lance Davis para crear la distribución CentOS Linux, que es posterior a Red Hat Enterprise Linux, y también construyó el sistema de contenedores Kubernetes con sabor a Singularity HPCe intenté comercializarlo en una empresa llamada RStor y luego otra llamada Sylabs después de dejar el Berkeley Lab a principios de 2017. Desde esta época el año pasado, Kurtzer estaba tramando algo llamado el proyecto HPCng , y ahora vemos que esta misión está siendo realizado por una nueva empresa llamada Ctrl IQ, donde Kurtzer es fundador y director ejecutivo.
“Cuando me involucré por primera vez en esto e incluso ahora, siempre construimos sistemas HPC de la misma manera”, dice Kurtzer a The Next Platform.. “Cada uno es un poco diferente, por supuesto, pero la arquitectura es básicamente la misma y se deriva de los clústeres de Beowulf en el pasado. Desde que dejé el Departamento de Energía y comencé a trabajar con empresas, me di cuenta de que hay dos fiestas.
Tenemos la fiesta de HPC y la fiesta de TI empresarial, y la gente no suele mezclarse. Puede que salgan a almorzar de vez en cuando, pero tienen infraestructuras, equipos y conjuntos de habilidades completamente separados. Pero hay una tendencia. En la fiesta de HPC, la gente quiere entornos más modernos para ejecutar sus cargas de trabajo y quieren más capacidades de clase empresarial. Los contenedores son un buen ejemplo de esto, pero es solo el primer paso.
Los centros de HPC quieren más modernización, más integración con DevOps, más orquestación, más orquestación de datos, y la capacidad de implementarse en entornos híbridos. Las empresas se están interesando cada vez más en el análisis de datos, el aprendizaje automático y otros tipos de HPC, pero cuando les explico cómo hacemos esto en HPC, me miran como si estuviera viviendo en el pasado y explican que no es así como construyen sistemas de hoy. Entonces, lo que Ctrl IQ está haciendo es unir a estas partes y construir una pila completa “.
Y cuando Kurtzer dice completo, lo dice en serio, incluso si eso significa el reemplazo global de CentOS, que en realidad ya no existe, con el nuevo y brillante Rocky Linux, que se ha asegurado de que existirá. Eche un vistazo a la pila Ctrl IQ:
El administrador de clústeres de Warewulf y el sistema de aprovisionamiento de servidores que Kurtzer creó en el Berkeley Lab a partir de 2001 se ha ampliado para poder aprovisionar contenedores sin estado a servidores bare metal, y hacerlo a escala, obviamente. La idea detrás de Warewulf era poder aprovisionar y administrar miles de nodos con una pequeña cantidad de administradores. Los nodos en el sistema distribuido, por supuesto, se configurarán con Rocky Linux, y el entorno de contenedor es Singularity, que es un formato de contenedor que es compatible con Kubernetes con una salsa especial para tiendas HPC, incluidas imágenes de contenedor encriptadas y firmadas digitalmente.
Las cosas nuevas en la pila de Ctrl IQ incluyen Fuzzball, que según Kurtzer es una herramienta de orquestación para flujos de trabajo críticos para el rendimiento. Y ese calificador de “rendimiento crítico” frente a “flujos de trabajo” es lo que lo diferencia del trabajo de los programadores de trabajos y los sistemas de orquestación existentes, según Kurtzer, y eso incluye el controlador de contenedores Kubernetes sin procesar, que es muy bueno para agrupar microservicios.
Fuzzball mueve datos para computar y computar a datos, lo que sea la mejor opción, y puede hacerlo en las instalaciones y en múltiples nubes públicas según lo requiera la situación. Crea una estructura de datos y computación virtual gigante, dice Kurtzer, por lo que puede analizar las dependencias, los costos y la disponibilidad de recursos para decidir cuándo y cómo ejecutar estos flujos de trabajo.
Ctrl IQube es un giro del controlador de contenedores de Kubernetes de código abierto, y fue creado por Ctrl IQ porque Fuzzball requiere Kubernetes y muchos de los centros de HPC para los que Kurtzer ha trabajado y con los que ha trabajado dijeron que no querían meterse con Kubernetes en bruto porque es una carga tan pesada. (Y los centros HPC casi con seguridad no pagarán por un entorno OpenShift Kubernetes de grado comercial de la división Red Hat de IBM más de lo que pagarían por Red Hat Enterprise Linux en lugar de utilizar la distribución gratuita CentOS). “Un par de nuestros ingenieros se dieron cuenta cómo simplificar y asegurar los recursos de Kubernetes existentes de modo que cualquiera pueda instalarlos y mantenerlos.
Ctrl Cloud es una versión alojada de toda la pila de Ctrl IQ y, como puede ver en la parte inferior del gráfico anterior, hay pilas de Ctrl IQ especializadas: cargas de trabajo HPC tradicionales basadas en MPI y lo que Kurtzer describe como cargas de trabajo HPC más modernas también. como inteligencia artificial y aprendizaje automático, además de pilas destinadas al diseño de chips, las grandes farmacéuticas, etc.
Así es como el software Ctrl IQ se apila e interconecta:
Notarás algo de inmediato. Esta no es solo una plataforma de Kubernetes, y los contenedores no siempre serán mantenidos por contenedores. En algunos casos, como fue el caso de Singularity utilizado en centros de HPC como el Berkeley Lab, una aplicación en contenedores que tiene un flujo de trabajo complejo y que es sensible al rendimiento no puede verse obstaculizada por una implementación de Kubernetes de gran peso. Estas aplicaciones sensibles al rendimiento se ejecutarán directamente en el servicio de contenedor Fuzzball. En cierto sentido, el servicio de podding de contenedores de Kubernetes es solo otra aplicación que se ejecuta sobre el servicio de contenedores Fuzzball. Así es exactamente como Mesos y OpenStack trataron a Kubernetes, aunque podría haber ido al revés y contener Mesos u OpenStack y ejecutarlos sobre Kubernetes.como comentamos hace mucho tiempo cuando aún importaba . El mensaje aquí es que esta distinción sigue siendo importante, y Kurtzer entiende por qué y está haciendo algo al respecto al combinar Warewulf, Singularity y Kubernetes de una manera ligeramente diferente y definitivamente más interesante.
Los servicios de Kubernetes tienden a ser más perpetuos y con una sobreuscripción masiva porque la mayor parte del tiempo están inactivos, dice Kurtzer, y los contenedores Fuzzball tienden a ser más efímeros y funcionan a toda máquina. Pero creemos que esa es una distinción que no necesariamente será cierta en todos los casos. Las cosas se pondrán precisamente tan efímeras como la situación lo permita, pensamos. La molestia de configurar los sistemas HPC es lo que los vuelve estáticos, incluso si sus cargas de trabajo cambian como un juego gigante de Tetris usando programadores de trabajos para meter aplicaciones en sus nodos. Esto es realmente algo que podríamos llamar contenedor delgado .
Uno de los componentes clave de la pila Ctrl IQ es la malla de servicio de confianza cero que vincula los contenedores Fuzzball y Kubernetes entre sí y permite el tipo de seguridad que tanto las empresas como los centros de HPC necesitan en estos días. Esta malla de servicio y los cinturones, tirantes, cuerdas, escopetas, rifles y tirachinas que se despliegan para asegurarlo de seis maneras a partir del domingo son lo que le dará a las organizaciones la confianza para entremezclar los grupos locales con los que se están agotando en las nubes públicas en un moda híbrida.
Si bien Kurtzer es una de las personas más famosas en la comunidad de código abierto, y está bastante seguro de cómo construir la próxima plataforma, todavía no está seguro de la forma correcta de fijar el precio de la pila Ctrl IQ y de cuánto debería costar. código abierto y si parte de él debería ser de código cerrado.
Y Kurtzer, fiel a su estilo, es perfectamente abierto al respecto y está reflexionando sobre las opciones. Lo que sabemos es que Ctrl IQ tiene $ 4 millones en fondos de la Serie A de IAG Capital Partners y OpenDrives, y esperan un retorno de su inversión. Y es difícil hacer eso con un modelo de núcleo abierto, pero no imposible. Todavía hay tiempo para resolver todo eso, ya que Ctrl Cloud no estará listo hasta principios del segundo trimestre de 2021 y el resto de la pila estará listo en algún momento a mediados de año. Cualquier cosa que haga Kurtzer, estamos bastante seguros de que costará mucho menos que Red Hat OpenShift. Casi por defecto, si no por diseño.
Fuuente: nextplatform.com.