Creación de un clúster de Kubernetes económico de portátiles antiguos

La computación en clúster es una opción popular para los servicios informáticos pesados. En el nivel básico, hay grupos de pasatiempos que a menudo se construyen con Raspberry Pis, mientras que el nivel industrial involucra centros de datos llenos de servidores para adultos. [greg] quería algo barato, pero con soporte x86, así que comience a construir una plataforma a su manera.

La parte ingeniosa de [greg]La compilación viene en las computadoras de origen. Él identificó que los circuitos de reemplazo de la base de la computadora portátil eran una gran fuente de energía de computadora a bajo costo, con una placa con CPU i7 con 16 GB de RAM disponible en eBay por alrededor de £ 100, y con modelos i5 incluso más baratos. Con cuatro circuitos de la base de la computadora portátil en la mano, comenzó a apilarlos en un contenedor, a operarlos y atarlos con el mínimo necesario para encenderlos. Con todo envuelto en un contenedor de servidor antiguo con algunas partes impresas en 3D para mantenerlo todo junto, pudo obtener un clúster de Kubernetes de 4 nudos y ejecutarlo a un precio absolutamente excelente.

No hemos visto placas base para computadoras portátiles de respaldo que se hayan utilizado anteriormente de esta manera, pero ciertamente pudimos ver que esto se convertirá en algo más que en el futuro. Las opciones de una caja llena de placas base en mal estado son atractivas para aquellos que construyen clústeres a bajo precio. Por supuesto, más nudos es mejor, así que eche un vistazo a este grupo de 120 Pi para saciar su sed. FLOPs crudos.

  • Ostraco dice:

    "... mientras que el nivel de la industria involucra centros de datos llenos de servidores para adultos".

    Me imagino que algunos en el subforo de servidores domésticos usan servidores blade más antiguos.

    • sdfdfsfds dice:

      Bastante dudoso. Los servidores Blade son muy densos y, por lo tanto, requieren una buena refrigeración, son muy ruidosos y la mayoría no funcionan con 120 VCA.

      Las personas inteligentes compran máquinas 2U para laboratorios de servidores domésticos porque son * mucho * más silenciosas.

      • Kryptylomese dice:

        Los servidores en torre "modernos" (de 8 años o menos) son silenciosos y pueden aceptar cartas altas.

      • chango dice:

        Incluso los servidores blade antiguos solidifican el enfriamiento en ventiladores de 120 mm o más grandes detrás del plano trasero para evitar tener una pared de motores a reacción de 40 mm como los racks llenos de cajas de 1U.

      • Xamboozi dice:

        Jaja, no conoces a los trabajadores domésticos

  • Ivan Stepaniuk dice:

    ¿Te imaginas un juego de Beowulf de estos?

    • Doc dice:

      Ese meme tiene edad suficiente para beber.

      • RW versión 0.0.1 dice:

        Bienvenido a la edición de hoy de citas de Winston Churchill que no son del todo apropiadas, hoy vamos a ir con el encabezado doble "Pero por la mañana estaré sobrio" y "Si yo fuera tu esposo, bebería eso."

  • zoobab dice:

    Creo que, en cambio, me abasteceré de algunos portátiles.

  • Foldi-One dice:

    Muy limpio, excelente uso de la técnica de otra manera basura. Aunque habría hecho algo con los refrigeradores de serie, se podrían instalar disipadores de calor de computadora más grandes y serían más baratos, más silenciosos y probablemente permitirían velocidades de reloj más rápidas, no más de lo que necesitaría ser una computadora portátil más delgada. Puedo ver por qué lo haría de esa manera, y mucho menos esforzarse, y si no tiene que sentarse junto a él, o ponerlo en un estante lleno de servidores ruidosos de todos modos, esa es la cuestión ...

    Me pregunto cuál es el costo de por vida de algo como esto en comparación con la solución Pi. Un cálculo por vatio muy diferente entre x86 / AMD64 y ARM también, por lo que también puede ser una diferencia significativa en el costo operativo.

    Claramente tienen un caso de uso ligeramente mejor, por lo que las computadoras portátiles podrían ser mejores para sus necesidades. Pero sus 4 placas para portátiles probablemente tengan una potencia lenta y máxima, que es varias veces mayor que la del Pi en situaciones similares. Y lo más probable es que el equipo de Internet tenga un presupuesto de energía similar, incluso si tiene 4 veces la cantidad de computadoras portátiles pi, todos los interruptores pequeños parecen bastante similares. Un puerto de 16 puertos no parece gastar nunca más que un puerto de 4 u 8 puertos.

    Entonces, como ejercicio de aprendizaje, entorno de prueba o para el tipo correcto de carga de trabajo, juegue con 3 veces más nodos con la misma potencia porque son Pi probablemente mejores y no necesitan ser más costosos (no como realmente necesita el modelo 8gb pi 4 en esta situación - aunque más grande siempre es mejor ..).

    • RW versión 0.0.1 dice:

      Para pi vs x86, dependiendo de la carga de trabajo siempre debería ser "dependiendo de si la carga de trabajo realmente contiene algún trabajo" porque si eso es falso, pis se ve muy bien. Si traduces todo el argumento a x86, parecerá que "Mi Athlon XP-M usa una cuarta parte de la potencia de tus tijeras de 8 núcleos" sin ser consciente de que necesitas 16 de ellas para igualar el rendimiento en una tarea simple de números enteros casi " por "marca" un reloj dependiendo, o que para el trabajo real, el descifrado de números brutos es 100 veces mejor. Seguro, si necesita una CPU para sentarse y esperar a que suceda algo, quiere una que lo haga de la manera más eficiente posible, pero ser capaz de ejecutar una GUI como lo hizo Amiga de 7 mhz en 1985, no hace nada poderoso.

      • Foldi-One dice:

        Pi, incluso la marca Pi 1 es mucho mejor en computación por vatio que la mayoría de x86-64 porque Arm es esencialmente más eficiente energéticamente (al menos por ahora), y Pi 4 tampoco ralentiza el rendimiento de la computadora. así de claro, ya que solo el Threadripper más nuevo es más rápido, ¡tengamos muchos de ellos! Debe considerar los requisitos del dispositivo de apoyo en frío y otros, los posibles signos de interrogación * y la eficacia general.

        Además, ¿cuál es el propósito de este sistema? Porque eso realmente cambia si mejores nodos o nodos específicos más bajos son la mejor opción; es muy diferente cuál será el "mejor", no un tamaño es adecuado para todos.

        * Los cuellos de botella varían mucho según el tipo de carga de trabajo; tal vez esta carga de trabajo sature la RAM / Disco en el AMD64, por lo que más nodos con RAM y velocidad de disco similares pueden superarlo enormemente a pesar de los relojes de CPU más bajos si la tarea está bien dividida. O tal vez esta tarea está muy relacionada con la CPU y no es fácilmente divisible entre subprocesos, en cuyo caso no verá ganancias reales al ejecutar los subprocesos principales más nuevos en comparación con la generación anterior: todas las actividades de un solo núcleo y las velocidades de reloj funcionan bastante bien. cerrar.

        Vale la pena señalar, sin embargo, que las ofertas de AMD son increíblemente buenas en cuanto a vatios en comparación con las mejores y más nuevas de Intel, y ¡oh, cómo me gustaría poder permitirme reemplazar mi estación de trabajo ahora bastante antigua, una CPU que solo tiene 65w de TDP y más núcleos y más rápido rendimiento de uno o varios núcleos que mis xons ...

      • Foldi-One dice:

        Dado que parece que un comentario anterior está atascado en un mundo inferior, pondré el resaltado clave aquí.

        No es tan simple, Pi 4 es un animal informático debido a su costo y tamaño, y todo lo que es Arm es mejor en cálculos por vatio que la mayoría de todos los x86 (Arm es simplemente más eficiente). También vale la pena mencionar los gráficos de broadcom. en Pi también son bastante potentes, aunque sospecho que son menos convenientes de usar ...

        Si el Pi será mejor para su caso de uso depende en gran medida de lo que haga, los signos de interrogación para cualquier tarea que desee realizar realmente pueden cambiar mejor (por ejemplo, la RAM y los discos tienen una velocidad de acceso limitada), y es posible que necesite más núcleos más rápido núcleos y así sucesivamente.

        • RW versión 0.0.1 dice:

          Como dije, es genial esperar a que suceda algo. Entonces, si ve que menos del 60% espera algo, es mucho tiempo para bajar de Pi 4 a Pi 2, resuelva las 4 tonterías en lo que 2 usa completamente.

          Pero el rendimiento por vatio, ha visto demasiadas piezas de escritorio sedientas en comparación con los artículos Pi, el antiguo 6600U de quinta generación que se usa aquí produce ~ 160 Mflop de precisión doble Linpack por vatio, el Pi 4 produce alrededor de 70.

          • Foldi-One dice:

            Si especifica algún reloj, puede ralentizar el 4 ligeramente. Realmente no presioné tan fuerte (todavía), solo una pequeña travesura por curiosidad mientras desperdiciaba las cosas malas. 10.8 - ciertamente no lo empujó tan cerca de sus límites en ambas direcciones, pero mucho más de lo que ofrece con un reloj máximo y suficiente, el viejo disipador de calor de aluminio sin viento no puede mantenerlo por debajo de 60 cuando trabaja duro (lo que parecía un buen punto detener) - Me gusta que mi electrónica dure y la mantenga en el rango 60-70 parece ser un buen equilibrio), aunque todavía lleva suficiente tiempo calentar en ese rango ...

            No he visto ningún x86, incluidos chips de computadora portátil, que puedan igualar la computación por vatio del Pi que probé; tenga en cuenta que no dije que no existieran, solo que Arm tiende a ser mejor y Pi es bueno. Como con todas las computadoras, el diablo está en esos pequeños detalles que pueden hacer diferencias un poco más grandes de lo esperado.

            Además, incluso si nunca espera nada más y una CPU completamente conectada en su aplicación, puede encontrar el conjunto más grande de los mejores resultados de Pi por el mismo precio: más nodos, por lo que más subprocesos pueden igualar resultados más rápidos incluso cuando los subprocesos son más lentos.

  • alemán dice:

    Aquellos de nosotros que ya tenemos una trastienda llena de torres, computadoras portátiles y servidores en rack de todos los tamaños, podemos probar esto si el tiempo lo permite.

  • KG5DXG dice:

    “La informática importante es una opción popular para aplicaciones informáticas pesadas. En el nivel básico, hay grupos de pasatiempos que a menudo se construyen con Raspberry Pis. "

    > servicios informáticos pesados
    > Frambuesa Pi

    No es que "porque es una conversación adecuada" no sea una justificación suficiente (esto es La-Tecnologia) y especialmente si ya tienes un montón de personas por ahí, pero nunca entenderé por qué tanta gente insiste en salir de su camino. para construir grupos k8- (y otros programas) desde Raspberry Pi.

    Sería más barato, más poderoso y más cercano a una implementación efectiva comprar un servidor x86 antiguo con muchos kernels y RAM y virtualizar el clúster en lugar de aprender el software y la arquitectura, o hacer algo similar a este artículo. Pis parece tan ridículamente inadecuado para la tarea. Diablos, por el costo de $ 35 por pi, puede obtener más de 7 meses de tiempo de VPS en AWS, DigitalOcean o cualquiera de los otros miles de millones de hosts si agota el espacio.

    Y dado que Pis tampoco es x86, tampoco puede probar correctamente cosas como el arranque PXE para el aprovisionamiento como lo haría en un clúster "real", pero las máquinas virtuales también son más que capaces para esa tarea.

    Como que le saco el aspecto físico, pero apenas. Configurar el Pis es básicamente: visualizar una tarjeta SD, agregar un cable de alimentación USB y ethernet a cambiar. Siento que hay muy poco que aprender allí y nada que no coincida, conectar un servidor antiguo al mismo conmutador que su computadora portátil o de escritorio y luego instalar un sistema operativo en él.

    • X dice:

      Raspberry pi 4 admite el arranque en línea.

      8 gigabytes de RAM y 8 núcleos son muchos caballos de fuerza para un nodo de computadora.

      Para aplicaciones de alto rendimiento, puede conectar un disco M.3 a través de USB y arrancar desde él.

      ¿Realmente ha explorado todas las opciones de arranque en la última ROM de Raspberry Pi 4?

  • rasz_pl dice:

    Apruebe completamente esto. Yo personalmente uso las placas base x220 / 230 de Lenovo en la casa como nodos de mi computadora (NAS, cámaras de TV, cámaras).
    En noticias relacionadas: "Los mineros de criptomonedas devoran las computadoras GeForce RTX 30 de NVIDIA, configuran una granja minera de GPU de Ethereum masiva en China" https://wccftech.com/gpu-miners-now-rushing-after-nvidia-geforce-rtx - 30 -laptops-ethereum-cryptocurrency-mining-farm /

    tldr: hasta $ 10 por día de minería con la computadora portátil RTX 3060 🙁

    • Hirudinea dice:

      Idea interesante.

    • tof dice:

      No olvide el buen uso de VAAPI en estos;) Con la aceleración de hardware de GPU para decodificación / codificación / transcodificación de medios, especialmente para h264, es bastante rápido, incluso con esta vieja GPU Intel.
      Hago mis códigos de video timelapse en una placa X230: cada mes codifico un conjunto de más de 10,000 jpg en 60 fps h264 mp4.
      Pero para mis medios 24/24 7/7 (Jellyfin + TVheadend + Squeezebox server) prefiero usar Intel Compute Stick con CPU Atom x5-Z8330. Tecnología obsoleta, CPU limitada pero de cuatro núcleos, RAM muy limitada con solo 2G no actualizable, pero con capacidad VAAPI y solo 6W TDP (en comparación con el TDP de 45W del X230). Agregue 1G de intercambio a zram y un adaptador Ethernet USB3, y es suficiente para un servidor con algunos contenedores de base que son económicos en RAM.

  • Steven Naslund dice:

    El Pi es genial y barato para experimentar, pero según FLOP por vatio, pierden casi todos los servidores x86.

  • alemán dice:

    Las piezas extensas de la computadora portátil para un grupo de alta intensidad parecen estar enfrentando fallas. (Mega Flop)
    La mayoría, si no todas, las computadoras portátiles están abarrotadas debido al calor o la corriente. (Una y las mismas)
    Con el excedente de estaciones de trabajo de rescate aquí en Los Ángeles, es difícil imaginar dedicar tiempo y esfuerzo a grupos de computadoras portátiles. ¿Un pasatiempo? Ciertamente. Mi NAS tiene CPU Dual Xeon de 6 núcleos, RAM de 64 gigabytes, HP Z800.
    Nunca llores por mucho que lo abuse.

    • test.com dice:

      Nadie dijo que su alta intensidad es tarea.

  • Ian dice:

    Hice algo similar en 2019 para mi HomeLab de segunda generación.

    Estaba en Craigslist buscando computadoras portátiles rotas para guardar / reparar.
    (Los reparo y los regalo con regularidad. O los vendo a bajo precio para financiar más compras / reparaciones).

    Como de costumbre, hubo más de unas pocas computadoras portátiles reparables. Pero en este caso, 5 de ellos eran malos candidatos para rendirse después de que se repararan. Entonces, los desnudé y decidí que serían perfectos para aprender a configurar correctamente un clúster Proxmox High.

    $ 200 por muchos SODIMM de Ebay, muchos discos mSATA de 64GiB y un contenedor de 4u fue suficiente para alimentarlo.

Óscar Soto
Óscar Soto

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *