Hardware para redes neuronales profundas

Si no asistió a la sesión de ISCA (Sociedad Internacional de Computadoras y sus Aplicaciones) de este año, es posible que le interese presentar [Joel Emer] Profesor del MIT y científico de NVIDIA. Junto con otro profesor del MIT y dos médicos ([Vivienne Sze], [Yu-Hsin  Chen], y [Tien-Ju Yang]), [Emer’s] La presentación cubre arquitecturas de hardware para redes neuronales profundas.

La presentación trata sobre los antecedentes de las redes neuronales profundas y la teoría básica. Luego avanza hacia los detalles específicos del aprendizaje profundo. Un gráfico interesante muestra cómo las redes neuronales identifican mejor los objetos en imágenes anualmente y actualmente en 2015 pueden hacer un mejor trabajo que un humano en un conjunto de imágenes de prueba. Sin embargo, la verdadera clave es utilizar hardware para acelerar el rendimiento de las redes.

La aceleración del dispositivo es importante por varias razones. Primero, muchas aplicaciones tienen muchos datos asociados. El entrenamiento también puede implicar muchas repeticiones que pueden durar mucho tiempo.

La presentación cubre mucho más: un estudio de herramientas, hardware actual disponible e investigación de diferentes núcleos (algoritmos) para su uso en diferentes capas de la red. Sin embargo, la verdadera esencia es cómo construir hardware para implementar mejor esos núcleos. Los elementos paralelos paralelos a la tarea son obvios, pero el documento señala que un enfoque de memoria es el signo de interrogación. Existen varias estrategias para reducir el costo de acceder a los datos a través de la red. Estas estrategias se benefician de la reutilización de datos y la acumulación local de resultados. Sin embargo, también es posible configurar un menor consumo de energía utilizando un solo grupo de memoria a expensas del rendimiento.

Al final del artículo, se exploran varias topologías y dispositivos de memoria. Esto incluye el uso de pilas de memoria y pilas de celdas de memoria a nivel de IC. Si está buscando una encuesta completa pero accesible de la red neuronal profunda, aproximadamente la mitad de esta presentación será de gran interés para usted. La parte posterior es mucho más detallada y, si eres un hacker curioso, puede que no te resulte tan útil. Pero si está desarrollando arquitecturas ASIC o incluso FPGA para redes neuronales, es una gran cosa.

Últimamente hemos estado hablando mucho sobre redes neuronales. Hay muchas clases y tutoriales para comenzar.

  • Ostraco dice:

    Naturalmente interesante, aunque parece que la mayor parte se hace en el lado de las nubes. Sí, últimamente se ha hablado de un teléfono celular, pero eso es bastante nuevo.

    • Ramsey dice:

      Sin embargo, la nube debe funcionar con hardware. Este tipo de investigación mejorará todo, desde las salas de acción hasta las granjas de servidores.

    • Steven Clark dice:

      Y los algoritmos utilizados en las redes neuronales no utilizan muchas decisiones booleanas y funcionan mejor con una gran cantidad de ancho de banda de memoria, por lo que la arquitectura clásica de Von Neuman o Harvard utilizada en las CPU es apropiada.

  • Olsen dice:

    Hmm, no he escuchado mucho sobre el campo de los programas húmedos. Parecería una buena alternativa si crecen células cerebrales que no sientan tanto daño y degradación.

    • Sidra de pera dice:

      Lo siento, pero no puedes usar nada de mi cerebro. Está muy dañado por todas las drogas en mi juventud, y luego el lavado de cerebro del gobierno se llevó el resto. Así que supongo que casi le tengo miedo a los cerebros.
      Y lo último que sigo escuchando voces, no está mal. Simplemente no se detendrán.

      Por otro lado, puedo ofrecer el cerebro de mi esposa. Simplemente sigue y sigue y sigue (tal vez esas son las voces que sigo escuchando.
      Pero me encanta la idea.

      • Trax dice:

        Ja ja 🙂

  • David Steckler dice:

    Terrible tutorial, gracias, me gusta esta área de investigación. https://la-tecnologia.io/project/21964-artificial-neural-network

Matías Jiménez
Matías Jiménez

Deja una respuesta

Tu dirección de correo electrónico no será publicada.