Early Bird de la Universidad de Rice podría preocuparse menos por el gusano; está buscando megatones de emisiones de gases de efecto invernadero.
Early Bird es un método energéticamente eficiente para entrenar redes neuronales profundas DNN, la forma de inteligencia artificial IA detrás de automóviles sin conductor, asistentes inteligentes, reconocimiento facial y docenas de aplicaciones de alta tecnología.
Investigadores de Rice y Texas A&M University dieron a conocer Early Bird el 29 de abril en un artículo destacado en ICLR 2020, la Conferencia Internacional sobre Representaciones de Aprendizaje. Un estudio realizado por los autores principales Haoran You y Chaojian Li del Laboratorio de Computación Eficiente e Inteligente EIC de Rice mostróEarly Bird podría usar 10.7 veces menos energía para entrenar un DNN con el mismo nivel de precisión o mejor que el entrenamiento típico. El director del Laboratorio EIC, Yingyan Lin, dirigió la investigación junto con Richard Baraniuk de Rice y Zhangyang Wang de Texas A&M.
"Una de las principales fuerzas impulsoras en los recientes avances de IA es la introducción de DNN más grandes y más caros", dijo Lin. "Pero entrenar estos DNN exige una energía considerable. Para que se den a conocer más innovaciones, es imperativo encontrar una capacitación 'más verde'métodos que abordan las preocupaciones ambientales y reducen las barreras financieras de la investigación de IA ".
Entrenar DNN de vanguardia es costoso y cada vez más costoso. Un estudio de 2019 realizado por el Instituto Allen para IA en Seattle encontró que la cantidad de cálculos necesarios para entrenar una red neuronal profunda de alto vuelo aumentó 300,000 veces entre 2012-2018, yEl estudio de 2019 realizado por investigadores de la Universidad de Massachusetts Amherst encontró que la huella de carbono para entrenar a un solo DNN de élite era aproximadamente equivalente a las emisiones de dióxido de carbono de por vida de cinco automóviles de EE. UU.
Los DNN contienen millones o incluso miles de millones de neuronas artificiales que aprenden a realizar tareas especializadas. Sin ninguna programación explícita, las redes profundas de neuronas artificiales pueden aprender a tomar decisiones similares a las humanas, e incluso superar a los expertos humanos, al "estudiar" un gran númerode ejemplos anteriores. Por ejemplo, si un DNN estudia fotografías de gatos y perros, aprende a reconocer gatos y perros. AlphaGo, una red profunda entrenada para jugar el juego de mesa Go, venció a un jugador humano profesional en 2015 después de estudiar decenas de milesde juegos jugados anteriormente.
"La forma más moderna de realizar capacitación en DNN se llama poda progresiva y capacitación", dijo Lin, profesor asistente de ingeniería eléctrica e informática en la Escuela de Ingeniería Brown de Rice. "Primero, se entrena una red gigante y densa", luego elimine las partes que no parecen importantes, como podar un árbol. Luego, vuelva a entrenar la red podada para restaurar el rendimiento porque el rendimiento se degrada después de la poda. Y en la práctica, necesita podar y volver a entrenar muchas veces para obtener un buen rendimiento ".
La poda es posible porque solo una fracción de las neuronas artificiales en la red puede hacer el trabajo para una tarea especializada. El entrenamiento fortalece las conexiones entre las neuronas necesarias y revela cuáles se pueden eliminar. La poda reduce el tamaño del modelo y el costo computacional, lo que hace quees más económico implementar DNN totalmente capacitados, especialmente en dispositivos pequeños con memoria y capacidad de procesamiento limitadas.
"El primer paso, entrenar a la red densa y gigante, es el más costoso", dijo Lin. "Nuestra idea en este trabajo es identificar la red final, totalmente funcional y podada, que llamamos el" boleto anticipado "'en la etapa inicial de este costoso primer paso "
Al buscar patrones clave de conectividad de red al inicio del entrenamiento, Lin y sus colegas pudieron descubrir la existencia de boletos anticipados y utilizarlos para simplificar el entrenamiento de DNN. En experimentos en varios conjuntos de datos de referencia y modelos de DNN, Lin y sus colegasdescubrió que Early Bird podría emerger tan solo una décima parte o menos de la fase inicial del entrenamiento.
"Nuestro método puede identificar automáticamente las entradas anticipadas dentro del primer 10% o menos del entrenamiento de las redes densas y gigantes", dijo Lin. "Esto significa que puede entrenar a un DNN para lograr la misma o incluso mejor precisión parauna tarea determinada en aproximadamente el 10% o menos del tiempo necesario para la capacitación tradicional, lo que puede conducir a más de un pedido de ahorro tanto en computación como en energía ".
Desarrollar técnicas para hacer que la IA sea más verde es el enfoque principal del grupo de Lin. Las preocupaciones ambientales son la motivación principal, pero Lin dijo que hay múltiples beneficios.
"Nuestro objetivo es hacer que la IA sea más respetuosa con el medio ambiente y más inclusiva", dijo. "El gran tamaño de los complejos problemas de IA ha excluido a los jugadores más pequeños. La IA verde puede abrir la puerta permitiendo a los investigadores una computadora portátil o recursos computacionales limitadospara explorar las innovaciones de IA "
Los coautores adicionales incluyen Pengfei Xu, Yonggan Fu y Yue Wang, todos de Rice, y Xiaohan Chen de Texas A&M.
La investigación fue apoyada por la National Science Foundation 1937592, 1937588.
Fuente de la historia :
Materiales proporcionado por Universidad de Rice . Nota: El contenido puede ser editado por estilo y longitud.
Cita esta página :