В обучении нейронных сетей достигнута производительность 15 петафлопс

04.09.2017 23:31  13681   Алексей Хорохордин  Статья

Объединенная группа исследователей установила новый рекорд производительности в процессе машинного обучения.

В обучении нейронных сетей достигнута производительность 15 петафлопс

Рекордный показатель производительности

Люди, связанные с разработкой нейронных сетей, а также созданием систем машинного обучения, непрерывно работают над увеличением мощности и производительности устройств. Совсем недавно объединенной команде ученых из нескольких исследовательских университетов в сотрудничестве с инженерами компании Intel удалось превзойти значение в 10 петафлопс в процессе выполнения 2 специальных процессов, связанных с глубинным обучением. В результате, одна из выполняемых программ в процессе работы достигла отметки в 15 петафлопс. Этот эксперимент был поставлен в лаборатории американского министерства энергетики, а для его успешного завершения был применен суперкомпьютер Cori. Известно, что во время вычислительных процессов применялась математика одинарной точности или режим FP32, которого всегда достаточно при осуществлении процесса глубинного машинного обучения. Не редки случаи, когда исследователи применяют и менее точные вычислительные модели вроде FP16 или даже FP8.  

Надо сказать, что у суперкомпьютера Cori или более точно Cray XC40 не возникает каких-либо проблем с такой математикой. И это неудивительно, ведь в его состав входят 9688 микрочипов Intel Xeon Phi 7250, представляющих линейку Knights Landing. Максимальная производительность данной системы в режиме одинарной точности вплотную приближается к значению в 59 петафлопс, но из-за некоторых особенностей работы всей системы конечная максимальная производительность снизилась до 50,6 петафлопс. В ходе эксперимента обрабатывалась метеорологическая информация общим объемом в 15 ТБ. Это и позволило увеличить значение максимальной производительности до 15,07 петафлопс, тогда как в среднем машина работала с мощностью в 13,2 петафлопс. В процессе работы использовалось 9622 ядра суперкомпьютера, за счет чего удалось добиться достаточно впечатляющих показателей и в плане масштабируемости. Система достигла 7205-кратного скачка роста скорости производимых операций в процессе перехода от 1 ядра чипа к 9622. Еще ученые ставили перед собой задачу по расчету определенных данных из направления физики высоких энергий. Производительность машины в этом случае достигла своего максимума на отметке в 11,73 петафлопс.

Выполнение тестовых испытаний выявило, что каждый микрочип Xeon Phi способен показывать до 2 терафлопс, однако, это значение является практически максимальным для приложений, которые существуют в настоящее время. В плане точности эксперимент с использованием суперкомпьютера Cori завершился с неплохим результатом. При выполнении расчетов в области физики точность распознавания сигналов находилась на уровне 72%, тогда как при традиционном анализе такой информации данный показатель обычно едва ли превышает отметку в 40%.

Перспективы развития технологии

В будущем ученые планируют продолжить работы в заданном направлении. Они намерены провести оптимизацию действующих систем глубинного обучения, а также создать новые алгоритмы. Кроме того, они хотят провести серию экспериментов с использованием менее точных вычислительных систем. Ожидается, что такой подход позволит существенно повысить скорость обучения нейронных сетей.