Квантование глубоких нейронных сетей
В цифровом оборудовании числа хранятся в двоичных словах. Двоичное слово является последовательностью фиксированной длины битов (1's и 0). Тип данных задает, как аппаратные компоненты или функции программного обеспечения интерпретируют эту последовательность 1's и 0. Числа представлены как любое масштабированное целое число (обычно называемый фиксированной точкой) или типы данных с плавающей точкой.
Большинство предварительно обученных нейронных сетей и нейронных сетей, обученных с помощью Deep Learning Toolbox™, используют типы данных с плавающей запятой с одинарной точностью. Даже маленькие обученные нейронные сети требуют значительного объема памяти и требуют оборудования, которое может выполнить арифметику с плавающей точкой. Эти ограничения могут запретить развертывание возможностей глубокого обучения к микроконтроллерам малой мощности и FPGA.
Используя Deep Learning Toolbox Библиотека Квантования Модели поддерживает пакет, можно квантовать сеть, чтобы использовать 8-битные масштабированные целочисленные типы данных.
Квантование нейронной сети требует графического процессора, Интерфейса GPU Coder™ для пакета поддержки Библиотек Глубокого обучения и пакета поддержки Библиотеки Квантования Модели Deep Learning Toolbox. Используя графический процессор требует, чтобы CUDA® включил NVIDIA®, графический процессор с вычисляет возможность 6.1 или выше.
Точность и область значений
Масштабированные 8-битные целочисленные типы данных ограничили точность и область значений, когда по сравнению с данными с плавающей запятой с одинарной точностью вводит. Существует несколько числовых факторов при кастинге номера от большего типа данных с плавающей точкой до меньшего типа данных фиксированной длины.
Потеря точности: потеря Точности является погрешностью округления. Когда потеря точности происходит, значение округлено к самому близкому номеру, который является представимым, по условию вводят. В случае связи это округляется:
Положительные числа к самому близкому представимому значению в направлении положительной бесконечности.
Отрицательные числа к самому близкому представимому значению в направлении отрицательной бесконечности.
В MATLAB® можно выполнить этот тип округления использования
roundфункция.Потеря значимости: Потеря значимости является типом потери точности. Потери значимости происходят, когда значение меньше, чем наименьшее значение, представимое по условию, вводит. Когда это происходит, значение насыщает, чтобы обнулить.
Переполнение: Когда значение больше, чем самое большое значение, которое может представлять тип данных, переполнение происходит. Когда переполнение происходит, значение насыщается к самому большому значению, представимому, по условию вводят.
Гистограммы динамических диапазонов
Используйте приложение Deep Network Quantizer, чтобы собрать и визуализировать динамические диапазоны весов и смещения слоев свертки и полносвязные слоя сети и активации всех слоев в сети. Приложение присваивает масштабированный 8-битный целочисленный тип данных для весов, смещений и активаций слоев свертки сети. Отображения приложения гистограмма динамического диапазона для каждого из этих параметров. Следующие шаги описывают, как эти гистограммы производятся.
Например, чтобы начаться, считайте следующие значения регистрируемыми для параметра при осуществлении сети.
Найдите идеальное бинарное представление каждого регистрируемого значения параметра.
Старший значащий бит (MSB) является крайним левым битом двоичного слова. Этот бит способствует больше всего значению номера. MSB для каждого значения подсвечен в желтом.
Путем выравнивания двоичных слов вы видите распределение битов, используемых регистрируемыми значениями параметра. Суммируйте количество MSB в каждом столбце для совокупного представления регистрируемых значений.
Отобразите количества MSB каждого местоположения бита как карта тепла. В этой карте тепла более темно-синие области соответствуют большему числу MSB в местоположении бита.
Программное обеспечение присваивает тип данных, который может представлять местоположения бита, которые получают большую часть информации. В этом примере программное обеспечение выбирает тип данных, который представляет биты от 23 до 2-3. Дополнительный знаковый бит требуется, чтобы представлять со знаком из значения.
После присвоения типа данных удалены любые биты за пределами того типа данных. В этой выборке первое значение, 0.03125, страдает от потери значимости, таким образом, квантованное значение 0. Идеальное значение 2.1 несет некоторую потерю точности, таким образом, квантованное значение 2.125. Значение 16.250 больше, чем самое большое представимое значение типа данных, таким образом, это значение переполняется. Квантованное значение насыщает к 15,874.
Отображения приложения эта гистограмма карты тепла для каждого настраиваемого параметра в слоях свертки и полносвязных слоях сети. Серые области гистограммы показывают биты, которые не могут быть представлены по условию тип.
