Точность ограничивается наклоном. Чтобы достигнуть максимальной точности, необходимо сделать наклон как можно меньше при хранении области значений соответственно большой. Смещение настроено при взаимодействии с наклоном.
Примите, что максимальные и минимальные реальные значения даны макс. (V) и min (V), соответственно. Эти пределы могут быть известны на основе физических принципов или технических факторов. Чтобы максимизировать точность, необходимо выбрать округляющуюся схему и насыщает ли переполнение или переносится. Для упрощения этот пример принимает, что минимальное реальное значение соответствует минимальному закодированному значению, и максимальное реальное значение соответствует максимальному закодированному значению. Используя схему кодирования, описанную в Масштабировании, этими значениями дают
Решая для наклона, вы добираетесь
Эта формула независима от округления и проблем переполнения, и зависит только от размера слова, ws.