Доброго времени суток. Необходимо складывать числа с плавающей точкой с точностью 6 знаков после запятой. Пробовал такие варианты:
double calcFreqLBand(double freqReal)
{
int convertor = 10000;
double lFreq;
lFreq=freqReal - (double)convertor;
return lFreq;
}
double calcFreqLBand(double freqReal)
{
int convertor = 10000;
double lFreq;
quint64 freqRealHz=freqReal*1000000;
quint64 convFreqHz=convertor*1000000;
quint64 delta =freqRealHz - convFreqHz;
lFreq = (double)delta/1000000.0;
return lFreq;
}
На вход даю 11920.248666f, ожидаю получить 1920.248666, но получаю допустим 1920.249023 (значения имеют некое отклонение, но не равны ожидаемому). Есть ли варианты исправить ситуацию. Использую QT 5.4, mingw.
f
в своём числе, которые вы туда передаёте. Если не поможет, буду думать дальше. Дело в том, чтоf
значитfloat
, а у васdouble
, отсюда и потери. – Zealint 20 ноя '16 в 17:25