The
Floating Point Handler compares floating point numbers using "visual" precision, i.e., numbers that display as the same string are considered equal. This is one way of dealing with floating point rounding issues that can cause apparently correct results to be marked as incorrect.
| check | test result |
| sample do |
| check | divide float | 1 | | 3 | 0.3333333 |
| check | divide double | 1 | | 3 | 0.333333333333333 |
| configuration setup |
| add | fitlibrary.CellHandlers | | FloatingPointHandler |
| sample do |
| check | divide float | 1 | | 3 | 0.3333333 |
| check | divide double | 1 | | 3 | 0.333333333333333 |
| | sample do | | check | divide float | 1 | | 3 | 0.3333333 expected
0.3333333 actual | | check | divide double | 1 | | 3 | 0.333333333333333 expected
0.333333333333333 actual |
| configuration setup | | add | fitlibrary.CellHandlers | | FloatingPointHandler |
| sample do | | check | divide float | 1 | | 3 | 0.3333333 | | check | divide double | 1 | | 3 | 0.333333333333333 |
|