9 Replies Latest reply on Dec 6, 2018 1:44 AM by Takao Ozawa

    小数を文字列に変更すると誤差が生じる場合がある

    Takao Ozawa

      お世話になっております、小澤と申します。(2度目の投稿です。)

      小数型のメジャーを文字列のディメンションとして扱いたいため、str関数を持ちいて文字列型に変更したところ、誤差が乗ってしまう場合があります。

      明示的にRound関数を用いて有効小数点を限定しても事象は変わらないようです。

      この場合どのよう対応するべきでしょうか?ソフトウェアの改善が必要では?という気もしています。

       

        元データ(Categoryはとくに使用していない)

      TimeOnvalueCategory
      0.01A
      0.02A
      0.1A
      0.14A
      0.17A
      0.24A

      計算式

      TimeOnvalueRoundround([TimeOnvalue],2)
      TimeOnvalue文字str([TimeOnvalue])
      TimeOnvalueRound文字str([TimeOnvalueRound])

      結果:0.01と0.02は誤差が乗っていないが、それ以外は誤差が生じている

      検証.png