Top小ネタ色々Excelで有効数字

Excelで有効数字

2010年1月23日


10.何が問題なのか

ここまでで出来上がったものを使っていたのだが、実に使い始めて3日目にして、ある事実に気づいた。

これって、対数を使ってるから、負の数だとダメなんじゃね?

実際にそのような場面に出会ったわけではなく、使っていてふと気づいたのだ。
事実、その通りであり、実行すると、対数の真数に負の数を無理矢理入れるので、Excel上でエラーが出る。

そしてもう1つ、実際は気づいていたのだが、「まぁExcelだし、許してもらおうかな」なんて甘い考えでいた。
それは、小数点以下で末尾がゼロになる場合の処理である。

例えば、
0.99996
をこのプログラムで有効数字2桁、3桁に変換すると、どちらも
1
と表示される。しかし、これでは有効数字は1桁であり、決して2桁、3桁ではないのだ。
正しくは
1.0
1.00
とならなければならないのだ。やはり、一介の科学者として、これは許せなくなってきたのだ。

負の数については2桁、3桁で共通して組み込めそうなので、とりあえずそちらから組み込む事にして、
またも頭をひねる羽目に陥る。


[1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14]

<<Prev. | 小ネタTOP | NEXT>>