VB单精度型运算的问题
时间:2011-09-02
来源:互联网
我定义了3个单精度(Single)变量a,b,c
a=1
b=0.001
c=a/b
这个c本来应该等于1000,但算出来却是999.9999,这是怎么回事?如何解决?谢谢!
但如果
b=0.1,则c=10
b=0.01,则c=100
b=0.0001,则c=10000
唯独当b=0.001的时候,c不等于1000,而是等于999.9999
a=1
b=0.001
c=a/b
这个c本来应该等于1000,但算出来却是999.9999,这是怎么回事?如何解决?谢谢!
但如果
b=0.1,则c=10
b=0.01,则c=100
b=0.0001,则c=10000
唯独当b=0.001的时候,c不等于1000,而是等于999.9999
作者: yeosn 发布时间: 2011-09-02
用10进制小数不能精确表示某些三进制小数0.1(3)=0.33333333333……(10)
同理,用二进制小数也不能精确表示某些10进制小数。
Dim a As Single
Dim b As Single
Dim c As Single
a = 1
b = 0.001
c = a / b
Debug.Print c '999.9999
Debug.Print Format(c, "#") '1000
同理,用二进制小数也不能精确表示某些10进制小数。
Dim a As Single
Dim b As Single
Dim c As Single
a = 1
b = 0.001
c = a / b
Debug.Print c '999.9999
Debug.Print Format(c, "#") '1000
作者: zhao4zhong1 发布时间: 2011-09-02
因为b=0.001保存不准确(2进制保存小数的固有问题,事实上是个近似数)所以,你运算后,是个近似数,很正常
作者: worldy 发布时间: 2011-09-02
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读:74
-
如何安装mysql8.0
阅读:31
-
Word快速设置标题样式步骤详解
阅读:28
-
20+道必知必会的Vue面试题(附答案解析)
阅读:37
-
HTML如何制作表单
阅读:22
-
百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
阅读:31
-
ET文件格式和XLS格式文件之间如何转化?
阅读:24
-
react和vue的区别及优缺点是什么
阅读:121
-
支付宝人脸识别如何关闭?
阅读:21
-
腾讯微云怎么修改照片或视频备份路径?
阅读:28