人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

整数の四則演算を行う場合、整数の桁数(バイト数)によって精度は変化するのでしょうか?

●質問者: nightst
●カテゴリ:コンピュータ 学習・教育
✍キーワード:バイト 整数 演算
○ 状態 :終了
└ 回答数 : 3/3件

▽最新の回答へ

1 ● virus
●10ポイント

http://www.hatena.ne.jp/1084418348

整数の四則演算を行う場合、整数の桁数(バイト数)によって精度は変化するのでしょうか? - 人力検索はてな

ソフトによります。

普通のソフト(エクセル等)であれば、有効桁数は12桁程度と思っておいた方が良いです。つまり上位から12桁程度までの数字しか当てにならないと言うことです。

加減算ならその程度の桁数、乗除算であればその半分程度の桁数までは精度が出ます。

完全に整数計算しているソフトであれば、16ビットで計算していれば5桁程度、32ビットでも10桁程度が表現可能な数値ですから、それ以上大きな数値は扱えません。精度もこの範囲です。

多バイト長計算をしていると謳っているソフトであれば、この制限はありません。すべての数値計算できちんとした精度が出ます。


2 ● aki73ix
●20ポイント

http://www-ise3.ise.eng.osaka-u.ac.jp/miura/programLecture/lectu...

第2回:データ型

精度は変化しません


3 ● kanetetu
●30ポイント

http://www.faireal.net/articles/5/25/

こちらどうぞ。

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ