Questions et réponses pour le floating-point-precision :

Tout ce qui concerne la précision d'une représentation de numéro de point flottant. Le terme précision fait référence au nombre de chiffres significatifs qu'une représentation peut contenir. Ce n'est pas la même chose que la "précision", qui concerne les erreurs dans la réalisation de calculs, bien que cela puisse être parfois lié.


9
votes
J'ai cette ligne de code simple: xxx Lorsque j'imprime ce Val ou regarde dans la portée, il stocke la valeur 123456.13 OK, ça va bien, &cced ...

7
votes
Je veux obtenir 1/7 avec une meilleure précision, mais il a été tronqué. Comment puis-je obtenir une meilleure précision lorsque je convertit un ...

7
votes
Je veux compter de 0,0001 à 1 avec 0,0001 pas dans Ruby. J'ai écrit ce code mais il entre dans une boucle infinie. L'interprète fait une mauvaise somme. 0.0001 0.0002 0.0 ...