float 비주얼라이저를 만들다가 부동소수점에 또 당한 이야기
개발자 도구를 만들다가, 정작 개발자 함정에 걸렸어요
서브넷 계산기를 만들 때 비트를 칸으로 보여주는 UI가 생각보다 반응이 좋았어요. "개념이 어려운 영역일수록 눈으로 보여주는 도구가 낫다"는 결론이 나와서, 이번엔 IEEE754 부동소수점 비주얼라이저를 만들었어요. 숫자를 넣으면 float32/float64로 저장되는 부호·지수·가수 비트를 한 칸씩 보여주고, 칸을 탭하면 비트가 뒤집히면서 값이 실시간으로 바뀌는 도구예요.
그런데 웃긴 게, 부동소수점을 교육하는 도구를 만들다가 부동소수점 표현 한계에 정통으로 걸렸어요. 어떤 비트를 눌러도 값이 0이 되는 버그였는데, 원인이 아주 JS다운 함정이었어요.

만든 도구가 하는 일
먼저 도구 자체를 간단히 소개하면요.
- 숫자를 입력하면 부호(1)·지수(11)·가수(52) 비트 64칸이 색으로 나뉘어 표시돼요
- 칸을 탭하면 그 비트가 뒤집히고, 뒤집힌 비트 패턴의 실제 값이 입력창에 바로 반영돼요
- "실제로 저장된 값"은 0.1000000000000000055511...처럼 정확한 10진수 전체를 전개해 보여줘요 — 0.1이 진짜로 0.1이 아니라는 걸 눈으로 확인하게 하려고요
- 지수가 전부 0이면 서브노멀, 전부 1이면 ∞/NaN — 특수 패턴도 프리셋으로 바로 볼 수 있어요

여기까지는 순조로웠어요. 문제는 비트 클릭이었어요.
어떤 비트를 눌러도 값이 0이 됐어요
스크린샷상으론 멀쩡해 보여서 넘길 뻔했는데, 브라우저 자동화로 실제 클릭 검증을 돌려보니 입력값이 계속 0이 찍혔어요. 가수 LSB를 뒤집으면 0.10000000000000002가 나와야 하는데, 그냥 0. 원인을 쫓다 보니 이런 코드가 있었어요.
// float64 비트를 DataView에 넣기 전, 하위 64비트만 남기는 마스크
dv.setBigUint64(0, bits & BigInt(0xffffffffffffffff));
언뜻 정상인데요, 함정은 0xffffffffffffffff가 bigint가 아니라 먼저 JS number로 평가된다는 거예요. JS number의 정수 정밀도는 2^53까지예요. 2^64−1은 표현이 안 돼서 가장 가까운 수, 즉 2^64로 조용히 반올림돼요. 그래서 실제로는 이렇게 평가됐던 거예요.
bits & BigInt(18446744073709551616) // = bits & 2^64 = 항상 0
64비트 안쪽의 어떤 값과 2^64를 AND하면 당연히 0이죠. 그래서 비트를 누를 때마다 0이 됐던 거예요.

더 웃긴 건 float32 쪽은 멀쩡했다는 거예요. 0xffffffff(2^32−1)는 number로 정확히 표현되거든요. 같은 코드 패턴인데 32비트는 살고 64비트만 죽은 거라, 테스트 없이는 절대 못 잡았을 버그예요. 수정은 간단했어요.
// bigint끼리 연산해서 정확한 마스크를 만든다
dv.setBigUint64(0, bits & ((1n << 64n) - 1n));
bigint가 하나 더 있었어요
비슷한 함정이 하나 더 있었는데요, 이 프로젝트는 TypeScript 타겟이 ES2017이라 1n 같은 bigint 리터럴 문법 자체가 안 돼요. 그래서 코드 전체가 BigInt(1) << BigInt(63) 식으로 돼 있는데, 이러니까 "숫자 리터럴을 BigInt()에 넣으면 bigint가 된다"고 생각하기 쉬운데 — 위 버그처럼 넣기 전에 이미 number로 깎인 경우가 있었던 거예요.
규칙을 하나 세우게 됐어요.
BigInt(...)안에 넣는 상수가 2^53을 넘으면, 문자열로 넣거나(BigInt("0xffffffffffffffff")) 아예 시프트로 만든다- 마스크는
(1n << Nn) - 1n패턴으로 통일한다
"정확한 10진수"는 어떻게 구했나
도구의 핵심 재미인 "실제로 저장된 값" 얘기도 해볼게요. 0.1을 f64로 저장한 뒤 toString()하면 0.1로 보이잖아요. 그건 JS가 "최단 왕복 문자열"을 뽑아주기 때문이고, 실제 메모리 속 값은 0.1000000000000000055511151231257827021181583404541015625예요.
이 값을 구하는 방법이 의외로 깔끔해요. float는 항상 M × 2^e 형태의 유한소수인데, e가 음수일 때 2^-e = 5^|e| / 10^|e|라는 성질이 있어요. 그래서 가수 M에 5^|e|를 곱한 뒤 소수점만 찍으면 정확한 전개가 나와요. bigint로 하면 자릿수 제한 없이 계산되니까, 서브노멀 최솟값(소수점 아래 1074자리)도 그대로 출력돼요. 이 기능 때문에 이 도구를 만들었다고 해도 과언이 아니에요.

검증은 역시 실제로 클릭해야 해요
이번에 배운 교훈이에요. 스크린샷으로 UI가 "보이는가"만 확인하면 이런 버그는 영원히 모릅니다. 결국 Playwright로 실제 클릭을 돌려서 잡았어요.
- 가수 LSB 클릭 →
0.10000000000000002(정확히 1ulp 증가) - 부호 비트 클릭 →
-0.1(부호만 반전) - float32 전환 →
0.100000001490116119384765625(f32 정밀도 오차 그대로)

마지막 게 특히 마음에 들어요. 0.1을 float32로 저장하면 오차가 10진수 몇째 자리에서 틀어지는지 그대로 보이거든요.
정리하면
"부동소수점 시각화 도구를 만들다가 부동소수점 정밀도 함정에 걸렸다" — 이번 삽질의 요약이에요. 0.1 + 0.2 얘기는 다들 아는데, 정수 리터럴이 너무 커서 이미 number 단계에서 깎인다는 건 bigint 시대에도 여전히 살아있는 함정이었어요. 특히 마스크·매직넘버처럼 "당연히 되겠지" 하는 상수에서 나타나요.
도구 자체는 공개해 뒀어요. 지수·가수 비트를 직접 눌러보고 싶으면 IEEE754 부동소수점 비주얼라이저에서 만져볼 수 있어요. NaN이나 서브노멀 프리셋을 눌러서 비트 패턴이 어떻게 생겼는지 보는 것도 꽤 재미있어요.
'IT > javaScript' 카테고리의 다른 글
| 카메라 게임이 버벅여서 AI 추론을 웹 워커로 옮겼더니 생긴 일 (0) | 2026.11.20 |
|---|---|
| 설치 없이 브라우저만 되는 AI 기능들 — 음성인식·표정분석·음정측정 실전 정리 (0) | 2026.11.15 |
| 브라우저 내장 AI 지도 — Gemini Nano, 지금 뭘 쓸 수 있나 (0) | 2026.11.15 |
| 브라우저 내장 AI가 워커에서 멈춘 이유 — Gemini Nano 실전 연동기 (0) | 2026.11.14 |
| aria-label과 role 속성 - 웹 접근성을 위한 필수 개념 (0) | 2025.04.05 |