안녕하세요, 천상나타입니다.

    최근에 사이트에 카메라 게임을 몇 개 만들었는데요 — 손을 들었다 내렸다 해서 깃발을 조종하는 게임과, 고개 방향으로 승부하는 게임입니다. MediaPipe의 얼굴·손 랜드마크 모델을 브라우저에서 직접 돌리는 구조인데, 만들고 나서 직접 해보니 화면이 통째로 버벅여서 게임이 성립하지 않는 수준이었어요.

    원인은 뻔했습니다. detectForVideo라는 추론 함수를 메인 스레드의 requestAnimationFrame 루프에서 매 프레임 호출하고 있었거든요. 추론 한 번에 수십 ms가 걸리니, 그 시간 동안 깃발 렌더링도 HUD도 전부 멈추는 겁니다. 결국 AI 추론을 Web Worker로 옮기는 작업을 했고, 그 과정에서 생각보다 함정이 많아서 정리해 둡니다.

    구조: 메인 스레드는 렌더링만, 워커는 추론만

    메인 스레드 추론과 워커 추론의 구조 비교 — 추론 위치가 화면 끊김을 결정한다

    바꾼 구조는 간단합니다. 메인 스레드는 카메라 프레임을 createImageBitmap으로 뽑아 워커에 던지고, 워커가 추론해서 랜드마크 좌표만 돌려줍니다. 메인 스레드는 결과가 올 때까지 기다리지 않고 계속 렌더링하니까, 추론이 느려도 화면은 부드럽게 돌아가요.

    워커 쪽 코드는 이런 모양입니다 (실제 코드에서 옮겼어요):

    
    // 워커 내부 — init으로 모델 로드, frame으로 추론
    self.onmessage = async (e) => {
      const m = e.data;
      if (m?.type === "init") {
        try {
          landmarker = await makeLandmarker(m.kind, "GPU");
        } catch {
          try {
            landmarker = await makeLandmarker(m.kind, "CPU"); // GPU delegate 안 되면 CPU 재시도
          } catch {
            self.postMessage({ type: "initError" });
            return;
          }
        }
        self.postMessage({ type: "ready" });
        return;
      }
      if (m?.type === "frame") {
        const bmp = m.bitmap;
        try {
          const result = landmarker?.detectForVideo(bmp, m.ts) ?? null;
          self.postMessage({ type: "result", ts: m.ts, result });
        } finally {
          bmp.close(); // 받은 bitmap은 워커가 닫아야 메모리가 안 샘
        }
      }
    };
    

    여기까지는 교과서대로입니다. 진짜 삽질은 여기서부터였어요.

    삽질 1 — 워커가 죽으면 resolve가 영원히 안 온다

    처음엔 이렇게 기다렸습니다:

    
    // 첫 버전 — 타임아웃 없는 핸드셰이크
    workerReady = new Promise((resolve) => {
      w.onmessage = (e) => {
        if (e.data?.type === "ready") resolve(true);
      };
    });
    await workerReady; // ← 여기서 영원히 멈출 수 있음
    

    문제는 워커가 응답 없이 죽을 수 있다는 겁니다. 워커 스크립트 로딩 실패, WASM 초기화 실패, 모델 CDN 다운로드 실패 — 어디서 죽든 ready 메시지는 안 오고, Promise는 스스로 실패하지 않으니 게임이 "모델 로딩 중"에서 영원히 대기합니다. 실제로 한 기기에서 이 상태가 재현됐어요.

    수정은 타임아웃과 에러 핸들러를 붙이는 것뿐인데, 처음엔 이게 왜 필요한지 몰랐습니다:

    
    workerReady = new Promise((resolve) => {
      const to = setTimeout(() => resolve(false), 15000); // ← 이거 없으면 영구 대기
      const done = (ok) => { clearTimeout(to); resolve(ok); };
      w.onerror = () => done(false);
      w.onmessage = (e) => {
        const m = e.data;
        if (m?.type === "ready") done(true);
        else if (m?.type === "initError") done(false);
        // ... result 처리
      };
    });
    workerOk = await workerReady;
    if (!workerOk) detector = await makeLocalDetector(); // 로컬 추론으로 폴백
    

    15초는 모델 다운로드가 느린 망을 고려한 값입니다. 타임아웃이 너무 짧으면 느린 네트워크에서 정상 워커까지 폴백시켜 버려요.

    삽질 2 — 워커로 옮겼는데도 느리다? 프레임 크기를 봐라

    워커 이전 후에도 손 추적이 굼떴습니다. 특히 한쪽 깃발이 손을 못 따라온다는 피드백이 왔어요. 추론은 워커에서 도는데 왜 느리지? 하고 들여다보니, 640×480 프레임을 통째로 워커에 보내고 있었습니다.

    HandLandmarker는 내부에서 입력을 ~224px로 축소합니다. 즉 640×480을 보내나 320×240을 보내나 추론 정확도는 같아요. 대신 추론 시간과 전송 비용은 다릅니다. 그래서 전송 전에 미리 줄였습니다:

    
    // 매 프레임 — 320×240으로 줄여서 transferable로 전송
    createImageBitmap(video, { resizeWidth: 320, resizeHeight: 240 })
      .then((bmp) => {
        worker.postMessage({ type: "frame", bitmap: bmp, ts }, [bmp]);
      });
    

    createImageBitmap의 resize 옵션 하나로 끝나는 수정인데 체감이 확 달라졌습니다. 그리고 [bmp]로 transferable 전송하면 복사 없이 소유권만 넘어가서 전송 비용도 거의 0이에요. 대신 주의할 게 하나 있습니다 — transfer된 bitmap은 보낸 쪽에서 더 이상 못 쓰고, 받은 워커가 bmp.close()를 해줘야 메모리가 안 샙니다. 이거 빼먹으면 프레임마다 비트맵이 쌓여요.

    삽질 3 — 프레임을 큐에 쌓지 마라, 버려라

    처음엔 매 rAF마다 무조건 프레임을 워커에 던졌습니다. 그러면 추론이 프레임 속도를 못 따라갈 때 메시지가 큐에 쌓이고, 워커는 이미 한참 지난 옛 프레임을 열심히 처리합니다. 손은 이미 다른 위치에 있는데 0.5초 전 프레임의 좌표가 뒤늦게 오는 거죠 — 깃발이 손을 못 따라가는 두 번째 원인이었습니다.

    프레임 파이프라인과 백프레셔 — 워커가 바쁘면 새 프레임은 버린다

    해결은 백프레셔, 즉 "워커가 바쁘면 새 프레임은 버린다"입니다:

    
    if (inFlight) {
      // 이전 프레임 처리 중 — 이번 건 그냥 버림
      if (now - inFlightSince > 1500) {
        // 1.5초째 응답 없음 = 워커 행업 → 로컬 추론 폴백
        workerMode = false;
      }
    } else {
      inFlight = true;
      inFlightSince = now;
      createImageBitmap(video, { resizeWidth: 320, resizeHeight: 240 })
        .then((bmp) => worker.postMessage({type:"frame", bitmap:bmp, ts}, [bmp]));
    }
    

    이렇게 하면 추론 속도에 파이프라인이 자동 적응합니다. 빠른 기기는 초당 프레임을 많이 처리하고, 느린 기기는 자연히 줄어듭니다. 큐가 절대 안 불어나요.

    삽질 4 — 폴백은 "설계"가 아니라 "감지"다

    워커가 안 되는 환경은 생각보다 많습니다. 구형 브라우저는 OffscreenCanvas GL이 안 돼서 MediaPipe GPU delegate가 워커에서 못 뜨고, WASM 로드 자체가 실패하는 환경도 있어요. 그래서 "워커 실패 시 메인 스레드 로컬 추론" 폴백을 달았는데, 어려운 건 폴백 자체가 아니라 실패를 전부 감지하는 것이었습니다.

    워커가 죽는 5가지 경로와 각각의 감지·폴백 방법

    정리하면 실패 경로가 5가지였고, 감지 방법이 전부 달라요:

    1. 워커 스크립트가 안 뜸 — new Worker() 예외, w.onerror
    2. 모델 로드 실패 — 워커가 initError 송신 (GPU delegate → CPU delegate 재시도까지 둘 다 실패한 경우)
    3. 응답 없는 멈춤 — 핸드셰이크 15초 타임아웃 (삽질 1)
    4. 추론 중 반복 크래시 — 워커에서 detect 예외 5연속이면 fatal 송신
    5. 추론 행업 — inFlight가 1.5초를 넘으면 result가 유실된 것으로 판정

    전부 같은 결론(워커 모드 끄고 로컬 추론)으로 수렴하지만, 하나라도 감지를 빼먹으면 그 경우에만 게임이 멈춥니다. 특히 3번과 5번은 조용한 실패라 코드만 봐선 안 보여요 — 실제 기기에서 멈춰야 발견됩니다.

    결과와 남은 것

    바꾸고 나니 메인 스레드는 렌더링(깃발 애니메이션, HUD, 게임 로직)만 남아서 추론 비용과 완전히 분리됐고, 워커가 죽는 거의 모든 경로에서 로컬 추론으로 조용히 내려옵니다. 다만 솔직한 한계도 있습니다:

    • 추론 지연 자체가 사라지는 건 아닙니다. 워커에서 30ms 걸리던 건 여전히 30ms — 화면이 안 끊길 뿐입니다. 그래서 표시 쪽에 예측 오버슈트(남은 거리의 일부를 앞질러 그리기)를 얹어 체감 지연을 추가로 상쇄했어요
    • 로컬 폴백으로 내려간 기기는 결국 메인 스레드 추론이라 원래의 버벅임으로 돌아갑니다. 그래도 "안 되는" 것보단 낫습니다
    • 모델 파일 자체(수 MB)는 워커든 로컬이든 다운받아야 해서 첫 로딩은 여전히 있습니다

    결과물은 직접 해보실 수 있습니다 — 손 들었다 내리며 깃발을 조종하는 청기백기와 고개 방향으로 승부하는 참참참 게임이 이 구조로 돌아가고 있어요.

    정리

    • 브라우저 AI 추론이 화면을 끊게 만들면 워커로 옮기되, 옮기는 것보다 실패 감지가 진짜 작업입니다
    • 워커 핸드셰이크에는 반드시 타임아웃을 — 죽은 워커는 resolve를 보내지 않습니다
    • 모델 입력 크기를 확인해서 전송 전에 줄이면 정확도 손실 없이 빨라집니다
    • 프레임은 큐에 쌓지 말고 버리세요 — 실시간 입력에서 옛 프레임은 쓰레기입니다

    다음엔 이 게임의 또 다른 삽질인 "손에 깃발이 진짜 쥐인 것처럼 보이게 하는 랜드마크 렌더링" 얘기를 해보려 합니다.

    728x90
    Posted by 천상나타.