네이버 서치어드바이저는 API가 없습니다, 그래서 직접 자동화했어요

안녕하세요, 천상나타입니다.

지난 글에서 구글 서치콘솔의 URL Inspection API로 사이트 전체 페이지의 색인 상태를 한 번에 뽑아본 이야기를 했었는데요, 그러면 자연스럽게 이런 질문이 생깁니다. 네이버도 같은 게 되나?

미리 결론부터 말하면, 네이버 서치어드바이저는 공식 API가 없습니다. 검색광고 API나 데이터랩 API는 있지만 사이트 소유자용 색인 검사 API는 아예 제공하지 않아요. 그래서 저는 다른 방법을 썼습니다. 사람이 콘솔에서 하는 걸 그대로 자동화한 거죠. API가 없어도 사실상 API처럼 쓰는 방법을 정리해봤습니다.

네이버에서 수동으로 하는 작업

먼저 사람이 하는 흐름을 볼게요. 서치어드바이저에 로그인하면 등록된 사이트 목록이 나옵니다.

사이트를 고르고 검증 > 색인 상태 확인에 들어가면 URL 검사창이 있습니다. 여기에 검사할 주소를 통째로 넣습니다.

확인을 누르면 두 가지 결과 중 하나가 나옵니다.

• "문서가 성공적으로 색인됐습니다" — 색인 완료. 페이지가 바뀌었으면 최신 정보로 수집 요청 가능
• "URL 검사 결과가 없습니다" 또는 "미색인 문서입니다" — 미색인. 수집 요청이 필요한 상태

미색인이면 요청 > 웹 페이지 수집 메뉴에서 URL을 넣고 수집 요청을 보냅니다. 하단에 요청 내역도 쌓여서 보낸 게 접수됐는지 확인할 수 있어요.

이게 전부인데, 문제는 역시 하나씩이라는 거예요. 페이지가 수백 개면 사람이 할 일이 아닙니다.

그래서 콘솔 자체를 자동화했습니다

공식 API가 없으니 브라우저 자동화(Playwright)로 사람과 똑같은 동작을 코드로 재현했습니다. 흐름은 이렇습니다.

1. 최초 1회 수동 로그인 — 브라우저를 띄워 직접 네이버 로그인하고 '로그인 상태 유지' 체크. 세션이 프로필 폴더에 저장돼서 이후엔 로그인 없이 바로 진입합니다
2. 사이트맵 파싱 — sitemap.xml에서 전체 URL 목록을 읽어옵니다
3. URL별 순회 — 각 URL을 색인 상태 확인창에 넣고 결과 문구를 읽어서 INDEXED / NOT_INDEXED로 분류합니다
4. 미색인만 수집 요청 — 색인된 건 건너뛰고 미색인만 웹 페이지 수집으로 넘겨서 요청을 보냅니다
5. 결과 JSON 누적 — 검사 결과를 파일에 계속 쌓아서 중간에 끊겨도 이어서 돌립니다

핵심은 화면에 실제로 보이는 문구를 그대로 읽는 방식이라는 겁니다. "문서가 성공적으로 색인됐습니다"가 뜨면 색인됨으로 기록하는 식이요.

속도 제한, 사람처럼 기다리기

수집 요청을 빠르게 연속으로 보내면 네이버가 "요청량을 초과했습니다. 잠시 후 다시 요청해 주세요"를 띄웁니다. 단기 속도 제한인데, 이 문구가 나오면 스크립트가 수십 초씩 쉬었다가 같은 URL을 재시도하도록 만들었습니다. 연속으로 여러 번 걸리면 일일 한도로 보고 깔끔하게 중단하고요.

색인된 URL 건너뛸 때도 무작위로 몇 초씩 대기합니다. 사람처럼 느리게, 차단 안 걸리게.

진단 리포트도 같이 긁습니다

검사만으론 아쉬워서 사이트 진단 리포트도 자동으로 수집하게 만들었어요.

여긴 색인된 문서 수, 수집 제한, 색인 제외, SEO 검수(설명 누락·alt 누락·프로토콜 혼합 링크) 같은 항목이 있는데, 상세 페이지로 들어가면 해당 URL 목록이 전부 나옵니다. 이걸 페이지네이션을 넘기며 전부 긁어오는 스크립트를 따로 만들었습니다. 구글 편의 coverageState 분석처럼 네이버 쪽도 "문제 있는 URL 목록"을 데이터로 뽑을 수 있게 된 거죠.

솔직한 한계

• 캡챠는 못 넘습니다. 사이트 신규 등록이나 이상한 동작 감지로 보안문자가 뜨면 사람이 직접 입력해야 합니다
• 공식 API가 아니라 화면 구조에 의존합니다. 네이버가 UI를 바꾸면 스크립트도 고쳐야 해요. 실제로 "URL 검사" 메뉴가 "색인 상태 확인"으로 이름이 바뀐 적도 있습니다
• 속도 제한 존중이 필수입니다. 무리하게 돌리면 계정이 찍힐 수 있으니 적당히 느리게

정리

• 네이버 서치어드바이저는 공식 API가 없지만, 콘솔 자동화로 같은 걸 할 수 있습니다
• 색인 상태 확인 + 웹 페이지 수집 요청을 대량으로 돌릴 수 있고, 결과를 데이터로 남깁니다
• 진단 리포트의 문제 URL 목록까지 전부 수집 가능
• 구글 API 편과 합치면 두 검색엔진 색인 상태를 한눈에 볼 수 있는 셋업이 됩니다

구글 편에서 못 본 분은 같이 보시면 좋습니다. 두 엔진 다 뚫어놓으니 이제 "검색에 왜 안 뜨지?"라는 질문에 둘 다 데이터로 답할 수 있게 됐네요.