본문 바로가기
AI 검색 분석

내 사이트의 AI 인용 여부를 기록하는 실험 설계

by 방구석실행자 2026. 9. 8.
반응형

AI 답변은 같은 질문이라도 시점, 로그인 상태, 언어, 위치, 후속 대화에 따라 달라질 수 있습니다. 한 번 질문해 사이트가 나오지 않았다고 GEO에 실패했다고 결론 내리거나, 한 번 인용됐다고 최적화가 성공했다고 말하기 어렵습니다.

공식 보고서를 사용할 수 없는 서비스에서는 조건을 고정한 반복 측정이 필요합니다. 이 글은 순위를 보장하는 방법이 아니라 AI 답변의 출처 변화를 기록하기 위한 소규모 관찰 설계입니다.

먼저 측정할 질문을 세 종류로 나눈다

사이트 이름을 직접 넣은 질문만 사용하면 이미 브랜드를 아는 상황만 측정하게 됩니다. 다음 세 그룹을 분리합니다.

1. 브랜드 질문

  • [사이트 이름]은 어떤 내용을 다루는가?
  • [사이트 이름]의 GEO 분석 글을 요약해줘

사이트 자체가 인식되는지 확인하지만 일반적인 발견 가능성을 측정하지는 못합니다.

2. 주제 질문

  • SEO와 GEO의 차이는 무엇인가?
  • Google 검색에 llms.txt가 필요한가?
  • Bing AI 인용 데이터를 확인하는 방법은?

사이트의 핵심 주제에서 출처 후보가 되는지 확인합니다.

3. 구체적인 작업 질문

  • robots nosnippet이 AI Overviews에 미치는 영향은?
  • 구조화된 데이터가 AI 검색 노출을 보장하는가?
  • GEO 논문의 40% 수치를 어떻게 해석해야 하는가?

페이지가 해결하려는 세부 문제와 직접 연결되는 질문입니다.

각 그룹에서 5개씩 선정하면 총 15개의 기본 질문 세트를 만들 수 있습니다.

측정 조건을 고정한다

기록하지 않으면 다음 측정에서 조건이 달라집니다.

항목 기록 예시

서비스 Microsoft Copilot 웹
측정일과 시간 2026-00-00 10:00 KST
언어 한국어
로그인 상태 로그아웃
위치 대한민국
대화 상태 새 대화의 첫 질문
검색 사용 여부 서비스 화면에 표시된 상태 기록
질문 원문 띄어쓰기까지 그대로 저장

서비스가 모델 이름이나 버전을 표시한다면 함께 기록합니다. 표시하지 않는 정보는 추측하지 않습니다.

결과를 네 단계로 기록한다

각 질문의 결과를 다음처럼 구분할 수 있습니다.

코드 의미

0 사이트가 출처나 답변에 나타나지 않음
1 사이트 이름 또는 URL이 언급되지만 출처 링크는 없음
2 사이트 페이지가 출처 목록에 포함됨
3 출처로 포함되고 해당 페이지의 고유한 정보가 답변에 반영됨

이 코드는 이 블로그에서 관찰을 정리하기 위한 자체 분류이며 서비스 운영사가 제공하는 공식 점수가 아닙니다.

고유한 정보가 반영됐다고 판단하려면 다른 페이지에 흔히 있는 일반론이 아니라 해당 글의 표, 분류, 수치 해석 등 식별 가능한 요소가 답변에 사용됐는지 확인합니다.

측정표

날짜 서비스 질문 ID 질문 결과 코드 인용 URL 답변에서 사용된 정보 비고

2026-00-00   B-01          
2026-00-00   T-01          
2026-00-00   A-01          

브랜드 질문은 B, 주제 질문은 T, 작업 질문은 A처럼 ID를 붙이면 같은 질문을 반복하기 쉽습니다.

수정 전후 실험 방법

페이지를 수정한 효과를 관찰하려면 다른 조건을 최대한 유지합니다.

  1. 수정 전에 15개 질문을 측정합니다.
  2. 결과와 출처 화면을 저장합니다.
  3. 한 페이지 또는 한 가지 요소만 수정합니다.
  4. 수정 내용과 날짜를 기록합니다.
  5. 검색엔진이 변경된 페이지를 다시 발견할 시간을 둡니다.
  6. 동일 질문과 조건으로 다시 측정합니다.
  7. 단일 결과가 아니라 여러 질문과 반복 시점의 변화를 비교합니다.

정해진 재크롤링 기간이 있는 것은 아니므로 수정 후 정확히 며칠이면 반영된다고 단정하지 않습니다.

변경할 요소의 예

  • 오래된 공식 출처를 최신 문서로 교체
  • 결론의 적용 조건과 예외 추가
  • 원 논문의 실험 조건을 명확히 설명
  • 읽기 어려운 비교 내용을 표로 정리
  • 중복된 설명 삭제
  • 작성자와 자료 확인 날짜 표시

한꺼번에 제목, 본문, URL, 내부 링크를 모두 바꾸면 결과 변화의 원인을 판단하기 어렵습니다.

실험의 한계

  • 개인화와 위치를 완전히 통제할 수 없습니다.
  • 서비스 내부 모델과 검색 방식이 예고 없이 바뀔 수 있습니다.
  • 답변이 확률적으로 달라질 수 있습니다.
  • 출처가 표시되지 않아도 정보가 학습 데이터에 포함됐는지 알 수 없습니다.
  • 인용 여부가 실제 방문이나 매출로 이어지는지는 별도로 측정해야 합니다.
  • 소규모 관찰을 전체 시장에 일반화할 수 없습니다.

따라서 결과는 순위가 아니라 특정 조건에서 관찰된 기록으로 공개합니다.

결과를 공개할 때 사용할 문장

안전한 표현:

2026년 0월, 로그아웃 상태에서 한국어 질문 15개를 세 차례 확인한 결과 4개 질문에서 해당 페이지가 출처로 표시됐다. 서비스와 질문에 따라 결과가 달라질 수 있다.

피해야 할 표현:

이 방법을 적용하면 AI 검색 노출이 보장된다.

결론

GEO를 측정하려면 한 번의 검색 화면보다 조건이 기록된 반복 관찰이 필요합니다. 질문 세트, 날짜, 로그인 상태, 서비스, 인용 URL을 남기면 결과가 달라졌을 때 무엇이 바뀌었는지 최소한 비교할 수 있습니다.

이 실험은 AI 시스템의 내부 순위를 알아내는 방법이 아닙니다. 공개된 답변과 출처를 같은 조건에서 관찰해 과장된 결론을 피하기 위한 기록 방법입니다.

참고자료

자료 확인일: 2026-08-31

반응형