News·1주 전
설문조사 데이터를 볼 때 '도마뱀 상수'에 집착하지 말아야 하는 이유
LessWrong 에 게재된 글에서 '도마뱀 상수(Lizardman constant)' 개념을 비판적으로 재검토합니다. Scott Alexander 의 원래 주장은 '매우 인기 없는 의견'에 대한 설문의 약한 신호를 경계하라는 것이었지만, 일부 독자들이 이를 '모든 설문에는 일정 비율의 쓰레기 응답이 있다'는 식으로 오용하고 있다고 지적합니다. 저자는 설문 품질은 단순한 상수가 아니라 설계·표집·질문 구성 등에 따라 달라지므로, 더 정교한 사고가 필요하다고 강조합니다.
설문조사 데이터를 대할 때 '도마뱀 상수 4%'라는 프레임이 오히려 사고를 단순화할 위험이 있습니다.
골자
- 문제의식 — Scott Alexander 의 '도마뱀 상수' 개념이 일부 독자들 사이에서 '모든 설문에는 일정 비율의 쓰레기 응답이 존재한다'는 식으로 오용되고 있습니다.
- 원래 주장 — Alexander 의 원문은 '매우 인기 없는 의견'을 묻는 설문에서 약한 신호를 해석할 때 주의하라는 것이었지, 상수처럼 항상 적용되는 법칙이 아닙니다.
- 저자의 입장 — 설문 품질은 설계·표집·질문 구성 등에 따라 크게 달라지므로, 단순한 상수로 일반화하는 것은 게으른 사고방식이라고 비판합니다.
배경·맥락
- Scott Alexander 가 2013년에 쓴 'The Lizardman Constant'는 극단적 의견을 묻는 여론조사에서 농담·편향·고의적 오류가 신호를 압도할 수 있다는 점을 지적했습니다.
- 오해의 확산 — 일부 독자들이 '4% 상수'를 모든 설문에 적용하며, '어차피 일부는 쓰레기'라는 식으로 데이터를 무시하는 경향이 생겼습니다.
- 참고 자료 — 저자는 American Statistical Association 의 'What is a Survey?' 등 설문 방법론 가이드를 추천하며, 연구자뿐 아니라 데이터를 읽는 독자도 기본 원칙을 알 필요가 있다고 강조합니다.
편집자 한 줄
도마뱀 상수는 유용한 경고이지만, '상수'라는 이름이 오히려 설문 비판을 무기로 삼는 도구가 될 수 있음을 보여주는 사례네요.
- #survey-methodology
- #lizardman-constant
- #rationality
- #statistics
- #lesswrong
LessWrong