Ethan Mollick "LLMs are still not consistent judges of qualitative work" — jagged frontier persists

Ethan Mollick이 LLM이 정성적 작업 평가에서 여전히 일관성이 부족하며, 제시 방식의 작은 변화가 결과에 영향을 미친다고 지적했다. 무작위 순서의 다중 평가 등 방법 개선이 도움될 수 있지만, '들쭉날쭉한 프론티어'는 여전히 현실이라고 강조한다. 이는 LLM의 신뢰성 한계를 재확인한 발언으로, AI 평가 도구 사용 시 주의가 필요함을 시사한다.

• #ethan-mollick
• #llm
• #evaluation
• #jagged-frontier

Ethan Mollick@emollick