생성형 AI 모델을 평가할 때 흔히 벤치마크 점수와 리더보드 순위에 주목한다. 하지만 그것만으로 어떤 AI가 '좋은' AI인지 판단할 수 있을까? 본 튜토리얼에서는 단일 순위, 집계 점수, 고정된 테스트셋에 의존하는 기존 벤치마크 중심 평가의 한계를 짚어본다. 그리고 이러한 문제를 다루기 위한 접근으로, 사람이 평가 과정에 직접 참여하도록 돕는 인간 중심의 인터랙티브 도구와 인간-AI 협업 워크플로우를 소개한다. 이를 통해 모델을 개발 또는 배포하는 사람들이 주어진 점수에만 의존하지 않고, 모델의 문제점을 직접 발견하고 자신의 필요에 맞게 평가 기준을 만들어 가는 방법을 살펴본다. 나아가, AI를 인간의 의도와 가치에 맞게 정렬(alignment)한다는 것의 의미를 생각해보고, 인간 중심 AI 평가와 관련한 최근 연구 쟁점과 향후 방향을 논의한다.
Bio:
Minsuk Kahng is an Assistant Professor at Seoul National University in the Graduate School of Data Science and SNU College. His research bridges responsible AI, human-computer interaction, and data visualization, with a focus on building interactive tools and human-AI collaboration workflows that support the responsible development of AI systems. Before joining Seoul National University, he was an Assistant Professor at Yonsei University, a Senior Research Scientist at Google DeepMind in the People + AI Research team, and an Assistant Professor at Oregon State University. He received his Ph.D. in Computer Science from Georgia Tech with a Dissertation Award, and his Master's and bachelor's degrees from Seoul National University.
