> 학술행사 > 국내학술대회
KAIST
POSTECH
고려대학교
서울대학교
Abstract:
기계학습과 통계 및 확률은 서로 밀접한 연관성이 있다. 인공신경망 등의 기계학습 모델은 명시적으로 제시되지 않았으며, 데이터로 암시되는 함수의 근사 추정이라고 생각할 수 있다. 그리고 이런 기계학습 모델들의 학습과정은 추정되는 함수의 파라미터 최적화 과정이다. 이 세션에서는 기계학습 모델의 통계 및 확률적 함의를 알아보고, 이후 동계강좌를 통해 설명될 다양한 기법들의 통계 및 확률적인 의미를 살펴보는 시간을 가질 예정이다.
Bio:
2011 - 현 재 : KAIST 산업 및 시스템 공학과 교수 2008 - 2011 : KAIST 박사후 연구원 2005 - 2008 : Carnegie Mellon University School of Computer Science 박사
본 강연에서는 실제 생물학적인 뉴런과 시냅스의 작동 원리를 모방하고 진화 알고리즘을 통해 학습할 수 있는 진화 가능한 신경망 단위를 제안한 연구를 소개한 후, 스스로 경기 상황을 인식한 후 경기 전략을 수립하고 실제 컬링장의 얼음 판에서 경기 수행이 가능한 인공지능 컬링 로봇 기술을 각각 소개하고자 한다. 기존의 인공신경망 모델은 다양한 분야에서 성공을 거두고 있으나, 이는 인간 뇌의 아주 일부분인 뉴런과 시냅스의 원리를 수학적으로 모델링하는 것에 그쳐, 스스로 학습하고 자가 진화하는 능력은 부족했다. 본 강연에서 소개하는 진화 가능한 인공 신경망 모델은 실제 인간의 뇌에서 뉴런과 시냅스가 복잡하고 긴 진화의 과정을 통해 학습하는 과정을 모방하여 만들었다. 인간의 뇌가 수학적 모델링 및 인위적으로 패턴을 기반으로 학습하지 않는 것처럼, 제안된 방법은 구현된 신경망 단위가 실제 진화 과정을 토대로 학습하는 새로운 인공지능 기술이다. 또한, 로봇 제어 인공지능 관련하여 대부분의 기존 인공지능 로봇에 대한 연구는 주로 가상 환경 또는 제약된 환경에서 진행되고 있다. 본 강연에서 소개하는 컬링 로봇 인공지능은 크게 컬링 경기 대용량 데이타베이스 구축, 빙판의 마찰 변화 및 스위핑 효과 등의 표현이 가능한 사실적 컬링 시뮬레이션, 컬링의 불확실성을 반영한 딥러닝 기반의 전략 수립 기술, 경기 중에 변하는 빙질에 따라 실시간으로 적응하는 강화 학습 기반의 빙질 상태 예측 기술 등으로 이루어져 있으며, 최종적으로 컬링 로봇이 경기 상황과 실제 환경에 맞는 최적의 컬링 전략을 수립하고 경기를 수행할 수 있도록 하였다.
2019 - : 고려대학교 인공지능학과 학과장 2017 - 2019 : 사단법인 한국인공지능학회 초대 회장 2015 - 2017 : 한국정보과학회 인공지능소사이어티 회장 2010 - : IEEE Fellow 2009 - : 한국과학기술한림원 정회원 2009 - 2021 : 고려대학교 뇌공학과 학과장 1995 - 2009 : 고려대학교 컴퓨터학과 부교수, 정교수
본 강연에서는 최근 화두가 되고 있는 Adversarial Machine Learning과 관련한 최근 연구동향을 소개한다. 딥러닝 기술은 기존 방법론들을 압도하는 성능으로 다양한 컴퓨터비전 문제들을 – 물체인식, 3차원복원, 영상분할, 물체추적 등 – 해결하여 장미빛 환상을 심어주고 있다. 분명 딥러닝 기술은 수 많은 인공지능의 난제들을 해결할 수 있는 가능성이 매우 높은 기술이지만, 인간시각에는 전혀 영향을 미치지 않는 작은 크기의 변화에도 대응하지 못하는 근본적인 한계가 있다 (Robustness Problem). 본 강연에서는 이 같은 딥러닝 기술의 Robustness Problem에 대한 KAIST-RCV 랩에서 개발된 최근 연구결과를 중심으로 문제해결의 가능성과 한계를 설명한다. 구체적으로는 새로운 Universal Adversarial Perturbations (UAP) 모델을 소개하고 Robustness를 역으로 이용한 암호화 – 스테가노그래피(Steganogrphy) – 를 위한 새로운 Universal Deep Hiding (UDH) 모델을 소개한다.
1981년 서울대 공대 기계설계학과를 졸업하고 동대학원에서 석사학위를 1983년에 취득하였다. 1984년8월까지 한국기계연구원에서 연구원으로 근무한 후, 카네기멜론대학에서 1990년 로보틱스 박사학위를 취득하였다. 이후 1992년까지 도시바 R&D센터에서 연구원으로 근무하다가, 동년 3월 카이스트로 부임하여 현재까지 전기및전자공학부 교수로 재직하고 있다. 학회 활동으로는 2016년 로봇학회 회장, 2017~2018년 컴퓨터비전학회 회장, 2019년 International Conference on Computer Vision (ICCV) 학회 Program Chair로 봉사하였다. 수상실적으로는 2015년 DARPA Robot Challenge에서 Team KAIST의 로봇시각시스템을 개발하여 우승에 기여하였으며, 2014년 IEEE CSVT Best Paper Award, 2016년 로봇대상 국무총리표창, 카이스트 50주년 기념 학술대상 수상 등이 있다.
연속/지속 학습 (Continual Learning)은 연속적으로 주어지는 경험들에 대해, 예전 지식은 최대한 잊지 않으면서 새로운 지식을 지속적으로 배울 수 있는 기계 학습 모델을 연구한다. 본 강의에서는 Continual Learning 대표적 접근법인 Regularization, Reply memory, Expansion 기반의 방법론들을 살펴보고, 강연자의 연구 그룹에서 최근에 개발한 Nonparametric Bayesian을 이용한 Task-free Continual Learning 방법론과 Multi-label Classifation을 위한 Continual Learning 방법론을 설명한다
2015 - 현재 : 서울대학교 공과대학 컴퓨터공학과 조교수 2013 - 2015 : 박사후 연구원, Disney Research 2009 - 2013 : Carnegie Mellon University 전산학 박사
메타학습, 혹은 “Learning to Learn”은 기계학습 모델의 일반화 성능을 높이기 위하여 특정 태스크에 학습하는 것이 아닌 한 태스크의 분포에 일반화하도록 다양한 태스크에 대하여 학습하는 방법을 말한다. 본 튜토리얼에서는 메모리 기반 메타학습, 메트릭 기반 메타학습, 그레디언트 기반 메타학습 등 다양한 최신 메타학습 방법론과 이의 소수샷, RL등의 응용에의 적용을 알아본다.
2020~ 카이스트 인공지능대학원/전산학부 부교수
2018~2019 카이스트 전산학부 조교수
2014~2017 울산과학기술원 전자전기컴퓨터공학부 조교수
2013~2014 디즈니 리서치 박사후연구원
2013 University of Texas, Austin 박사 졸업
기계학습은 일반적으로 목적함수를 설정하고 그 목적함수를 최적화를 하는 과정으로 진행된다. 최적화를 위하여 많은 방법이 제시되었으며 상황에 따라 다른 방법들을 사용하며 성능을 높여왔다. 본 강의에서는 최근 기계학습 알고리즘들이 사용하는 최적화 기법들을 이해하기 위하여 convex 함수 최적화에서부터 시작하여 기초적인 최적화 이론을 설명하고, 이를 바탕으로 최신 기법들을 설명한다. Gradient descent와 stochastic gradient descent 기반의 ADAM, RMSProp, 등의 방법이 소개되며 분산 최적화 기법, gradient를 사용하지 않는 최적화 기법을 소개하며 강의를 마무리한다.
현, KAIST AI 대학원 조교수 (2017. 7~) 미국 로스알라모스연구소 박사후연구원 (2016. 4 ~ 2017.7) 마이크로소프트 연구소 (영국 캠브리지) 방문연구원 (2015. 6~ 2016. 3) 마이크로소프트-INRIA 연구소 박사후연구원 (2014. 4~ 2015. 4) 스웨덴 왕립 공과대학 KTH 박사후연구원 (2013. 2~2014. 3)
Machine Learning Theory
NFs offer an answer to a long-standing question in machine learning: How one can define faithful probabilistic models for complex high-dimensional data. NFs solve this problem by means of non-linear bijective mappings from simple distributions (e.g. multivariate normal) to the desired target distributions. These mappings are implemented with invertible neural networks and thus have high expressive power and can be trained by gradient descent in the usual way. Compared to other generative models, the main advantage of normalizing flows is that they can offer exact and efficient likelihood computation and data generation thanks to bijectivity. This session will explain the theoretical underpinnings of NFs, show various practical implementation options, clarify their relationships with the other generative models such as GANs and VAEs.
Dongwoo Kim is an assistant professor at the Department of Computer Science and Engineering, POSTECH. Prior to POSTECH, he worked as an assistant professor (lecturer) / research fellow at the Australian National University. He received his Ph.D. from KAIST in 2015, under the supervison of professor Alice Oh. Applications in his interests include machine learning and its implication on human understanding.
그래프는 개체들 간의 연결 관계를 표현하는 데이터 구조로서 실생활의 다양한 현상들을 표현하는데 널리 사용되며, 대표적인 예시로는 사용자의 소셜 네트워크, 지식 그래프, 분자 구조 그래프, 단백질 간 반응 그래프, 유전자 그래프 등을 들 수 있다. 그래프 기반 기계학습 모델의 성능 향상을 위해서는 그래프의 구조를 고려해 node 및 edge의 representation을 학습 하는것이 핵심이며, 이를 위해 최근 딥러닝 기술의 발전과 함께 그래프 분석을 위한 기계학습 기법이 각광을 받고 있다. 본 강연에서는 Graph Representation Learning을 위한 딥러닝 기반 최신 기술 및 연구 동향을 소개하며, 그래프 기계학습 기술의 응용분야에 대해 소개한다. 뿐만 아니라, GNN의 효과적인 학습을 위한 self-supervised learning 기법에 대해서도 소개한다.
2020 - 현 재 : KAIST 산업 및 시스템 공학과 조교수 2019 - 2020 : University of Illinois at Urbana-Champaign 박사 후 연구원 2019 : POSTECH 컴퓨터공학 박사
