BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//CERN//INDICO//EN
BEGIN:VEVENT
SUMMARY:Information in Unsupervised Learning
DTSTART;VALUE=DATE-TIME:20191108T052000Z
DTEND;VALUE=DATE-TIME:20191108T054000Z
DTSTAMP;VALUE=DATE-TIME:20260724T113235Z
UID:indico-contribution-36@sshep.snu.ac.kr
DESCRIPTION:Speakers: Junghyo Jo (Seoul National University)\nInformation 
 bottleneck theory explains that neural networks maximally compress unneces
 sary information in input data\, and transfer sufficient information to ou
 tput. Unlike the supervised learning\, the information flow of unsupervise
 d learning has not been explored much. In this talk\, I introduce the info
 rmation extraction of unsupervised learning by using a representative gene
 rative model\, deep belief networks. Then\, I show that the unsupervised l
 earning maximally extracts relevant information given a fixed information 
 compression for its internal representations. This relation between the in
 formation bottleneck theory and our theory reminds the duality between the
  rate distortion theory and channel capacity in information theory. \n\n[
 국문] Information bottleneck 이론은 지도학습과정에서 일어
 나는 신경망의 정보흐름을 정량화하는 이론이다. 이 이
 론에 따르면 신경망의 학습은 입력과 출력을 연결시켜
 주는 최소한의 정보만 전달하고 불필요한 정보는 최대
 한 압축하는 과정임을 보여주었다. 우리는 입력과 출력
 이 정의되는 지도학습과 달리 비지도학습과정에서 일어
 나는 신경망의 정보흐름에 대해 연구했다. 이 발표에서
 는 대표적인 생성모형인 딥빌리프네트워크를 통해서 비
 지도학습과정의 정보추출에 대해 소개하려고 한다. 우
 리는 딥빌리프네트워크가 주어진 해상도의 내적표현을 
 가질 때\, 내적표현의 빈도수에서 최대한의 정보를 추출
 한다는 사실을 발견하였다. Information bottleneck 이론과 우
 리 이론의 관계는 마치 정보이론의 rate distortion theory와 c
 hannel capacity 사이의 쌍대성을 떠올리게 한다.\n\nhttps://ssh
 ep.snu.ac.kr/event/107/contributions/36/
LOCATION:Seoul National University\, College of Natural Sciences\, Buildin
 g 25-1 국제회의실 (International Conference Hall)
URL:https://sshep.snu.ac.kr/event/107/contributions/36/
END:VEVENT
END:VCALENDAR