Speaker
Prof.
Junghyo Jo
(Seoul National University)
Description
Information bottleneck theory explains that neural networks maximally compress unnecessary information in input data, and transfer sufficient information to output. Unlike the supervised learning, the information flow of unsupervised learning has not been explored much. In this talk, I introduce the information extraction of unsupervised learning by using a representative generative model, deep belief networks. Then, I show that the unsupervised learning maximally extracts relevant information given a fixed information compression for its internal representations. This relation between the information bottleneck theory and our theory reminds the duality between the rate distortion theory and channel capacity in information theory.
[국문] Information bottleneck 이론은 지도학습과정에서 일어나는 신경망의 정보흐름을 정량화하는 이론이다. 이 이론에 따르면 신경망의 학습은 입력과 출력을 연결시켜주는 최소한의 정보만 전달하고 불필요한 정보는 최대한 압축하는 과정임을 보여주었다. 우리는 입력과 출력이 정의되는 지도학습과 달리 비지도학습과정에서 일어나는 신경망의 정보흐름에 대해 연구했다. 이 발표에서는 대표적인 생성모형인 딥빌리프네트워크를 통해서 비지도학습과정의 정보추출에 대해 소개하려고 한다. 우리는 딥빌리프네트워크가 주어진 해상도의 내적표현을 가질 때, 내적표현의 빈도수에서 최대한의 정보를 추출한다는 사실을 발견하였다. Information bottleneck 이론과 우리 이론의 관계는 마치 정보이론의 rate distortion theory와 channel capacity 사이의 쌍대성을 떠올리게 한다.
