6주차 Day21 GAN: Generative Adversarial Networks

확률 분포

• 확률 분포는 확률 변수가 특정한 값을 가질 확률을 나타내는 함수를 의미한다.

- 이산확률분포

• 이산 확률 분포는 이산 확률 변수가 가지는 확률 분포를 의미한다. 여기에서 확률변수가 이산 확률변수라는 말은 확률 변수가 가질 수 있는 값의 개수가 가산 개 있다는 의미이다.- 연속확률분포
• 연속 확률 분포는 확률 밀도 함수를 이용해 분포를 표현할 수 있는 경우를 의미한다. 연속 확률 분포를 가지는 확률변수는 연속 확률 변수라고 부른다.

기대값 공식

• 이산확률변수

이산확률변수 기대값 공식

• 연속확률변수

연속확률변수 공식

---

이미지 데이터에 대한 확률분포

• 이미지 데이터는 다차원 특징 공간의 한 점으로 표현됩니다.
  • 이미지의 분포를 근사하는 모델을 학습할 수 있습니다.
• 사람의 얼굴에는 통계적인 평균치가 존재할 수 있습니다.
  • 모델은 이를 수치적으로 표현할 수 있게 됩니다.
• 이미지에서의 다양한 특징들이 각각의 확률 변수가 되는 분포를 의미합니다.
  • 다변수 확률분포(multivariate probability distribution) 예시는 다음과 같습니다.

생성모델(Generative Models)

• 생성모델은 실존하지 않지만 있을 법한 이미지를 생성할 수 있는 모델을 의미합니다.

생성모델의 목표

• 이미지 데이터의 분포를 근사하는 모델 G를 만드는 것이 생성 모델의 목표입니다.
• 모델 G가 잘 동작한다는 의미는 원래 이미지들의 분포를 잘 모델링할 수 있다는 것을 의미합니다.
  • 2014년에 제안된 Generative Adversarial Networks (GAN)이 대표적입니다.
  • GAN으로부터 매우 다양한 논문들이 파생되었습니다.

Generative Adversarial Networks (GAN)

• 생성자(generator)와 판별자(discriminator) 두 개의 네트워크를 활용한 생성 모델입니다.
• 다음의 목적함수를 통해 생성자는 이미지 분포를 학습 할 수 있습니다.

GAN의 수렴 과정

GAN의 생성망과 판별망의 동작 원리

생성망

• 주어진 데이터와 유사한 허구데이터(생성 데이터)를 생성한다.
• 저차원 무작위 잡음을 입력받아 고차원 허구이미지를 생성한다.
• 실제 이미지를 학습하여 확률분포가 최대한 비슷하도록 허구이미지를 만든다.

판별망

• 허구 데이터인지 실제 데이터인지 구분한다. (입력된 이미지가 실제인지 허구인지 판별)
• 허구이미지는 생성망의 학습이 진행됨에 따라 점점 실제이미지와 유사해진다. 그래서 판별망은 점진적으로 학습한다.
• 무작위 잡음 벡터 Z를 입력받아 생성하는 생성망의 결과를 판별한다.

실제 데이터를 1(참)로 판별하는 과정

데이터로부터 가져온 샘플 -> 미분 가능한 판별 함수 D -> 1을 출력하려고 노력하는 판별 함수 D

(설명) 실제 데이터의 일부를 판별망에 입력한다. 미분 가능한 판별 함수 D가 그 샘플을 1로 판별할 수 있도록 학습을 시키고, 정확도가 높은 판별을 위해 신경망으로 구성한다.

허구 데이터를 0(거짓)으로 판별하는 과정

무작위 잡음 벡터 Z -> 미분 가능한 생성 함수 G -> 모델로부터 가져온 샘플 -> 미분 가능한 판별 함수 D -> 0을 출력하려고 노력하는 판별 함수 D

• 무작위 잡음 : 실제 데이터의 확률분포와 다른 '임의의 확률분포'

(설명) 무작위 잡음을 G에 통과시킨다. 여기서 복잡한 확률분포를 변환하기 위해 생성함수 G를 신경망으로 구성한다. 다음으로 G가 생성한 데이터를 추출한다. 추출 데이터와 목표 데이터를 판별 함수 D에 통과시킨다. 이 판별 함수는 실제 데이터 판별에 사용한 신경망을 한 번 더 사용한다. 판별값은 거짓(0)이 되어야 한다.

내용 출처 및 참고 사이트

https://ko.wikipedia.org/wiki/%ED%99%95%EB%A5%A0_%EB%B6%84%ED%8F%AC

https://comlini8-8.tistory.com/10

https://engineer-mole.tistory.com/51
https://hensorflow.tistory.com/9
https://ebbnflow.tistory.com/167