create account

2-1 머신 러닝 Softmax와 볼츠만 확률분포와의 Analogy-I by codingart

View this thread on: hive.blogpeakd.comecency.com
· @codingart · (edited)
$6.60
2-1 머신 러닝 Softmax와 볼츠만 확률분포와의 Analogy-I
볼츠만의 통계역학의 출발점은 제한된 용기 부피내의 identical 하면서 distinguishable 한 입자들의 있을 법한(probable) 확률적 역학 상태를 알아내는 일이다. 이미 6개의 입자 문제에서 다루었듯이 identical 하면서 distinguishable 한 조건을 적용하여 1,287개의 microstate 가 가능함을 보았다. 그렇다면 볼츠만의 통계역학에서 사용된 파라메터들에 비추어 MNIST hand written digits 문제에서도 analogy(유사성) 가 성립할 수 있을까? 

MNIST 수기문자 이미지 처리 머신 러닝 코드에 차용하여 적용하는 Softmax와 볼츠만 확률 분포간의 analogy에 대해 알아보자. MNIST 이미지 데이터는  28X28 = 784개 픽셀로 이루어지며 랜덤한 각각의 픽셀 값은 0∼255 사이의 양의 값을 가지는데, 웨이트 매트릭스(W)를 사용하여 볼츠만 분포에서의 에너지 레벨 Ei 에 해당하는 일종의 Hypothesis 레벨을 생성할 수 있다. 볼츠만의 확률 분포를 설명하기 위해 언급했던 N=6 인 입자 통계의 경우 에너지 레벨이 9개로 이루어졌으나 MNIST에서는 0∼9까지의 10개 클라스에 해당하는 수기숫자를 인식하려면 다음과 같이 one hot code를 사용하여 10개 레벨이 구성이 된다. one hot code에서 10 자리 수 값을 다 더하면 항상 1.0이 되므로 확률적인 면을 포함하고 있음에 유의하자. 문자 인식 문제에서는  클라스의 수와 one hot code 레벨 수의 값이 항상 같아지게 됨에 유의하자.

![noname01.png](https://cdn.steemitimages.com/DQmVnvbuukVtRtBQVpocR6BMiWvoGbeXRYPRaa9keQr9ooa/noname01.png)

다음의 MNIST 샘플들을 살펴보자. 0∼9 사이의 10개의 클라스 중 5종류의 MNIST hand written digits 들이다. 학습용 MNIST 샘플은 각 클라스별로 5500개 규모이다. 첫 번째 클라스 0의 경우 수기 숫자인 점을 감안하면 샘플링하기에 따라 얼마든지 많은 샘플을 얻을 수 있다. 

![noname02.png](https://cdn.steemitimages.com/DQmW7nrDwmuYQueGAXrazFwfD938ngex8R7GCXfMmbQbvhe/noname02.png)

클라스가 다같이 0 이란 것은 identical 하다는 것을 의미하는데 필요한 만큼 많은 양의 샘플링이 가능하지만 그 수기 숫자들이 서로 차이점이 있어 즉 distinguishable 하여 쉽게 구별이 가능하다.  


이 MNIST  이미지 데이터에서 identical 하면서 distinguishable 하다는 전제 조건을 사용하여 볼츠만 확률 분포와의 anlogy(유사성)을 고려하여 Softmax 표현식을 유도해 보기로 하자.
👍  , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,
properties (23)
authorcodingart
permlink2-1-softmax-analogy
categorykr
json_metadata{"tags":["kr","kr-new","manamine","jjangjjangman","kr-dev"],"image":["https://cdn.steemitimages.com/DQmVnvbuukVtRtBQVpocR6BMiWvoGbeXRYPRaa9keQr9ooa/noname01.png","https://cdn.steemitimages.com/DQmW7nrDwmuYQueGAXrazFwfD938ngex8R7GCXfMmbQbvhe/noname02.png"],"app":"steemit/0.1","format":"markdown"}
created2019-01-29 13:31:45
last_update2019-01-30 07:14:00
depth0
children1
last_payout2019-02-05 13:31:45
cashout_time1969-12-31 23:59:59
total_payout_value5.017 HBD
curator_payout_value1.586 HBD
pending_payout_value0.000 HBD
promoted0.000 HBD
body_length1,418
author_reputation41,833,111,979,966
root_title"2-1 머신 러닝 Softmax와 볼츠만 확률분포와의 Analogy-I"
beneficiaries[]
max_accepted_payout1,000,000.000 HBD
percent_hbd10,000
post_id79,107,814
net_rshares13,472,425,734,648
author_curate_reward""
vote details (41)
@bukio ·
짱짱맨 호출에 응답하여 보팅하였습니다. 
properties (22)
authorbukio
permlinkre-bukio-jjangjjangman-1548769640995
categorykr
json_metadata"{"tags":["bukio", "jjangjjangman"],"app":"steemer/1.0"}"
created2019-01-29 13:47:21
last_update2019-01-29 13:47:21
depth1
children0
last_payout2019-02-05 13:47:21
cashout_time1969-12-31 23:59:59
total_payout_value0.000 HBD
curator_payout_value0.000 HBD
pending_payout_value0.000 HBD
promoted0.000 HBD
body_length22
author_reputation11,545,563,591,097
root_title"2-1 머신 러닝 Softmax와 볼츠만 확률분포와의 Analogy-I"
beneficiaries[]
max_accepted_payout1,000,000.000 HBD
percent_hbd10,000
post_id79,108,528
net_rshares0