볼츠만의 통계역학의 출발점은 제한된 용기 부피내의 identical 하면서 distinguishable 한 입자들의 있을 법한(probable) 확률적 역학 상태를 알아내는 일이다. 이미 6개의 입자 문제에서 다루었듯이 identical 하면서 distinguishable 한 조건을 적용하여 1,287개의 microstate 가 가능함을 보았다. 그렇다면 볼츠만의 통계역학에서 사용된 파라메터들에 비추어 MNIST hand written digits 문제에서도 analogy(유사성) 가 성립할 수 있을까? MNIST 수기문자 이미지 처리 머신 러닝 코드에 차용하여 적용하는 Softmax와 볼츠만 확률 분포간의 analogy에 대해 알아보자. MNIST 이미지 데이터는 28X28 = 784개 픽셀로 이루어지며 랜덤한 각각의 픽셀 값은 0∼255 사이의 양의 값을 가지는데, 웨이트 매트릭스(W)를 사용하여 볼츠만 분포에서의 에너지 레벨 Ei 에 해당하는 일종의 Hypothesis 레벨을 생성할 수 있다. 볼츠만의 확률 분포를 설명하기 위해 언급했던 N=6 인 입자 통계의 경우 에너지 레벨이 9개로 이루어졌으나 MNIST에서는 0∼9까지의 10개 클라스에 해당하는 수기숫자를 인식하려면 다음과 같이 one hot code를 사용하여 10개 레벨이 구성이 된다. one hot code에서 10 자리 수 값을 다 더하면 항상 1.0이 되므로 확률적인 면을 포함하고 있음에 유의하자. 문자 인식 문제에서는 클라스의 수와 one hot code 레벨 수의 값이 항상 같아지게 됨에 유의하자.  다음의 MNIST 샘플들을 살펴보자. 0∼9 사이의 10개의 클라스 중 5종류의 MNIST hand written digits 들이다. 학습용 MNIST 샘플은 각 클라스별로 5500개 규모이다. 첫 번째 클라스 0의 경우 수기 숫자인 점을 감안하면 샘플링하기에 따라 얼마든지 많은 샘플을 얻을 수 있다.  클라스가 다같이 0 이란 것은 identical 하다는 것을 의미하는데 필요한 만큼 많은 양의 샘플링이 가능하지만 그 수기 숫자들이 서로 차이점이 있어 즉 distinguishable 하여 쉽게 구별이 가능하다. 이 MNIST 이미지 데이터에서 identical 하면서 distinguishable 하다는 전제 조건을 사용하여 볼츠만 확률 분포와의 anlogy(유사성)을 고려하여 Softmax 표현식을 유도해 보기로 하자.
author | codingart |
---|---|
permlink | 2-1-softmax-analogy |
category | kr |
json_metadata | {"tags":["kr","kr-new","manamine","jjangjjangman","kr-dev"],"image":["https://cdn.steemitimages.com/DQmVnvbuukVtRtBQVpocR6BMiWvoGbeXRYPRaa9keQr9ooa/noname01.png","https://cdn.steemitimages.com/DQmW7nrDwmuYQueGAXrazFwfD938ngex8R7GCXfMmbQbvhe/noname02.png"],"app":"steemit/0.1","format":"markdown"} |
created | 2019-01-29 13:31:45 |
last_update | 2019-01-30 07:14:00 |
depth | 0 |
children | 1 |
last_payout | 2019-02-05 13:31:45 |
cashout_time | 1969-12-31 23:59:59 |
total_payout_value | 5.017 HBD |
curator_payout_value | 1.586 HBD |
pending_payout_value | 0.000 HBD |
promoted | 0.000 HBD |
body_length | 1,418 |
author_reputation | 41,833,111,979,966 |
root_title | "2-1 머신 러닝 Softmax와 볼츠만 확률분포와의 Analogy-I" |
beneficiaries | [] |
max_accepted_payout | 1,000,000.000 HBD |
percent_hbd | 10,000 |
post_id | 79,107,814 |
net_rshares | 13,472,425,734,648 |
author_curate_reward | "" |
voter | weight | wgt% | rshares | pct | time |
---|---|---|---|---|---|
arcange | 0 | 12,984,219,527 | 2% | ||
raphaelle | 0 | 819,723,584 | 2% | ||
warofcraft | 0 | 82,426,216,601 | 20% | ||
eforucom | 0 | 40,060,091,823 | 2% | ||
bukiland | 0 | 3,664,984,624 | 2.1% | ||
lawrenceho84 | 0 | 36,799,783,996 | 100% | ||
msg768 | 0 | 8,164,953,826 | 2% | ||
dronefly | 0 | 5,282,395,092 | 100% | ||
wony | 0 | 620,756,339,907 | 80% | ||
jamjamfood | 0 | 64,577,278,784 | 25% | ||
virus707 | 0 | 7,476,457,634,016 | 80% | ||
beoped | 0 | 46,935,865,675 | 30% | ||
ratticus | 0 | 4,226,905,381 | 10% | ||
bramd | 0 | 4,272,881,754,092 | 50% | ||
kasho | 0 | 108,867,640,491 | 100% | ||
openledgerio | 0 | 274,015,992 | 54% | ||
mindwindow | 0 | 4,914,863,949 | 100% | ||
urobotics | 0 | 8,484,127,315 | 100% | ||
cheneats | 0 | 1,262,553,695 | 6% | ||
lawrenceho | 0 | 52,337,414,674 | 100% | ||
dj-on-steem | 0 | 6,472,727,886 | 31% | ||
predictionbot | 0 | 19,695,919,121 | 100% | ||
hansangyou | 0 | 68,929,809,805 | 25% | ||
ruka0105 | 0 | 133,294,793,190 | 100% | ||
legko | 0 | 471,797,011 | 8% | ||
sd974201 | 0 | 2,685,008,110 | 7% | ||
bogdasha | 0 | 1,350,051,413 | 5% | ||
yougotresteemed | 0 | 159,455,607 | 6% | ||
anpigon | 0 | 42,789,761,584 | 50% | ||
mmmagazine | 0 | 54,441,636,793 | 80% | ||
bukio | 0 | 238,398,966,774 | 2.01% | ||
merlin7 | 0 | 335,446,000 | 0.01% | ||
stmpay | 0 | 6,095,726,350 | 1.93% | ||
trueimagine | 0 | 4,788,705,631 | 49% | ||
bluesniper | 0 | 4,925,861,147 | 0.6% | ||
hojiaxian | 0 | 3,369,676,624 | 100% | ||
luna777 | 0 | 1,901,214,049 | 3.14% | ||
ctime | 0 | 27,039,365,072 | 0.9% | ||
mbappe | 0 | 1,775,739,314 | 3% | ||
xrp.trail | 0 | 986,297,821 | 1.6% | ||
holydog | 0 | 339,012,302 | 1% |
짱짱맨 호출에 응답하여 보팅하였습니다.
author | bukio |
---|---|
permlink | re-bukio-jjangjjangman-1548769640995 |
category | kr |
json_metadata | "{"tags":["bukio", "jjangjjangman"],"app":"steemer/1.0"}" |
created | 2019-01-29 13:47:21 |
last_update | 2019-01-29 13:47:21 |
depth | 1 |
children | 0 |
last_payout | 2019-02-05 13:47:21 |
cashout_time | 1969-12-31 23:59:59 |
total_payout_value | 0.000 HBD |
curator_payout_value | 0.000 HBD |
pending_payout_value | 0.000 HBD |
promoted | 0.000 HBD |
body_length | 22 |
author_reputation | 11,545,563,591,097 |
root_title | "2-1 머신 러닝 Softmax와 볼츠만 확률분포와의 Analogy-I" |
beneficiaries | [] |
max_accepted_payout | 1,000,000.000 HBD |
percent_hbd | 10,000 |
post_id | 79,108,528 |
net_rshares | 0 |