마코프 체인 몬테카를로 예제

그래서, 마르코프 체인 몬테 카를로 (MCMC) 방법은 무엇입니까? 짧은 대답은 : 마르코프 체인 몬테 카를로는 복잡한 분포에서 샘플링하는 방법입니다. “복잡한 배포”란 무엇입니까? 어렵거나 확률을 찾는 것이 거의 불가능한 것입니다. 이러한 유형의 문제를 “고차원” 문제라고 합니다. 고차원 문제의 한 가지 예는 월드 와이드 웹에서 페이지의 상대적 중요도를 계산하는 것입니다. 수십억 페이지뿐 아니라 일정한 변화 상태에 있습니다. 마르코프 체인 몬테 카를로는 합리적인 시간 내에 이러한 유형의 문제를 해결할 수 있습니다. MCMC 방법을 사용하면 직접 계산할 수 없는 경우에 대비하여 후방 분포의 모양을 추정할 수 있습니다. MCMC는 마르코프 체인 몬테 카를로 방법을 의미 합니다 기억. 그들이 어떻게 작동하는지 이해하기 위해 먼저 몬테 카를로 시뮬레이션을 소개한 다음 마르코프 체인에 대해 설명합니다. 몬테 카를로(Monte Carlo) 방법은 비교적 작은 단계로 평형 분포를 중심으로 이동하며, 동일한 방향으로 진행되는 단계는 없습니다.

이러한 방법은 구현및 분석이 용이하지만 불행히도 워커가 모든 공간을 탐색하는 데 시간이 오래 걸릴 수 있습니다. 워커는 종종 뒤로 두 번 및 이미 덮여 땅을 커버합니다. Markov 체인 몬테 카를로 방법은 알려진 함수에 비례하는 확률 밀도와 함께 가능한 다차원 연속 랜덤 변수에서 샘플을 만듭니다. 이러한 샘플을 사용하여 해당 변수에 대한 적분적 값을 예상 값 또는 분산으로 평가할 수 있습니다. 나는 그 짧은 대답을 설명 했으면 좋겠다, 왜 MCMC 방법을 사용 하 여, 그리고 어떻게 그들은 작동. 이 게시물에 대한 영감은 워싱턴 DC에서 총회의 데이터 과학 몰입 과정의 일환으로 준 강연이었다. 그 이야기의 목표는 비 기술적 인 청중에게 마르코프 체인 몬테 카를로 방법을 설명하는 것이었고, 나는 여기에서 동일한 작업을 수행하려고 노력했습니다. 이 설명이 어떤 식으로든 표시에서 벗어났다고 생각하거나 더 직관적으로 만들 수 있다면 주석을 남겨주세요. 랜덤 워크 몬테 카를로 방법은 임의의 시뮬레이션 또는 몬테 카를로 방법의 일종이다. 그러나, 종래의 몬테카를로 통합에 사용된 정수의 무작위 표본은 통계적으로 독립적인 반면, 마르코프 체인 몬테카를로 방법에 사용되는 샘플은 자동 상관관계가 있다. MCMC 방법은 간단한 몬테 카를로 알고리즘보다 더 나은 다차원 문제를 해결하기 위해 만들어졌지만, 차원의 수가 상승 할 때 그들은 너무 차원의 저주를 겪는 경향이 : 높은 확률의 영역은 스트레칭과 손실되는 경향이 원하는 적분에 거의 기여하지 않는 공간의 증가 볼륨에서.

이 문제를 해결하는 한 가지 방법은 워커의 단계를 단축하여 가장 높은 확률 영역을 지속적으로 종료하려고 하지 않도록 하는 것일 수 있지만, 이 방법은 프로세스가 매우 자동화되고 매우 비효율적일 수 있습니다(예: 많은 단계가 필요합니다. 정확한 결과를 위해)을 참조하십시오. 보다 정교한 방법[어느?] 자기 상관을 줄이는 다양한 방법을 사용하는 동시에 적분에 더 높은 기여를 하는 지역에서 프로세스를 유지관리합니다. 이러한 알고리즘은 일반적으로 더 복잡한 이론에 의존하며 구현하기 어려울 수 있지만 일반적으로 더 빠른 수렴(필요한 단계 수가 적어도)을 나타낸다. 일반적으로 마르코프 체인 몬테 카를로 샘플링은 시작 위치의 잔류 효과가 항상 있기 때문에 대상 분포를 근사화할 수 있습니다. 과거의 커플링과 같은 보다 정교한 Markov 체인 몬테 카를로 기반 알고리즘은 추가 계산 비용과 무한한(예상시한) 실행 시간을 희생하여 정확한 샘플을 생성할 수 있습니다. 20개의 점 중 15점이 원 안에 놓여 있기 때문에 원이 약 75평방인치인 것처럼 보입니다. 20 개의 임의 점수만있는 몬테 카를로 시뮬레이션에는 나쁘지 않습니다. 몬테 카를로 시뮬레이션은 난수를 반복적으로 생성하여 고정 된 매개 변수를 추정하는 방법일 뿐입니다.