首发于 机器学习算法与自然语言处理
马尔科夫决策过程之Markov Processes(马尔科夫过程)

马尔科夫决策过程之Markov Processes(马尔科夫过程)

介绍Markov Processes之前,必须介绍一下马尔科夫性质。

一、Markov Property

具有马尔科夫性质的状态满足下面公式:
P(S_{t+1}|S_{t}) = P(S_{t+1}|S_{1},....,S_{t})

根据公式也就是说给定当前状态 S_{t} ,将来的状态与t时刻之前的状态已经没有关系。

如下图解释:

二、State Transition Matrix

可以用下面的状态转移概率公式来描述马尔科夫性:

P_{ss'}=P(S_{t+1} = s' | S_{t}=s)

下面状态转移矩阵定义了所有状态的转移概率:

其中的每行和为1.为什么每行和为1。我们可以举一个例子,比如我们掷骰子游戏,当前的点数为1,那么我们再一次掷骰子得到的点数的概率是多少呢?

对应于上面转移概率来说,即使我们不知道下一个具体点数的概率,但是我们至少知道下一个点数是1,2,3,4,5,6中的某一点,那么就会有:

p_{(1->1)}+p_{(1->2)}+p_{(1->3)}+p_{(1->4)}+p_{(1->5)}+p_{(1->6)}=1 这就解释了为什么每行和为1.

三、Markov Process

马尔科夫过程一个无记忆的随机过程,是一些具有马尔科夫性质的随机状态序列构成,可以用一个元组<S,P>表示,其中S是有限数量的状态集,P是状态转移概率矩阵。如下:

四、Student Markov Chain

学生马尔科夫链这个例子基本贯穿了本讲内容:

图中,圆圈表示学生所处的状态,方格Sleep是一个终止状态,或者可以描述成自循环的状态,也就是Sleep状态的下一个状态100%的几率还是自己。箭头表示状态之间的转移,箭头上的数字表示当前转移的概率。

举例说明:当学生处在第一节课(Class1)时,他/她有50%的几率会参加第2节课(Class2);同时在也有50%的几率不在认真听课,进入到浏览facebook这个状态中。

在浏览facebook这个状态时,会有90%的几率在下一时刻继续浏览,也有10%的几率返回到课堂内容上来。

当学生进入到第二节课(Class2)时,会有80%的几率继续参加第三节课(Class3),也有20%的几率觉得课程较难而退出(Sleep)。

当学生处于第三节课这个状态时,他有60%的几率通过考试,继而100%的退出该课程,也有40%的可能性需要到去图书馆之类寻找参考文献,此后根据其对课堂内容的理解程度,又分别有20%、40%、40%的几率返回值第一、二、三节课重新继续学习。

五、Example: Student Markov Chain Episodes

一个可能的学生马尔科夫链从状态Class1开始,最终结束于Sleep,其间的过程根据状态转化图可以有很多种可能性,这些都称为Sample Episodes。比如下面四个Episodes都是可能的:

C1 - C2 - C3 - Pass - Sleep

C1 - FB - FB - C1 - C2 - Sleep

C1 - C2 - C3 - Pub - C2 - C3 - Pass - Sleep

C1 - FB - FB - C1 - C2 - C3 - Pub - C1 - FB - FB - FB - C1 - C2 - C3 - Pub - C2 - Sleep

我们可以使用采样技术来sample一些Episodes。

slides如下:

六、Example: Student Markov Chain Transition Matrix

该学生马尔科夫过程的状态转移矩阵如下图:

暂时总结到这,下一讲总结Markov Reward Processes、Value function等知识点~

参考:

天下网TXWEB儋州市优化价格四平市seo按天扣费哪家好鸡西seo排名多少钱茂名市做网站哪家好淄博网站定制公司南充网站设计哪家专业宜宾企业网站改版价格林芝阿里店铺运营哪家专业朔州市网页设计价格郴州市seo排名报价池州网络推广价格新余网页制作多少钱咸宁市定制网站公司新余营销网站建设公司锦州网站设计报价昌都市seo公司扬州市seo优化价格抚顺定制网站推荐吉安市网站建设公司沈阳网站设计公司韶关市阿里店铺运营价格营口网站设计推荐益阳市营销网站建设哪家好坪山seo公司铁岭优化哪家专业坂田seo按天计费报价大同市企业网站建设公司淮南市seo排名镇江网站开发价格朔州市网站开发香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声卫健委通报少年有偿捐血浆16次猝死汪小菲曝离婚始末何赛飞追着代拍打雅江山火三名扑火人员牺牲系谣言男子被猫抓伤后确诊“猫抓病”周杰伦一审败诉网易中国拥有亿元资产的家庭达13.3万户315晚会后胖东来又人满为患了高校汽车撞人致3死16伤 司机系学生张家界的山上“长”满了韩国人?张立群任西安交通大学校长手机成瘾是影响睡眠质量重要因素网友洛杉矶偶遇贾玲“重生之我在北大当嫡校长”单亲妈妈陷入热恋 14岁儿子报警倪萍分享减重40斤方法杨倩无缘巴黎奥运考生莫言也上北大硕士复试名单了许家印被限制高消费奥巴马现身唐宁街 黑色着装引猜测专访95后高颜值猪保姆男孩8年未见母亲被告知被遗忘七年后宇文玥被薅头发捞上岸郑州一火锅店爆改成麻辣烫店西双版纳热带植物园回应蜉蝣大爆发沉迷短剧的人就像掉进了杀猪盘当地回应沈阳致3死车祸车主疑毒驾开除党籍5年后 原水城县长再被查凯特王妃现身!外出购物视频曝光初中生遭15人围殴自卫刺伤3人判无罪事业单位女子向同事水杯投不明物质男子被流浪猫绊倒 投喂者赔24万外国人感慨凌晨的中国很安全路边卖淀粉肠阿姨主动出示声明书胖东来员工每周单休无小长假王树国卸任西安交大校长 师生送别小米汽车超级工厂正式揭幕黑马情侣提车了妈妈回应孩子在校撞护栏坠楼校方回应护栏损坏小学生课间坠楼房客欠租失踪 房东直发愁专家建议不必谈骨泥色变老人退休金被冒领16年 金额超20万西藏招商引资投资者子女可当地高考特朗普无法缴纳4.54亿美元罚金浙江一高校内汽车冲撞行人 多人受伤

天下网TXWEB XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化