±¾ÎÄÊÇÎÞÈ˼ÝÊ»¼¼ÊõϵÁеĵÚÁùƪ£¬×ÅÖØ½éÉÜÔöǿѧϰÔÚÎÞÈ˼ÝÊ»ÖеÄÓ¦Óá£ÔöǿѧϰµÄÄ¿µÄÊÇͨ¹ýºÍ»·¾³½»»¥£¬Ñ§Ï°ÈçºÎÔÚÏàÓ¦¹Û²âÖвÉÈ¡×îÓÅÐÐΪ¡£Ïà±È´«Í³µÄ»úÆ÷ѧϰ£¬ËüÓÐÒÔÏÂÓÅÊÆ£ºÊ×ÏÈ£¬ÓÉÓÚ²»ÐèÒª±ê×¢µÄ¹ý³Ì£¬¿ÉÒÔ¸üÓÐЧµØ½â¾ö»·¾³ÖдæÔÚµÄÌØÊâÇé¿ö¡£Æä´Î£¬¿ÉÒÔ°ÑÕû¸öϵͳ×÷Ϊһ¸öÕûÌ壬´Ó¶ø¶ÔÆäÖеÄһЩģ¿é¸ü¼Ó³°ô¡£×îºó£¬Ôöǿѧϰ¿ÉÒԱȽÏÈÝÒ×µØÑ§Ï°µ½Ò»ÏµÁÐÐÐΪ¡£ÕâÐ©ÌØÐÔÊ®·ÖÊÊÓÃÓÚ×Ô¶¯¼ÝÊ»¾ö²ß¹ý³Ì£¬ÎÒÃÇÔÚ±¾ÎÄÉîÈë̽ÌÖÔöǿѧϰÈçºÎÔÚÎÞÈ˼ÝÊ»¾ö²ß¹ý³ÌÖз¢»Ó×÷Óá£
Ôöǿѧϰ¼ò½é
ÔöǿѧϰÊÇ×î½ü¼¸ÄêÖлúÆ÷ѧϰÁìÓòµÄ×îнøÕ¹¡£ÔöǿѧϰµÄÄ¿µÄÊÇͨ¹ýºÍ»·¾³½»»¥Ñ§Ï°µ½ÈçºÎÔÚÏàÓ¦µÄ¹Û²âÖвÉÈ¡×îÓÅÐÐΪ¡£ÐÐΪµÄºÃ»µ¿ÉÒÔͨ¹ý»·¾³¸øµÄ½±ÀøÀ´È·¶¨¡£²»Í¬µÄ»·¾³Óв»Í¬µÄ¹Û²âºÍ½±Àø¡£ÀýÈ磬¼ÝÊ»Öл·¾³¹Û²âÊÇÉãÏñÍ·ºÍ¼¤¹âÀ×´ï²É¼¯µ½µÄÖÜΧ»·¾³µÄͼÏñºÍµãÔÆ£¬ÒÔ¼°ÆäËûµÄ´«¸ÐÆ÷µÄÊä³ö£¬ÀýÈçÐÐÊ»ËÙ¶È¡¢GPS¶¨Î»¡¢ÐÐÊ»·½Ïò¡£¼ÝÊ»ÖеĻ·¾³µÄ½±Àø¸ù¾ÝÈÎÎñµÄ²»Í¬£¬¿ÉÒÔͨ¹ýµ½´ïÖÕµãµÄËÙ¶È¡¢ÊæÊʶȺͰ²È«ÐÔµÈÖ¸±êÈ·¶¨¡£
ÔöǿѧϰºÍ´«Í³»úÆ÷ѧϰµÄ×î´óÇø±ðÊÇÔöǿѧϰÊÇÒ»¸ö±Õ»·Ñ§Ï°µÄϵͳ£¬ÔöǿѧϰË㷨ѡȡµÄÐÐΪ»áÖ±½ÓÓ°Ïìµ½»·¾³£¬½ø¶øÓ°Ïìµ½¸ÃËã·¨Ö®ºó´Ó»·¾³Öеõ½µÄ¹Û²â¡£´«Í³µÄ»úÆ÷ѧϰͨ¹ý°ÑÊÕ¼¯ÑµÁ·Êý¾ÝºÍÄ£ÐÍѧϰ×÷ΪÁ½¸ö¶ÀÁ¢µÄ¹ý³Ì¡£ÀýÈ磬Èç¹ûÎÒÃÇÐèҪѧϰһ¸öÈËÁ³·ÖÀàµÄÄ£ÐÍ¡£´«Í³»úÆ÷ѧϰ·½·¨Ê×ÏÈÐèÒª¹ÍÓ¶±ê×¢Õß±ê×¢Ò»ÅúÈËÁ³Í¼ÏñÊý¾Ý£¬È»ºóÔÚÕâЩÊý¾ÝÖÐѧϰģÐÍ£¬×îºóÎÒÃÇ¿ÉÒÔ°ÑѵÁ·³öÀ´µÄÈËÁ³Ê¶±ðÄ£ÐÍÔÚÏÖʵµÄÓ¦ÓÃÖнøÐвâÊÔ¡£
Èç¹û·¢ÏÖ²âÊÔ½á¹û²»ÀíÏ룬ÄÇôÎÒÃÇÐèÒª·ÖÎöÄ£ÐÍÖдæÔÚÎÊÌ⣬²¢ÇÒÊÔ×Å´ÓÊý¾ÝÊÕ¼¯»òÕßÄ£ÐÍѵÁ·ÖÐѰÕÒÔÒò£¬È»ºó´ÓÕâЩ²½ÖèÖнâ¾öÕâЩÎÊÌâ¡£¶ÔÓÚͬÑùµÄÎÊÌ⣬Ôöǿѧϰ²ÉÓõķ½·¨ÊÇͨ¹ýÔÚÈËÁ³Ê¶±ðµÄϵͳÖг¢ÊÔ½øÐÐÔ¤²â£¬²¢ÇÒͨ¹ýÓû§·´À¡µÄÂúÒâ³Ì¶ÈÀ´µ÷Õû×Ô¼ºµÄÔ¤²â£¬´Ó¶øÍ³Ò»ÊÕ¼¯ÑµÁ·Êý¾ÝºÍÄ£ÐÍѧϰµÄ¹ý³Ì¡£ÔöǿѧϰºÍ»·¾³½»»¥¹ý³ÌµÄ¿òͼÈçͼ1Ëùʾ¡£

ͼ1 ÔöǿѧϰºÍ»·¾³½»»¥µÄ¿òͼ
Ôöǿѧϰ´æÔÚןܶഫͳ»úÆ÷ѧϰËù²»¾ß±¸µÄÌôÕ½¡£Ê×ÏÈ£¬ÒòΪÔÚÔöǿѧϰÖÐûÓÐÈ·¶¨ÔÚÿһʱ¿ÌÓ¦¸Ã²ÉÈ¡ÄĸöÐÐΪµÄÐÅÏ¢£¬ÔöǿѧϰËã·¨±ØÐëͨ¹ý̽Ë÷¸÷ÖÖ¿ÉÄܵÄÐÐΪ²ÅÄÜÅжϳö×îÓŵÄÐÐΪ¡£ÈçºÎÓÐЧµØÔÚ¿ÉÄÜÐÐΪÊýÁ¿½Ï¶àµÄÇé¿öÏÂÓÐЧ̽Ë÷£¬ÊÇÔöǿѧϰÖÐ×îÖØÒªµÄÎÊÌâÖ®Ò»¡£Æä´Î£¬ÔÚÔöǿѧϰÖÐÒ»¸öÐÐΪ²»½ö¿ÉÄÜ»áÓ°Ï쵱ǰʱ¿ÌµÄ½±Àø£¬¶øÇÒ»¹¿ÉÄÜ»áÓ°ÏìÖ®ºóËùÓÐʱ¿ÌµÄ½±Àø¡£ÔÚ×µÄÇé¿öÏ£¬Ò»¸öºÃÐÐΪ²»»áÔÚµ±Ç°Ê±¿Ì»ñµÃ½±Àø£¬¶ø»áÔںܶಽ¶¼Ö´ÐÐÕýÈ·ºó²ÅÄܵõ½½±Àø¡£ÔÚÕâÖÖÇé¿öÏ£¬ÔöǿѧϰÐèÒªÅжϳö½±ÀøºÍºÜ¶à²½Ö®Ç°µÄÐÐΪÓйطdz£ÓÐÄѶȡ£
ËäÈ»Ôöǿѧϰ´æÔںܶàÌôÕ½£¬ËüÒ²Äܹ»½â¾öºÜ¶à´«Í³µÄ»úÆ÷ѧϰ²»Äܽâ¾öµÄÎÊÌâ¡£Ê×ÏÈ£¬ÓÉÓÚ²»ÐèÒª±ê×¢µÄ¹ý³Ì£¬
Ôöǿѧϰ¿ÉÒÔ¸üÓÐЧµØ½â¾ö»·¾³ÖÐËù´æÔÚ×ŵÄÌØÊâÇé¿ö¡£±ÈÈ磬ÎÞÈ˳µ»·¾³ÖпÉÄÜ»á³öÏÖÐÐÈ˺Ͷ¯ÎïÂÒ´©Âí·µÄÌØÊâÇé¿ö¡£Ö»ÒªÎÒÃǵÄÄ£ÄâÆ÷Äܹ»Ä£Äâ³öÕâÐ©ÌØÊâÇé¿ö£¬Ôöǿѧϰ¾Í¿ÉÒÔѧϰµ½ÔõôÔÚÕâÐ©ÌØÊâÇé¿öÖÐ×ö³öÕýÈ·µÄÐÐΪ¡£Æä´Î£¬Ôöǿѧϰ¿ÉÒÔ°ÑÕû¸öϵͳ×÷Ϊһ¸öÕûÌåµÄϵͳ£¬´Ó¶ø¶ÔÆäÖеÄһЩģ¿é¸ü¼Ó³°ô¡£ÀýÈ磬×Ô¶¯¼ÝÊ»ÖеĸÐ֪ģ¿é²»¿ÉÄÜ×öµ½ÍêÈ«¿É¿¿¡£Ç°Ò»¶Îʱ¼ä£¬TeslaÎÞÈ˼ÝÊ»µÄʹʾÍÊÇÒòΪÔÚÇ¿¹â»·¾³ÖиÐ֪ģ¿éʧЧµ¼Öµġ£Ôöǿѧϰ¿ÉÒÔ×öµ½£¬¼´Ê¹ÔÚijЩģ¿éʧЧµÄÇé¿öÏÂÒ²ÄÜ×ö³öÎÈÍ×µÄÐÐΪ¡£×îºó£¬Ôöǿѧϰ¿ÉÒԱȽÏÈÝÒ×ѧϰµ½Ò»ÏµÁÐÐÐΪ¡£×Ô¶¯¼ÝÊ»ÖÐÐèÒªÖ´ÐÐһϵÁÐÕýÈ·µÄÐÐΪ²ÅÄܳɹ¦µÄ¼ÝÊ»¡£Èç¹ûÖ»Óбê×¢Êý¾Ý£¬Ñ§Ï°µ½µÄÄ£ÐÍÈç¹ûÿ¸öʱ¿ÌÆ«ÒÆÁËÒ»µã£¬µ½×îºó¿ÉÄÜ¾Í»áÆ«ÒÆ·Ç³£¶à£¬²úÉú»ÙÃðÐԵĺó¹û¡£¶øÔöǿѧϰÄܹ»Ñ§»á×Ô¶¯ÐÞÕýÆ«ÒÆ¡£
×ÛÉÏËùÊö£¬ÔöǿѧϰÔÚ×Ô¶¯¼ÝÊ»ÖÐÓйãÀ«µÄǰ¾°¡£±¾ÎÄ»á½éÉÜÔöǿѧϰµÄ³£ÓÃËã·¨ÒÔ¼°ÆäÔÚ×Ô¶¯¼ÝÊ»ÖеÄÓ¦Óá£Ï£ÍûÄܹ»¼¤·¢Õâ¸öÁìÓòµÄ̽Ë÷ÐÔ¹¤×÷¡£
ÔöǿѧϰËã·¨
ÔöǿѧϰÖеÄÿ¸öʱ¿Ìt¡Ê{0,1,2,¡}ÖУ¬ÎÒÃǵÄËã·¨ºÍ»·¾³Í¨¹ýÖ´ÐÐÐÐΪat½øÐн»»¥£¬¿ÉÒԵõ½¹Û²âstºÍ½±Àørt¡£Ò»°ãÇé¿öÖУ¬ÎÒÃǼÙÉè»·¾³ÊÇ´æÔÚÂí¶û¿Æ·òÐÔÖʵ쬼´»·¾³µÄ±ä»¯ÍêÈ«¿ÉÒÔͨ¹ý×´Ì¬×ªÒÆ¸ÅÂÊPass¡ä=Pr{st+1=s¡ä|st=s,at=a}¿Ì»³öÀ´¡£Ò²¾ÍÊÇ˵£¬»·¾³µÄÏÂһʱ¿Ì¹Û²âÖ»ºÍµ±Ç°Ê±¿ÌµÄ¹Û²âºÍÐÐΪÓйأ¬ºÍ֮ǰËùÓÐʱ¿ÌµÄ¹Û²âºÍÐÐΪ¶¼Ã»ÓйØÏµ¡£¶ø»·¾³ÔÚt+1ʱ¿Ì·µ»ØµÄ½±ÀøÔÚµ±Ç°×´Ì¬ºÍÐÐΪȷ¶¨ÏÂµÄÆÚÍû¿ÉÒÔ±íʾΪ£ºRas=E{rt+1|st=s,at=a}.
ÔöǿѧϰËã·¨ÔÚÿһ¸öʱ¿ÌÖ´ÐÐÐÐΪµÄ²ßÂÔ¿ÉÒÔͨ¹ý¸ÅÂʦÐ(s,a,¦È)=Pr{at=a|st=s;¦È}À´±íʾ¡£ÆäÖЦÈÊÇÐèҪѧϰµÄ²ßÂÔ²ÎÊý¡£ÎÒÃÇÐèҪѧϰµ½×îÓŵÄÔöǿѧϰ²ßÂÔ£¬Ò²¾ÍÊÇѧϰµ½Äܹ»È¡µÃ×î¸ß½±ÀøµÄ²ßÂÔ¡£
¦Ñ(¦Ð)=E{¡Æt=1¡Þ¦Ãt?1rt|s0,¦Ð £¨1£©
ÆäÖЦÃÊÇÔöǿѧϰÖеÄÕÛ¿ÛϵÊý£¬ÓÃÀ´±íʾÔÚÖ®ºóʱ¿ÌµÃµ½µÄ½±ÀøÕÛ¿Û¡£Í¬ÑùµÄ½±Àø£¬»ñµÃµÄʱ¿ÌÔ½Ô磬ÔöǿѧϰϵͳËù¸ÐÊܵ½µÄ½±ÀøÔ½¸ß¡£
ͬʱ£¬ÎÒÃÇ¿ÉÒÔ°´ÕÕÈçÏ·½Ê½¶¨ÒåQº¯Êý¡£Qº¯ÊýQpi(s,a)±íʾµÄÊÇÔÚ״̬Ϊs£¬Ö´ÐÐÐÐΪaÖ®ºóµÄʱ¿Ì¶¼Ê¹ÓòßÂÔ¦ÐÑ¡ÔñÐÐΪÄܹ»µÃµ½µÄ½±Àø¡£ÎÒÃÇÄܹ»Ñ§Ï°µ½×¼È·µÄQº¯Êý£¬ÄÇôʹQº¯Êý×î¸ßµÄÐÐΪ¾ÍÊÇ×îÓÅÐÐΪ¡£
Q¦Ð(s,a)=E{¡Æk=1¡Þ¦Ãk?1rr+k|st=s,at=a,¦Ð}=Es¡ä[r+¦ÃQpi(s¡ä,a¡ä)|s,a,¦Ð]
£¨2£©
ÔöǿѧϰµÄÄ¿µÄ£¬¾ÍÊÇÔÚ¸ø¶¨µÄÈÎÒâ»·¾³£¬Í¨¹ý¶Ô»·¾³½øÐÐ̽Ë÷ѧϰµ½×î¼ÑµÄ²ßÂÔº¯Êý¦Ð×î´ó»¯rho(¦Ð)¡£ÏÂÃæµÄÕ½ÚÖÐÎÒÃÇ»á¼òµ¥½éÉܳ£ÓõÄÔöǿѧϰËã·¨¡£°üÀ¨REINFORCEËã·¨ºÍDeep
Q-learningËã·¨¡£
REINFORCE
REINFORCEÊÇ×î¼òµ¥µÄreinforcement learningËã·¨¡£Æä»ù±¾Ë¼ÏëÊÇͨ¹ýÔÚ»·¾³ÀïÃæÖ´Ðе±Ç°µÄ²ßÂÔÖ±µ½Ò»¸ö»ØºÏ½áÊø£¨±ÈÈçÓÎÏ·½áÊø£©£¬¸ù¾ÝµÃµ½µÄ½±Àø¿ÉÒÔ¼ÆËã³öµ±Ç°²ßÂÔµÄÌݶȡ£ÎÒÃÇ¿ÉÒÔÓÃÕâ¸öÌݶȸüе±Ç°µÄ²ßÂԵõ½Ð²ßÂÔ¡£ÔÚÏÂÃæµÄ»ØºÏ£¬ÎÒÃÇÔÙÓÃеIJßÂÔÖØ¸´Õâ¸ö¹ý³Ì£¬Ò»Ö±µ½¼ÆËã³öµÄÌݶÈ×㹻СΪֹ¡£×îºóµÃµ½µÄ²ßÂÔ¾ÍÊÇ×îÓŲßÂÔ¡£
¼ÙÉèÎÒÃǵ±Ç°µÄ²ßÂÔ¸ÅÂÊÊǦЦÈ(x)=Pr{at=a|st=s;¦È} (¦ÈÊDzßÂÔ²ÎÊý£©¡£Ã¿¸ö»ØºÏ£¬Ë㷨ʵ¼ÊÖ´ÐеÄÐÐΪatÊǰ´ÕÕ¸ÅÂʦÐ(x)²ÉÑùËùµÃµ½µÄ¡£Ëã·¨ÔÚµ±Ç°»ØºÏʱ¿Ìt»ñµÃµÄ½±ÀøÓÃrt±íʾ¡£ÄÇô£¬²ßÂÔÌݶȿÉÒÔͨ¹ýÒÔÏµĹ«Ê½¼ÆËã¡£
?¦È¦Ñ(¦Ð)=¡Æt=1T¨Œ¦Èlog¦Ð(at|st;¦È)Rt £¨3£©
ÆäÖЦÐ(at|st;¦È)ÊDzßÂÔÔڹ۲⵽stʱѡÔñatµÄ¸ÅÂÊ¡£Rt=¡ÆTt¡ä=t¦Ãt¡ä-trt¡äÊÇËã·¨ÔÚ²ÉÈ¡Á˵±Ç°²ßÂÔÖ®ºóËù»ñµÃµÄ×ܵÄÕÛ¿ÛºóµÄ½±Àø¡£ÎªÁ˼õÉÙÔ¤²â³öÌݶȵķ½²î¡£ÎÒÃÇÒ»°ã»áʹÓÃ(Rt-bt)À´´úÌæRt¡£btÒ»°ãµÈÓÚE¦Ð[Rt]£¬Ò²¾ÍÊǵ±Ç°tʱ¿ÌµÄ»·¾³ÏÂʹÓòßÂÔ¦ÐÖ®ºóÄÜ»ñµÃµÄÕÛ¿Ûºó½±ÀøµÄÆÚÍû¡£
¼ÆËã³ö·½²îÖ®ºó£¬ÎÒÃÇ¿ÉÒÔʹÓæÈ=¦È+¨Œ¦È¦Ñ(¦Ð)¸üвÎÊýµÃµ½ÐµIJßÂÔ¡£
REINFORCEµÄºËÐÄ˼ÏëÊÇͨ¹ý´Ó»·¾³ÖлñµÃµÄ½±ÀøÅжÏÖ´ÐÐÐÐΪµÄºÃ»µ¡£Èç¹ûÒ»¸öÐÐΪִÐÐÖ®ºó»ñµÃµÄ½±Àø±È½Ï¸ß£¬ÄÇôËã³öµÄÌݶÈÒ²»á±È½Ï¸ß£¬ÕâÑùÔÚ¸üкóµÄ²ßÂÔÖиÃÐÐΪ±»²ÉÑùµ½µÄ¸ÅÂÊÒ²»á±È½Ï¸ß¡£·´Ö®£¬¶ÔÓÚÖ´ÐÐÖ®ºó»ñµÃ½±Àø±È½ÏµÍµÄÐÐΪ£¬ÒòΪ¼ÆËã³öµÄÌݶȵͣ¬¸üкóµÄ²ßÂÔÖиÃÐÐΪ±»²ÉÑùµ½µÄ¸ÅÂÊÒ²»á±È½ÏµÍ¡£Í¨¹ýÔÚÕâ¸ö»·¾³Öз´¸´Ö´Ðи÷ÖÖÐÐΪ£¬REIFORCE¿ÉÒÔ´óÖÂ׼ȷµØ¹À¼Æ³ö¸÷¸öÐÐΪµÄÕýÈ·Ìݶȣ¬´Ó¶ø¶Ô²ßÂÔÖи÷¸öÐÐΪµÄ²ÉÑù¸ÅÂÊ×ö³öÏàÓ¦µ÷Õû¡£
×÷Ϊ×î¼òµ¥µÄ²ÉÑùËã·¨£¬REINFORCEµÃµ½Á˹㷺ӦÓã¬ÀýÈçѧϰÊÓ¾õµÄ×¢ÒâÁ¦»úÖÆºÍѧϰÐòÁÐÄ£Ð͵ÄÔ¤²â²ßÂÔ¶¼Óõ½ÁËREINFORCEËã·¨¡£ÊÂʵ֤Ã÷£¬ÔÚÄ£ÐÍÏà¶Ô¼òµ¥£¬»·¾³Ëæ»úÐÔ²»Ç¿µÄ»·¾³Ï£¬REINFORCEËã·¨¿ÉÒÔ´ïµ½ºÜºÃµÄЧ¹û¡£
µ«ÊÇ£¬REINFORCEËã·¨Ò²´æÔÚ×ÅËüµÄÎÊÌâ¡£Ê×ÏÈ£¬REINFORCEËã·¨ÖУ¬Ö´ÐÐÁËÒ»¸öÐÐΪ֮ºóµÄËùÓн±Àø¶¼±»ÈÏΪÊÇÒòΪÕâ¸öÐÐΪ²úÉúµÄ£¬ÕâÏÔÈ»²»ºÏÀí¡£ËäÈ»ÔÚÖ´ÐÐÁ˲ßÂÔ×ã¹»¶àµÄ´ÎÊýÈ»ºó¶Ô¼ÆËã³öµÄÌݶȽøÐÐÆ½¾ùÖ®ºó£¬REINFORCEÒԺܴó¸ÅÂʼÆËã³öÕýÈ·µÄÌݶȡ£µ«ÊÇÔÚʵ¼ÊʵÏÖÖУ¬´¦ÓÚЧÂÊ¿¼ÂÇ£¬Í¬Ò»¸ö²ßÂÔÔÚ¸üÐÂ֮ǰ²»¿ÉÄÜÔÚ»·¾³ÖÐÖ´ÐÐÌ«¶à´Î¡£ÔÚÕâÖÖÇé¿öÏ£¬REINFORCE¼ÆËã³öµÄÌݶÈÓпÉÄÜ»áÓбȽϴóµÄÎó²î¡£Æä´Î£¬REINFROCEËã·¨ÓпÉÄÜ»áÊÕÁ²µ½Ò»¸ö¾Ö²¿×îÓŵ㡣Èç¹ûÎÒÃÇÒѾѧµ½ÁËÒ»¸ö²ßÂÔ£¬Õâ¸ö²ßÂÔÖд󲿷ֵÄÐÐΪ¶¼ÒÔ½üËÆ1µÄ¸ÅÂʲÉÑùµ½¡£ÄÇô£¬¼´Ê¹Õâ¸ö²ßÂÔ²»ÊÇ×îÓŵģ¬REINFORCEËã·¨Ò²ºÜÄÑѧϰµ½ÈçºÎ¸Ä½øÕâ¸ö²ßÂÔ¡£ÒòΪÎÒÃÇÍêȫûÓÐÖ´ÐÐÆäËû²ÉÑù¸ÅÂÊΪ0µÄÐÐΪ£¬ÎÞ·¨ÖªµÀÕâЩÐÐΪµÄºÃ»µ¡£×îºó£¬REINFORCEËã·¨Ö®ºóÔÚ»·¾³´æÔڻغϵĸÅÄîµÄʱºò²ÅÄܹ»Ê¹Óá£Èç¹û²»´æÔÚ»·¾³µÄ¸ÅÄREINFORCEËã·¨Ò²ÎÞ·¨Ê¹Óá£
×î½ü£¬DeepMindÌá³öÁËʹÓÃDeep Q-learningË㷨ѧϰ²ßÂÔ£¬¿Ë·þÁËREINFORCEËã·¨µÄȱµã£¬ÔÚAtariÓÎϷѧϰÕâÑùµÄ¸´ÔÓµÄÈÎÎñÖÐÈ¡µÃÁËÁîÈ˾ªÏ²µÄЧ¹û¡£
Deep Q-learning
Deep Q-learningÊÇÒ»ÖÖ»ùÓÚQº¯ÊýµÄÔöǿѧϰËã·¨¡£¸ÃËã·¨¶ÔÓÚ¸´ÔÓµÄÿ²½ÐÐΪ֮¼ä´æÔÚ½ÏÇ¿µÄÏà¹ØÐÔ»·¾³ÓкܺõÄЧ¹û¡£Deep
Q-learningѧϰËã·¨µÄ»ù´¡ÊÇBellman¹«Ê½¡£ÎÒÃÇÔÚÇ°ÃæµÄÕ½ÚÒѾ½éÉÜÁËQº¯ÊýµÄ¶¨Ò壬ÈçÏÂËùʾ¡£
Qpi(s,a)=E{¡Æk=1¡Þ¦Ãk-1rr+k|st=s,at=a,¦Ð}=Es¡¯[r+¦ÃQpi(s¡¯,a¡¯)|s,a,¦Ð]
£¨4£©
Èç¹ûÎÒÃÇѧϰµ½ÁË×îÓÅÐÐΪ¶ÔÓ¦µÄQº¯ÊýQ*(s,a)£¬ÄÇôÕâ¸öº¯ÊýÓ¦¸ÃÂú×ãÏÂÃæµÄBellman¹«Ê½¡£
Q*(s,a)=Es¡¯[r+¦Ãmaxa¡¯Q*(s,a)|s,a] £¨5£©
ÁíÍ⣬Èç¹ûѧϰµ½ÁË×îÓÅÐÐΪ¶ÔÓ¦µÄQº¯ÊýQ*(s,a)£¬ÄÇôÎÒÃÇÔÚÿһʱ¿ÌµÃµ½Á˹۲ìstÖ®ºó£¬Ñ¡ÔñʹµÃQ*(s,a)×î¸ßµÄÐÐΪ×öΪִÐеÄÐÐΪat¡£
ÎÒÃÇ¿ÉÒÔÓÃÒ»¸öÉñ¾ÍøÂçÀ´¼ÆËãQº¯Êý£¬ÓÃQ(s,a;w)À´±íʾ¡£ÆäÖÐwÊÇÉñ¾ÍøÂçµÄ²ÎÊý¡£ÎÒÃÇÏ£Íûѧϰ³öÀ´µÄQº¯ÊýÂú×ãBellman¹«Ê½¡£Òò´Ë¿ÉÒÔ¶¨ÒåÏÂÃæµÄËðʧº¯Êý¡£Õâ¸öº¯ÊýµÄBellman¹«Ê½µÄL2Îó²îÈçÏ¡£
L(w)=E[(r+¦Ãmaxa¡¯Q*(s¡¯,a¡¯;w)-Q(s,a;w))2]£¨6£©
ÆäÖÐrÊÇÔÚsµÄ¹Û²âÖ´ÐÐÐÐΪaºóµÃµ½µÄ½±Àø£¬s¡äÊÇÖ´ÐÐÐÐΪaÖ®ºóÏÂÒ»¸öʱ¿ÌµÄ¹Û²â¡£Õâ¸ö¹«Ê½µÄǰ°ë²¿·Ör+¦Ãmaxa¡äQ*(s¡ä,a¡ä,w)Ò²±»³ÆÎªÄ¿±êº¯Êý¡£ÎÒÃÇÏ£ÍûÔ¤²â³öµÄQº¯ÊýÄܹ»ºÍͨ¹ýÕâ¸öʱ¿ÌµÃµ½µÄ½±Àø¼°Ï¸öʱ¿Ì״̬µÃµ½µÄÄ¿±êº¯Êý¾¡¿ÉÄܽӽü¡£Í¨¹ýÕâ¸öËðʧº¯Êý£¬ÎÒÃÇ¿ÉÒÔ¼ÆËã³öÈçÏÂÌݶȡ£
?L(w)?w=E[(r+¦Ãmaxa¡¯Q*(s¡¯,a¡¯;w)-Q(s,a;w))?Q(s,a;w?w)
£¨7£©
¿ÉÒÔͨ¹ý¼ÆËã³öµÄÌݶȣ¬Ê¹ÓÃÌݶÈϽµËã·¨¸üвÎÊýw¡£
ʹÓÃÉî¶ÈÉñ¾ÍøÂçÀ´±Æ½üQº¯Êý´æÔںܶàÎÊÌâ¡£Ê×ÏÈ£¬ÔÚÒ»¸ö»ØºÏÄڲɼ¯µ½µÄ¸÷¸öʱ¿ÌµÄÊý¾ÝÊÇ´æÔÚ×ÅÏà¹ØÐԵġ£Òò´Ë£¬Èç¹ûÎÒÃÇʹÓÃÁËÒ»¸ö»ØºÏÄÚµÄÈ«²¿Êý¾Ý£¬ÄÇôÎÒÃǼÆËã³öµÄÌݶÈÊÇÓÐÆ«µÄ¡£Æä´Î£¬ÓÉÓÚÈ¡³öʹQº¯Êý×î´óµÄÐÐΪÕâ¸ö²Ù×÷ÊÇÀëÉ¢µÄ£¬¼´Ê¹Qº¯Êý±ä»¯ºÜС£¬ÎÒÃÇËùµÃµ½µÄÐÐΪҲ¿ÉÄܲî±ðºÜ´ó¡£Õâ¸öÎÊÌâ»áµ¼ÖÂѵÁ·Ê±²ßÂÔ³öÏÖÕðµ´¡£×îºó£¬Qº¯ÊýµÄ¶¯Ì¬·¶Î§ÓпÉÄÜ»áºÜ´ó£¬²¢ÇÒÎÒÃǺÜÄÑÔ¤ÏÈÖªµÀQº¯ÊýµÄ¶¯Ì¬·¶Î§¡£ÒòΪ£¬ÎÒÃǶÔÒ»¸ö»·¾³Ã»ÓÐ×ã¹»µÄÁ˽âµÄʱºò£¬ºÜÄѼÆËã³öÕâ¸ö»·¾³ÖпÉÄܵõ½µÄ×î´ó½±Àø¡£Õâ¸öÎÊÌâ»áʹQ-learning¹¤³ÌÌݶȿÉÄÜ»áºÜ´ó£¬µ¼ÖÂѵÁ·²»Îȶ¨¡£
Ê×ÏÈ£¬Deep Q-learningË㷨ʹÓÃÁ˾Ñ黨·ÅËã·¨¡£Æä»ù±¾Ë¼ÏëÊǼÇסËã·¨ÔÚÕâ¸ö»·¾³ÖÐÖ´ÐеÄÀúÊ·ÐÅÏ¢¡£Õâ¸ö¹ý³ÌºÍÈËÀàµÄѧϰ¹ý³ÌÀàËÆ¡£ÈËÀàÔÚѧϰִÐÐÐÐΪµÄ²ßÂÔʱ£¬²»»áֻͨ¹ýµ±Ç°Ö´ÐеIJßÂÔ½á¹û½øÐÐѧϰ£¬¶ø»¹»áÀûÓÃ֮ǰµÄÀúÊ·Ö´ÐвßÂÔ¾Ñé½øÐÐѧϰ¡£Òò´Ë£¬¾Ñ黨·ÅËã·¨½«Ö®Ç°Ëã·¨ÔÚÒ»¸ö»·¾³ÖеÄËùÓоÑé¶¼´æ·ÅÆðÀ´¡£ÔÚѧϰµÄʱºò£¬¿ÉÒÔ´Ó¾ÑéÖвÉÑù³öÒ»¶¨ÊýÁ¿µÄÌø×ªÐÅÏ¢(st,at,rt+1,st+1)£¬Ò²¾ÍÊǵ±´¦ÓÚ»·¾³£¬È»ºóÀûÓÃÕâЩÐÅÏ¢¼ÆËã³öÌݶÈѧϰģÐÍ¡£ÒòΪ²»Í¬µÄÌø×ªÐÅÏ¢ÊÇ´Ó²»Í¬»ØºÏÖвÉÑù³öÀ´µÄ£¬ËùÒÔËüÃÇÖ®¼ä²»´æÔÚÇ¿Ïà¹ØÐÔ¡£Õâ¸ö²ÉÑù¹ý³Ì»¹¿ÉÒÔ½â¾öͬһ¸ö»ØºÏÖеĸ÷¸öʱ¿ÌµÄÊý¾ÝÏà¹ØÐÔÎÊÌâ¡£
¶øÇÒ£¬Deep Q-learningË㷨ʹÓÃÁËÄ¿±êQÍøÂçÀ´½â¾öѧϰ¹ý³ÌÖеÄÕðµ´ÎÊÌâ¡£ÎÒÃÇ¿ÉÒÔ¶¨ÒåÒ»¸öÄ¿±êQÍøÂçQ(s,a;w-)¡£Õâ¸öÍøÂçµÄ½á¹¹ºÍÓÃÀ´Ö´ÐеÄQÍøÂç½á¹¹ÍêÈ«Ïàͬ£¬Î¨Ò»²»Í¬¾ÍÊÇʹÓõIJÎÊýw-¡£ÎÒÃǵÄÄ¿±êº¯Êý¿ÉÒÔͨ¹ýÄ¿±êQÍøÂç¼ÆËã¡£
r+¦Ãmaxa¡¯Q*(s¡¯,a¡¯;w-) £¨8£©
Ä¿±êQÍøÂç²ÎÊýÔںܳ¤Ê±¼äÄÚ±£³Ö²»±ä£¬Ã¿µ±ÔÚQÍøÂçѧϰÁËÒ»¶¨Ê±¼äÖ®ºó£¬¿ÉÒÔQÍøÂçµÄ²ÎÊýwÌæ»»Ä¿±êQÍøÂçµÄ²ÎÊýw-¡£ÕâÑùÄ¿±êº¯ÊýÔںܳ¤µÄʱ¼äÀï±£³ÖÎȶ¨¡£¿ÉÒÔ½â¾öѧϰ¹ý³ÌÖеÄÕðµ´ÎÊÌâ¡£
×îºó£¬ÎªÁË·ÀÖ¹Qº¯ÊýµÄֵ̫´óµ¼ÖÂÌݶȲ»Îȶ¨¡£Deep Q-learningµÄËã·¨¶Ô½±ÀøÉèÖÃÁË×î´óºÍ×îСֵ£¨Ò»°ãÉèÖÃΪ[-1,
+1]£©¡£ÎÒÃÇ»á°ÑËùÓн±ÀøËõ·Åµ½Õâ¸ö·¶Î§¡£ÕâÑùËã·¨¼ÆËã³öµÄÌݶȸü¼ÓÎȶ¨¡£
Q-learningËã·¨µÄ¿òͼÈçͼ2Ëùʾ¡£

ͼ2 Q-learningËã·¨¿òͼ
ÒòΪʹÓÃÁËÉî¶ÈÉñ¾ÍøÂçÀ´Ñ§Ï°Qº¯Êý£¬Deep Q-learningËã¿ÉÒÔÖ±½ÓÒÔͼÏñ×÷ΪÊäÈëѧϰ¸´ÔӵIJßÂÔ¡£ÆäÖÐÒ»¸öÀý×ÓÊÇѧϰAtariÓÎÏ·¡£ÕâÊǼÆËã»úÓÎÏ·µÄÔçÆÚÐÎʽ£¬Ò»°ãͼÏñ±È½Ï´Ö²Ú£¬µ«ÒªÍæºÃÐèÒª¶ÔͼÏñ½øÐÐÀí½â£¬²¢ÇÒÖ´Ðи´ÔӵIJßÂÔ£¬ÀýÈç¶ã±Ü£¬·¢Éä×Óµ¯£¬×ßÃÔ¹¬µÈ¡£Ò»Ð©AtariÓÎÏ·µÄÀý×ÓÈçͼ3Ëùʾ£¬ÆäÖаüº¬ÁËÒ»¸ö¼òµ¥µÄÈü³µÓÎÏ·¡£

ͼ3 AtariÓÎϷʾÀý
Deep Q-learningËã·¨ÔÚûÓÐÈκζîÍâ֪ʶµÄÇé¿öÏ£¬ÍêÈ«ÒÔͼÏñºÍ»ñµÃµÄ½±Àø½øÐÐÊäÈë¡£Ôڴ󲿷ÖAtariÓÎÏ·Öж¼´ó´ó³¬¹ýÁËÈËÀàÐÔÄÜ¡£ÕâÊÇÉî¶Èѧϰ»òÕßÔöǿѧϰ³öÏÖǰÍêÈ«²»¿ÉÄÜÍê³ÉµÄÈÎÎñ¡£AtariÓÎÏ·ÊǵÚÒ»¸öDeep
Q-learning½â¾öÁËÓÃÆäËûËã·¨¶¼ÎÞ·¨½â¾öµÄÎÊÌ⣬³ä·ÖÏÔʾÁ˽«Éî¶ÈѧϰºÍÔöǿѧϰ½áºÏµÄÓÅÔ½ÐÔºÍǰ¾°¡£
ʹÓÃÔöǿѧϰ°ïÖú¾ö²ß
ÏÖÓеÄÉî¶ÈÔöǿѧϰ½â¾öµÄÎÊÌâÖУ¬ÎÒÃÇÖ´ÐеÄÐÐΪһ°ãÖ»¶Ô»·¾³ÓÐ¶ÌÆÚÓ°Ïì¡£ÀýÈ磬ÔÚAtariÈü³µÓÎÏ·ÖУ¬ÎÒÃÇÖ»ÐèÒª¿ØÖÆÈü³µµÄ·½ÏòºÍËÙ¶ÈÈÃÈü³µÑØ×ÅÅܵÀÐÐÊ»£¬²¢ÇÒ¶ã±ÜÆäËûÈü³µ¾Í¿ÉÒÔ»ñµÃ×îÓŵIJßÂÔ¡£µ«ÊǶÔÓÚ¸ü¸´ÔÓ¾ö²ßµÄÇé¾°£¬ÎÒÃÇÎÞ·¨Ö»Í¨¹ý¶ÌÆÚ½±ÀøµÃµ½×îÓŲßÂÔ¡£Ò»¸öµäÐ͵ÄÀý×ÓÊÇ×ßÃÔ¹¬¡£ÔÚ×ßÃÔ¹¬Õâ¸öÈÎÎñÖУ¬ÅжÏÒ»¸öÐÐΪÊÇ·ñÊÇ×îÓÅÎÞ·¨´Ó¶ÌÆÚµÄ½±ÀøÀ´µÃµ½¡£Ö»Óе±×ßµ½ÖÕµãʱ£¬²ÅÄܵõ½½±Àø¡£ÔÚÕâÖÖÇé¿öÏ£¬Ö±½Óѧϰ³öÕýÈ·µÄQº¯Êý·Ç³£À§ÄÑ¡£ÎÒÃÇÖ»ÓаѻùÓÚËÑË÷µÄºÍ»ùÓÚÔöǿѧϰµÄËã·¨½áºÏ£¬²ÅÄÜÓÐЧ½â¾öÕâÀàÎÊÌâ¡£
»ùÓÚËÑË÷Ëã·¨Ò»°ãÊÇͨ¹ýËÑË÷Ê÷À´ÊµÏֵġ£ËÑË÷Ê÷¼È¿ÉÒÔ½â¾öÒ»¸öÍæ¼ÒÔÚ»·¾³ÖÐ̽Ë÷µÄÎÊÌ⣨ÀýÈç×ßÃÔ¹¬£©£¬Ò²¿ÉÒÔ½â¾ö¶à¸öÍæ¼Ò¾ºÕùµÄÎÊÌ⣨ÀýÈçΧÆå£©¡£ÎÒÃÇÒÔΧÆåΪÀý£¬½²½âËÑË÷Ê÷µÄ»ù±¾¸ÅÄΧÆåÓÎÏ·ÓÐÁ½¸öÍæ¼Ò£¬·Ö±ðÓɰ××ӺͺÚ×Ó´ú±í¡£Î§ÆåÆåÅÌÖÐÏߵĽ»²æµãÊÇ¿ÉÒÔÏÂ×ӵĵط½¡£Á½¸öÍæ¼Ò·Ö±ðÔÚÆåÅÌϰ××ӺͺÚ×Ó¡£Ò»µ©Ò»Æ¬°××Ó»òºÚ×Ó±»Ïà·´ÑÕÉ«µÄ×Ó°üΧ£¬ÄÇôÕâÆ¬×ӾͻᱻÌáµô£¬ÖØÐ³ÉΪ¿Õ°×µÄÇøÓò¡£ÓÎÏ·µÄ×îºó£¬ËùÓеĿհ×ÇøÓò¶¼±»Õ¼Áì»òÊǰüΧ¡£Õ¼ÁìºÍ°üÎ§ÇøÓò±È½Ï´óµÄÒ»·½»ñʤ¡£
ÔÚΧÆåÕâ¸öÓÎÏ·ÖУ¬ÎÒÃÇ´Ó»·¾³Öеõ½µÄ¹Û²âstÊÇÆåÅ̵Ä״̬£¬Ò²¾ÍÊǰ××ӺͺÚ×ӵķֲ¼¡£ÎÒÃÇÖ´ÐеÄÐÐΪÊÇËùϰ××Ó»òÕߺÚ×ÓµÄλÖ᣶øÎÒÃÇ×îºóµÃµ½µÄ½±Àø¿ÉÒÔ¸ù¾ÝÓÎÏ·ÊÇ·ñȡʤµÃµ½¡£È¡Ê¤µÄÒ»·½+1£¬Ê§°ÜµÄÒ»·½-1¡£ÓÎÏ·½ø³Ì¿ÉÒÔͨ¹ýÈçÏÂËÑË÷Ê÷À´±íʾ£ºËÑË÷Ê÷ÖеÄÿ¸ö½Úµã¶ÔÓ¦×ÅÒ»ÖÖÆåÅÌ״̬£¬Ã¿Ò»Ìõ±ß¶ÔÓ¦×ÅÒ»¸ö¿ÉÄܵÄÐÐΪ¡£ÔÚÈçͼ4ËùʾµÄËÑË÷Ê÷ÖУ¬ºÚÆåÏÈÐУ¬Ê÷µÄ¸ù½Úµã¶ÔÓ¦×ÅÆåÅ̵ijõʼ״̬s0¡£a1ºÍa2¶ÔÓ¦×ÅºÚÆåÁ½ÖÖ¿ÉÄܵÄÏÂ×ÓλÖã¨Êµ¼ÊµÄΧÆåÖУ¬¿ÉÄܵÄÐÐΪԶ±ÈÁ½Öֶࣩ¡£Ã¿¸öÐÐΪai¶ÔÓ¦×ÅÒ»¸öÐÂµÄÆåÅ̵Ä״̬si1¡£½ÓÏÂÀ´¸Ã°×Æå×ߣ¬°×ÆåͬÑùÓÐÁ½ÖÖ×ß·¨b1ºÍb2£¬¶ÔÓÚÿ¸öÆåÅ̵Ä״̬si1£¬Á½ÖÖ²»Í¬µÄ×ß·¨ÓÖ»áÉú³ÉÁ½ÖÖ²»Í¬×´Ì¬¡£Èç´ËÍù¸´£¬Ò»Ö±µ½ÓÎÏ·½áÊø£¬ÎÒÃǾͿÉÒÔÔÚÒ¶×Ó½ÚµãÖлñµÃÓÎÏ·½áÊøÊ±ºÚÆå»ñµÃµÄ½±Àø¡£ÎÒÃÇ¿ÉÒÔͨ¹ýÕâЩ½±Àø»ñµÃ×î¼ÑµÄ״̬¡£

ͼ4 ËÑË÷Ê÷µÄÀý×Ó
ͨ¹ýÕâ¸öËÑË÷Ê÷£¬Èç¹û¸ø¶¨ºÚÆåºÍ°×ÆåµÄ²ßÂÔ¦Ð=[¦Ð1,¦Ð2]£¬ÎÒÃÇ¿ÉÒÔ¶¨ÒåºÚÆåµÄÖµº¯ÊýΪºÚÆåÔÚË«·½·Ö±ðÖ´ÐвßÂÔ¦Ð1ºÍ¦Ð2ʱ£¬×îºóºÚÆåÄÜ»ñµÃ½±ÀøµÄÆÚÍû¡£
v¦Ð(s)=E¦Ð[Gt|St=s] £¨9£©
ºÚÆåÐèҪѰÕÒµÄ×îÓŲßÂÔÐèÒª×îÓÅ»¯×µÄÇé¿öÏ£¬ºÚÆåËùÄܵõ½µÄ½±Àø¡£ÎÒÃǶ¨ÒåÕâ¸öÖµº¯ÊýΪ×îС×î´óÖµº¯Êý¡£ºÚÆåµÄ×îÓŲßÂÔ¾ÍÊÇÄܹ»´ïµ½Õâ¸öÖµº¯ÊýµÄ²ßÂÔ¦Ð1¡£
v*(s)=max¦Ð1min¦Ð2v¦Ð(s) £¨10£©
Èç¹ûÎÒÃÇÄܹ»Çî¾ÙËÑË÷Ê÷µÄÿ¸ö½Úµã£¬ÄÇôÎÒÃÇ¿ÉÒÔºÜÈÝÒ×µØÓõݹ鷽ʽ¼ÆËã³ö×îС×î´óÖµº¯ÊýºÍºÚÆåµÄ×îÓŲßÂÔ¡£µ«ÔÚʵ¼ÊµÄΧÆåÖУ¬Ã¿Ò»²½ºÚÆåºÍ°×Æå¿ÉÒÔ²ÉÓõÄÐÐΪ¸öÊý·Ç³£¶à£¬¶øËÑË÷Ê÷µÄ½ÚµãÊýÄ¿Ëæ×ÅÊ÷µÄÉî¶ÈÖ¸ÊýÔö³¤¡£Òò´Ë£¬ÎÒÃÇÎÞ·¨Ã¶¾ÙËùÓÐ½Úµã¼ÆËã³ö׼ȷµÄ×îС×î´óÖµº¯Êý£¬¶øÖ»ÄÜͨ¹ýѧϰv(s;w)~v*(s)×÷Ϊ½üËÆ×îС×î´óÖµº¯Êý¡£ÎÒÃÇ¿ÉÒÔͨ¹ýÁ½ÖÖ·½·¨Ê¹ÓÃÕâ¸ö½üËÆº¯Êý¡£Ê×ÏÈ£¬ÎÒÃÇ¿ÉÒÔʹÓÃÕâ¸ö½üËÆº¯ÊýÈ·¶¨ËÑË÷µÄÓÅÏȼ¶¡£¶ÔÓÚÒ»¸ö½Úµã£¬°×Æå»òÕßºÚÆå¿ÉÄÜÓжàÖÖ×ß·¨£¬ÎÒÃÇÓ¦¸ÃÓÅÏÈËÑË÷²úÉú×îС×î´óÖµº¯Êý±È½Ï¸ß½ÚµãµÄÐÐΪ£¬ÒòΪÔÚʵ¼ÊÓÎÏ·ÖУ¬ÕæÊµÍæ¼ÒÒ»°ã»áÑ¡ÔñÕâЩÏà¶Ô±È½ÏºÃµÄÐÐΪ¡£Æä´Î£¬ÎÒÃÇ¿ÉÒÔʹÓÃÕâ¸ö½üËÆº¯ÊýÀ´¹À¼Æ·ÇÒ¶×Ó½ÚµãµÄ×îС×î´óÖµ¡£Èç¹ûÕâЩ½ÚµãµÄ×îС×î´óÖµ·Ç³£µÍ£¬ÄÇôÕâЩ½Úµã¼¸ºõ²»¿ÉÄܶÔÓ¦×Å×îÓŲßÂÔ¡£ÎÒÃÇÔÙËÑË÷µÄʱºòÒ²²»Óÿ¼ÂÇÕâЩ½Úµã¡£
Òò´ËÖ÷ÒªÎÊÌâÊÇÈçºÎѧϰµ½½üËÆ×îС×î´óÖµº¯Êýv(s;w)¡£ÎÒÃÇ¿ÉÒÔʹÓÃÁ½¸öѧϰµ½µÄΧÆåËã·¨×Ô¼ººÍ×Ô¼ºÍæÎ§ÆåÓÎÏ·¡£È»ºóͨ¹ýÔöǿѧϰËã·¨¸üнüËÆ×îС×î´óÖµº¯ÊýµÄ²ÎÊýw¡£ÔÚÍæÍêÁËÒ»¾ÖÓÎÏ·Ö®ºó£¬ÎÒÃÇ¿ÉÒÔʹÓÃÀàËÆREINFORCEËã·¨µÄ¸üз½Ê½£º
¨Œw=¦Á(Gt-v(st;w))¨Œwv(st;w) £¨11£©
ÔÚÕâ¸öʽ×ÓÖÐGt±íʾµÄÊÇÔÚtʱ¿ÌÖ®ºó»ñµÃµÄ½±Àø¡£ÒòΪÔÚΧÆåÕâ¸öÓÎÏ·ÖУ¬ÎÒÃÇÖ»ÔÚ×îºóʱ¿Ì»ñµÃ½±Àø¡£ËùÒÔGt¶ÔÓ¦µÄÊÇ×îºó»ñµÃµÄ½±Àø¡£ÎÒÃÇÒ²¿ÉÒÔʹÓÃÀàËÆQ-learningµÄ·½Ê½ÓÃTDÎó²îÀ´¸üвÎÊý¡£
¨Œw=¦Á(v(st+1;w)-v(st;w))¨Œwv(st;w)£¨12£©
ÒòΪΧÆåÕâ¸öÓÎÏ·ÖУ¬ÎÒÃÇÖ»ÔÚ×îºóʱ¿Ì»ñµÃ½±Àø¡£Ò»°ãʹÓÃREINFORCEËã·¨µÄ¸üз½Ê½Ð§¹û±È½ÏºÃ¡£ÔÚѧϰ³öÒ»¸öºÃµÄ½üËÆ×îС×î´óÖµº¯ÊýÖ®ºó£¬¿ÉÒÔ´ó´ó¼Ó¿ìËÑË÷ЧÂÊ¡£ÕâºÍÈËѧϰΧÆåµÄ¹ý³ÌÀàËÆ£¬ÈËÔÚѧϰΧÆåµÄ¹ý³ÌÖУ¬»á¶ÔÌØ¶¨µÄÆåÐÐÐγɸоõ£¬ÄÜÒ»ÑÛ¾ÍÅжϳöÆåÐеĺûµ£¬¶ø²»ÓÃ¶ÔÆåµÄ·¢Õ¹½øÐÐÍÆÀí¡£Õâ¾ÍÊÇͨ¹ýѧϰ½üËÆ×îС×î´óÖµº¯Êý¼ÓËÙËÑË÷µÄ¹ý³Ì¡£
ͨ¹ýѧϰ½üËÆ×îС×î´óÖµº¯Êý£¬Google DeepMindÔÚΧÆåÁìÓòÈ¡µÃÁËÍ»·ÉÃͽø¡£ÔÚ½ñÄêÈýÔ½øÐеıÈÈüÖУ¬AlphaGoÒÔËıÈһսʤÁËΧÆåÊÀ½ç¹Ú¾üÀîÊÀʯ¡£AlphaGoµÄºËÐÄËã·¨¾ÍÊÇͨ¹ýÀúÊ·Æå¾ÖºÍ×Ô¼º¶ÔÞÄѧϰ½üËÆ×îС×î´óÖµº¯Êý¡£AlphaGoµÄ³É¹¦³ä·ÖµÄÏÔʾÁËÔöǿѧϰºÍËÑË÷½áºÏÔÚÐèÒª³¤ÆÚ¹æ»®ÎÊÌâÉϵÄDZÁ¦¡£²»¹ý£¬ÐèҪעÒâµÄÊÇ£¬ÏÖÓн«ÔöǿѧϰºÍËÑË÷½áºÏµÄËã·¨Ö»ÄÜÓÃÓÚÈ·¶¨ÐԵĻ·¾³ÖС£È·¶¨ÐԵĻ·¾³Öиø¶¨Ò»¸ö¹Û²âºÍÒ»¸öÐÐΪ£¬ÏÂÒ»¸ö¹Û²âÊÇÈ·¶¨µÄ£¬²¢ÇÒÕâ¸ö×ªÒÆº¯ÊýÊÇÒÑÖªµÄ¡£ÔÚ»·¾³·ÇÈ·¶¨£¬²¢ÇÒ×ªÒÆº¯Êýδ֪µÄÇé¿öÏ£¬ÈçºÎ°ÑÔöǿѧϰºÍËÑË÷½áºÏ»¹ÊÇÔöǿѧϰÁìÓòÖÐûÓнâ¾öµÄÎÊÌâ¡£
×Ô¶¯¼ÝÊ»µÄ¾ö²ß½éÉÜ
×Ô¶¯¼ÝÊ»µÄÈ˹¤ÖÇÄܰüº¬Á˸ÐÖª¡¢¾ö²ßºÍ¿ØÖÆÈý¸ö·½Ãæ¡£¸ÐÖªÖ¸µÄÊÇÈçºÎͨ¹ýÉãÏñÍ·ºÍÆäËû´«¸ÐÆ÷ÊäÈë½âÎö³öÖÜΧ»·¾³µÄÐÅÏ¢£¬ÀýÈçÓÐÄÄЩÕϰÎÕϰÎïµÄËٶȺ;àÀ룬µÀ·µÄ¿í¶ÈºÍÇúÂʵȡ£Õâ¸ö²¿·ÖÊÇ×Ô¶¯¼ÝÊ»µÄ»ù´¡£¬Êǵ±Ç°×Ô¶¯¼ÝÊ»Ñо¿µÄÖØÒª·½Ïò£¬ÔÚǰÎÄÎÒÃÇÒѾÓн²½â¡£¿ØÖÆÊÇÖ¸µ±ÎÒÃÇÓÐÁËÒ»¸öÄ¿±ê£¬ÀýÈçÓÒת30¶È£¬ÈçºÎͨ¹ýµ÷ÕûÆû³µµÄ»úе²ÎÊý´ïµ½Õâ¸öÄ¿±ê¡£Õâ¸ö²¿·ÖÒѾÓÐÏà¶Ô±È½Ï³ÉÊìµÄËã·¨Äܹ»½â¾ö£¬²»ÔÚ±¾ÎĵÄÌÖÂÛ·¶Î§Ö®ÄÚ¡£±¾½Ú£¬ÎÒÃÇ×ÅÖØ½²½â×Ô¶¯¼ÝÊ»µÄ¾ö²ß²¿·Ö¡£
×Ô¶¯¼ÝÊ»µÄ¾ö²ßÊÇÖ¸¸ø¶¨¸Ð֪ģ¿é½âÎö³öµÄ»·¾³ÐÅÏ¢ÈçºÎ¿ØÖÆÆû³µµÄÐÐΪÀ´´ïµ½¼ÝʻĿ±ê¡£ÀýÈ磬Æû³µ¼ÓËÙ¡¢¼õËÙ¡¢×óת¡¢ÓÒת¡¢»»µÀ¡¢³¬³µ¶¼ÊǾö²ßÄ£¿éµÄÊä³ö¡£¾ö²ßÄ£¿é²»½öÐèÒª¿¼Âǵ½Æû³µµÄ°²È«ºÍÊæÊÊÐÔ£¬±£Ö¤¾¡¿ìµ½´ïÄ¿±êµØµã£¬»¹ÐèÒªÔÚÅԱ߳µÁ¾¶ñÒâ¼ÝÊ»µÄÇé¿öϱ£Ö¤³Ë¿Í°²È«¡£Òò´Ë£¬¾ö²ßÄ£¿éÒ»·½ÃæÐèÒª¶ÔÐгµ¼Æ»®½øÐг¤ÆÚ¹æ»®£¬ÁíÒ»·½Ã滹ÐèÒª¶ÔÖÜΧ³µÁ¾ºÍÐÐÈ˵ÄÐÐΪ½øÐÐÔ¤²â¡£¶øÇÒ£¬×Ô¶¯¼ÝÊ»Öеľö²ßÄ£¿é¶Ô°²È«ºÍ¿É¿¿ÐÔÓÐ×ÅÑϸñÒªÇó¡£ÏÖÓÐ×Ô¶¯¼ÝÊ»µÄ¾ö²ßÄ£¿éÒ»°ã¸ù¾Ý¹æÔò¹¹½¨£¬ËäÈ»¿ÉÒÔÓ¦¸¶´ó²¿·Ö¼ÝÊ»Çé¿ö£¬¶ÔÓÚ¼ÝÊ»ÖпÉÄܳöÏֵĸ÷ÖÖÍ»·¢Çé¿ö£¬»ùÓÚ¹æÔòµÄ¾ö²ßϵͳ²»¿ÉÄÜö¾Ùµ½ËùÓÐÍ»·¢Çé¿ö¡£ÎÒÃÇÐèÒªÒ»ÖÖ×ÔÊÊӦϵͳÀ´Ó¦¶Ô¼ÝÊ»»·¾³ÖгöÏֵĸ÷ÖÖÍ»·¢Çé¿ö¡£
ÏÖÓÐ×Ô¶¯¼ÝÊ»µÄ¾ö²ßϵͳ´ó²¿·Ö»ùÓÚ¹æÔò£¬¸Ãϵͳ´ó²¿·Ö¿ÉÒÔÓÃÓÐÏÞ״̬»ú±íʾ¡£ÀýÈ磬×Ô¶¯¼ÝÊ»µÄ¸ß²ãÐÐΪ¿ÉÒÔ·ÖΪÏò×ó»»µÀ¡¢ÏòÓÒ»»µÀ¡¢¸úËæ¡¢½ô¼±Í£³µ¡£¾ö²ßϵͳ¸ù¾ÝÄ¿±ê¿ÉÒÔ¾ö¶¨Ö´Ðи߲ãÐÐΪ¡£¸ù¾ÝÐèÒªÖ´Ðеĸ߲ãÐÐΪ£¬¾ö²ßϵͳ¿ÉÒÔÓÃÏàÓ¦µÄ¹æÔòÉú³É³öµ×²ãÐÐΪ¡£»ùÓÚ¹æÔò¾ö²ßϵͳµÄÖ÷ҪȱµãÊÇȱ·¦Áé»îÐÔ¡£¶ÔÓÚËùÓеÄÍ»·¢Çé¿ö£¬¶¼ÐèҪдһ¸ö¾ö²ß¡£ÕâÖÖ·½Ê½ºÜÄѶÔËùÓеÄÍ»·¢ÏµÍ³ÃæÃæ¾ãµ½¡£
×Ô¶¯¼ÝʻģÄâÆ÷
×Ô¶¯¼ÝÊ»µÄ¾ö²ß¹ý³ÌÖУ¬Ä£ÄâÆ÷Æð×ŷdz£ÖØÒªµÄ×÷Ó᣾ö²ßÄ£ÄâÆ÷¸ºÔð¶Ô»·¾³Öг£¼ûµÄ³¡¾°½øÐÐÄ£Ä⣬ÀýÈç³µµÀÇé¿ö¡¢Â·ÃæÇé¿ö¡¢ÕϰÎï·Ö²¼ºÍÐÐΪ¡¢ÌìÆøµÈ¡£Í¬Ê±»¹¿ÉÒÔ½«ÕæÊµ³¡¾°Öвɼ¯µ½µÄÊý¾Ý½øÐлطš£¾ö²ßÄ£ÄâÆ÷µÄ½Ó¿ÚºÍÕæ³µµÄ½Ó¿Ú±£³ÖÒ»Ö£¬ÕâÑù¿ÉÒÔ±£Ö¤ÔÚÕæ³µÉÏʹÓõľö²ßËã·¨¿ÉÒÔÖ±½ÓÔÚÄ£ÄâÆ÷ÉÏÔËÐС£³ýÁ˾ö²ßÄ£ÄâÆ÷Ö®Í⣬×Ô¶¯¼ÝÊ»µÄÄ£ÄâÆ÷»¹°üº¬Á˸Ð֪ģÄâÆ÷ºÍ¿ØÖÆÄ£ÄâÆ÷£¬ÓÃÀ´ÑéÖ¤¸ÐÖªºÍ¿ØÖÆÄ£¿é¡£ÕâЩģÄâÆ÷²»ÔÚ±¾ÎĵÄÌÖÂÛ·ÕΧ֮ÄÚ
£¨ÏêϸÇë¼ûCSDN¡¶³ÌÐòÔ±¡·2016Äê8Ô¡¶»ùÓÚSparkÓëROSµÄ·Ö²¼Ê½ÎÞÈ˼ÝʻģÄâÆ½Ì¨¡·£©¡£
×Ô¶¯¼ÝʻģÄâÆ÷µÄµÚÒ»¸öÖØÒª¹¦ÄÜÊÇÑéÖ¤¡£ÔÚµü´ú¾ö²ßËã·¨µÄ¹ý³ÌÖУ¬ÎÒÃÇÐèÒª±È½ÏÈÝÒ׵غâÁ¿Ëã·¨ÐÔÄÜ¡£±ÈÈ磬ÐèҪȷ±£Ð¾ö²ßËã·¨ÔÚ֮ǰÄܹ»ÕýÈ·ÔËÐкͳ£¼ûµÄ³¡¾°¶¼Äܹ»°²È«ÔËÐС£ÎÒÃÇ»¹ÐèÒª¸ù¾Ýоö²ßËã·¨¶Ô³£¼û³¡¾°µÄ°²È«ÐÔ¡¢¿ì½ÝÐÔ¡¢ÊæÊÊÐÔ´ò·Ö¡£ÎÒÃDz»¿ÉÄÜÿ´ÎÔÚ¸üÐÂË㷨ʱ¶¼ÔÚʵ¼Ê³¡¾°ÖвâÊÔ£¬ÕâʱÓÐÒ»¸öÄܿɿ¿·´Ó³ÕæÊµ³¡¾°µÄÎÞÈ˼ÝʻģÄâÆ÷ÊǷdz£ÖØÒªµÄ¡£
Ä£ÄâÆ÷µÄÁíÒ»¸öÖØÒªµÄ¹¦ÄÜÊǽøÐÐÔöǿѧϰ¡£¿ÉÒÔÄ£Äâ³ö¸÷ÖÖÍ»·¢Çé¿ö£¬È»ºóÔöǿѧϰËã·¨ÀûÓÃÆäÔÚÕâЩͻ·¢Çé¿öÖлñµÃµÄ½±Àø£¬Ñ§Ï°ÈçºÎÓ¦¶Ô¡£ÕâÑù£¬Ö»ÒªÄܹ»Ä£Äâ³ö×ã¹»µÄÍ»·¢Çé¿ö£¬ÔöǿѧϰËã·¨¾Í¿ÉÒÔѧϰµ½¶ÔÓ¦µÄ´¦Àí·½·¨£¬¶ø²»ÓÃÿÖÖÍ»·¢Çé¿ö¶¼µ¥¶Àд¹æÔò´¦Àí¡£¶øÇÒ£¬Ä£ÄâÆ÷Ò²¿ÉÒÔ¸ù¾Ý֮ǰÔöǿѧϰ¶ÔÓÚÍ»·¢Çé¿öµÄ´¦Àí½á¹û£¬¾¡Á¿²úÉú³öµ±Ç°µÄÔöǿѧϰËã·¨ÎÞ·¨½â¾öµÄÍ»·¢£¬´Ó¶øÔöǿѧϰЧÂÊ¡£
×ÛÉÏËùÊö£¬×Ô¶¯¼ÝʻģÄâÆ÷¶Ô¾ö²ßÄ£¿éµÄÑéÖ¤ºÍѧϰ¶¼ÓÐ×ÅÖÁ¹ØÖØÒªµÄ×÷Óã¬ÊÇÎÞÈ˼ÝÊ»ÁìÓòµÄºËÐļ¼Êõ¡£ÈçºÎ´´½¨³öÄܹ»Ä£Äâ³öÕæÊµ³¡¾°¡¢¸²¸Ç´ó²¿·ÖÍ»·¢Çé¿ö¡¢²¢ÇÒºÍÕæÊµµÄÆû³µ½Ó¿Ú¼æÈݵÄÄ£ÄâÆ÷£¬ÊÇ×Ô¶¯¼ÝÊ»Ñз¢µÄÄѵãÖ®Ò»¡£
ÔöǿѧϰÔÚ×Ô¶¯¼ÝÊ»ÖеÄÓ¦ÓúÍÕ¹Íû
ÔöǿѧϰÔÚ×Ô¶¯¼ÝÊ»ÖкÜÓÐǰ¾°¡£ÎÒÃÇÔÚTORCSÄ£ÄâÆ÷ÖÐʹÓÃÔöǿѧϰ½øÐÐÁË̽Ë÷ÐԵŤ×÷¡£TORCSÊÇÒ»¸öÈü³µÄ£ÄâÆ÷¡£Íæ¼ÒµÄÈÎÎñÊdz¬¹ýÆäËûAI³µ£¬ÒÔ×î¿ìËÙ¶È´ïµ½Öյ㡣ËäÈ»TORCSÖеÄÈÎÎñºÍÕæÊµµÄ×Ô¶¯¼ÝÊ»ÈÎÎñ»¹ÓкܴóÇø±ð¡£µ«ÆäÖÐËã·¨µÄÐÔÄܷdz£ÈÝÒׯÀ¹À¡£TORCSÄ£ÄâÆ÷Èçͼ5Ëùʾ¡£ÔöǿѧϰËã·¨Ò»°ã¿ÉÒÔÒÔǰ·½ºÍºó·½¿´µ½µÄͼÏñ×÷ΪÊäÈ룬Ҳ¿ÉÒÔ»·¾³×´Ì¬×÷ΪÊäÈ루ÀýÈçËÙ¶È£¬ÀëÈüµÀ±ßÔµµÄ¾àÀëºÍ¸úÆäËû³µµÄ¾àÀ룩¡£

ͼ5 TORCSÄ£ÄâÆ÷½ØÍ¼
ÎÒÃÇÕâÀïʹÓÃÁË»·¾³×´Ì¬×÷ΪÊäÈ롣ʹÓÃDeep Q-learning×öΪѧϰË㷨ѧϰ¡£»·¾³½±Àø¶¨ÒåΪÔÚµ¥Î»Ê±¿Ì³µÁ¾ÑØÅܵÀµÄǰ½ø¾àÀë¡£ÁíÍ⣬Èç¹û³µ³öÁËÅܵÀ»òÕßºÍÆäËûµÄ³µÁ¾Ïàײ£¬»áµÃµ½¶îÍâ³Í·£¡£»·¾³×´Ì¬°üÀ¨³µÁ¾µÄËÙ¶È¡¢¼ÓËÙ¶È¡¢ÀëÅܵÀµÄ×óÓÒ±ßÔµµÄ¾àÀ룬ÒÔ¼°ÅܵÀµÄÇÐÏ߼нǣ¬ÔÚ¸÷¸ö·½ÏòÉÏ×î½üµÄ³µµÄ¾àÀëµÈµÈ¡£³µµÄÐÐΪ°üÀ¨ÏòÉÏ»»µ²¡¢ÏòÏ»»µ²¡¢¼ÓËÙ¡¢¼õËÙ¡¢Ïò×ó´ò·½ÏòÅÌ¡¢ÏòÓÒ´ò·½ÏòÅ̵ȵȡ£
ÓëÆÕͨµÄDeep Q-learningÏà±È£¬ÎÒÃÇ×öÁËÒÔϵĸĽø¡£Ê×ÏÈ£¬Ê¹ÓÃÁ˶ಽTDËã·¨½øÐиüС£¶à²½TDËã·¨Äܱȵ¥²½Ë㷨ÿ´Îѧϰʱ¿´µ½¸ü¶àµÄÖ´Ðв¿Êý£¬Òò´ËÒ²Äܸü¿ìµØÊÕÁ²¡£Æä´Î£¬ÎÒÃÇʹÓÃÁËActor-CriticµÄ¼Ü¹¹¡£Ëü°ÑËã·¨µÄ²ßÂÔº¯ÊýºÍÖµº¯Êý·Ö±ðʹÓÃÁ½¸öÍøÂç±íʾ¡£ÕâÑùµÄ±íʾÓÐÁ½¸öÓŵ㣺1.
²ßÂÔº¯Êý¿ÉÒÔʹÓüලѧϰµÄ·½Ê½½øÐгõʼ»¯Ñ§Ï°¡£2. ÔÚ»·¾³±È½Ï¸´ÔÓµÄʱºò£¬Ñ§Ï°Öµº¯Êý·Ç³£µÄÀ§ÄÑ¡£°Ñ²ßÂÔº¯ÊýºÍÖµº¯Êý·Ö¿ªÑ§Ï°¿ÉÒÔ½µµÍ²ßÂÔº¯ÊýѧϰµÄÄѶȡ£
ʹÓÃÁ˸ĽøºóµÄDeep Q-learningËã·¨£¬ÎÒÃÇѧϰµ½µÄ²ßÂÔÔÚTORCSÖпÉÒÔʵÏÖÑØÅܵ½ÐÐ×ߣ¬»»µÀ£¬³¬³µµÈÐÐΪ¡£»ù±¾´ïµ½ÁËTORCS»·¾³ÖеĻù±¾¼ÝÊ»µÄÐèÒª¡£Google
DeepMindÖ±½ÓʹÓÃͼÏñ×÷ΪÊäÈ룬Ҳ»ñµÃÁ˺ܺõÄЧ¹û£¬µ«ÑµÁ·µÄ¹ý³ÌÒªÂýºÜ¶à¡£
ÏÖÓеÄÔöǿѧϰËã·¨ÔÚ×Ô¶¯¼ÝʻģÄâ»·¾³ÖлñµÃÁ˺ÜÓÐÏ£ÍûµÄ½á¹û¡£µ«ÊÇ¿ÉÒÔ¿´µ½£¬Èç¹ûÐèÒªÔöÇ¿Ñ§Ï°ÕæÕýÄܹ»ÔÚ×Ô¶¯¼ÝÊ»µÄ³¡¾°ÏÂÓ¦Ó㬻¹ÐèÒªÓкܶà¸Ä½ø¡£µÚÒ»¸ö¸Ä½ø·½ÏòÊÇÔöǿѧϰµÄ×ÔÊÊÓ¦ÄÜÁ¦¡£ÏÖÓеÄÔöǿѧϰËã·¨ÔÚ»·¾³ÐÔÖÊ·¢Éú¸Ä±äʱ£¬ÐèÒªÊÔ´íºÜ¶à´Î²ÅÄÜѧϰµ½ÕýÈ·µÄÐÐΪ¡£¶øÈËÔÚ»·¾³·¢Éú¸Ä±äµÄÇé¿öÏ£¬Ö»ÐèÒªºÜÉÙ´ÎÊÔ´í¾Í¿ÉÒÔѧϰµ½ÕýÈ·µÄÐÐΪ¡£ÈçºÎÖ»Ó÷dz£ÉÙÁ¿Ñù±¾Ñ§Ï°µ½ÕýÈ·µÄÐÐΪÊÇÔöǿѧϰÄܹ»ÊµÓõÄÖØÒªÌõ¼þ¡£
µÚ¶þ¸öÖØÒªµÄ¸Ä½ø·½ÏòÊÇÄ£Ð͵ĿɽâÊÍÐÔ¡£ÏÖÔÚÔöǿѧϰÖеIJßÂÔº¯ÊýºÍÖµº¯Êý¶¼ÊÇÓÉÉî¶ÈÉñ¾ÍøÂç±íʾµÄ£¬Æä¿É½âÊÍÐԱȽϲÔÚʵ¼ÊµÄʹÓÃÖгöÁËÎÊÌ⣬ºÜÄÑÕÒµ½ÔÒò£¬Ò²±È½ÏÄÑÒÔÅŲ顣ÔÚ×Ô¶¯¼ÝÊ»ÕâÖÖÈËÃü¹ØÌìµÄÈÎÎñÖУ¬ÎÞ·¨ÕÒµ½ÔÒòÊÇÍêÈ«ÎÞ·¨½ÓÊܵġ£
µÚÈý¸öÖØÒªµÄ¸Ä½ø·½ÏòÊÇÍÆÀíºÍÏëÏóÄÜÁ¦¡£ÈËÔÚѧϰµÄ¹ý³ÌÖкܶàʱºòÐèÒªÓÐÒ»¶¨µÄÍÆÀíºÍÏëÏóÄÜÁ¦¡£±ÈÈ磬ÔÚ¼Ýʻʱ£¬²»ÓÃÇ×Éí³¢ÊÔ£¬Ò²ÖªµÀΣÏÕµÄÐÐΪ»á´øÀ´»ÙÃðÐԵĺó¹û¡£
ÕâÊÇÒòΪÈËÀà¶ÔÕâ¸öÊÀ½çÓÐÒ»¸ö×ã¹»ºÃµÄÄ£ÐÍÀ´ÍÆÀíºÍÏëÏó×ö³öÏàÓ¦ÐÐΪ¿ÉÄܻᷢÉúµÄºó¹û¡£ÕâÖÖÄÜÁ¦²»½ö¶ÔÓÚ´æÔÚΣÏÕÐÐΪµÄ»·¾³ÏÂÏ·dz£ÖØÒª£¬ÔÚ°²È«µÄ»·¾³ÖÐÒ²¿ÉÒÔ´ó´ó¼Ó¿ìÊÕÁ²ËÙ¶È¡£
Ö»ÓÐÔÚÕâЩ·½Ïò×ö³öÁËʵÖÊÍ»ÆÆ£¬Ôöǿѧϰ²ÅÄÜÕæÕýʹÓõ½×Ô¶¯¼ÝÊ»»òÊÇ»úÆ÷ÈËÕâÖÖÖØÒªµÄÈÎÎñ³¡¾°ÖС£Ï£Íû¸ü¶àÓÐ־֮ʿÄÜͶÉíÕâÏîÑо¿£¬ÎªÈ˹¤ÖÇÄܵķ¢Õ¹¹±Ï׳ö×Ô¼ºµÄÁ¦Á¿¡£ |