±à¼ÍƼö: |
ÔÚ±¾ÎÄÖУ¬ÎÒÃÇÌá³öÁËÒ»¸öͨÓõļ¯Èº¼ÆËã¿ò¼Üray£¬Ëü¿ÉÒÔΪrlÓ¦ÓóÌÐòÌṩģÄ⡢ѵÁ·ºÍ·þÎñ¡£
±¾ÎÄÀ´×ÔÓÚcsdn£¬ÓÉ»ðÁú¹ûÈí¼þAlice±à¼¡¢ÍƼö¡£ |
|
ÕªÒª
ÏÂÒ»´úÈ˹¤ÖÇÄÜÓ¦ÓóÌÐò½«²»¶ÏÓë»·¾³½»»¥£¬²¢´ÓÕâЩ½»»¥ÖÐѧϰ¡£ÕâЩӦÓóÌÐòÔÚÐÔÄܺÍÁé»îÐÔ·½Ãæ¶¼¶ÔϵͳÌá³öÁËеĺͿÁ¿ÌµÄÒªÇó¡£ÔÚ±¾ÎÄÖУ¬ÎÒÃÇ¿¼ÂÇÁËÕâЩÐèÇ󣬲¢Ìá³öÁËÒ»¸ö·Ö²¼Ê½ÏµÍ³À´½â¾öÕâЩÐèÇó¡£rayʵÏÖÁËÒ»¸öͳһµÄ½Ó¿Ú£¬¸Ã½Ó¿Ú¿ÉÒÔ±íʾÈÎÎñ²¢ÐмÆËãºÍ»ùÓÚactorµÄ¼ÆË㣬²¢Óɵ¥¸ö¶¯Ì¬Ö´ÐÐÒýÇæÖ§³Ö¡£ÎªÁËÂú×ãÐÔÄÜÒªÇó£¬Ray²ÉÓ÷ֲ¼Ê½µ÷¶È³ÌÐòºÍ·Ö²¼Ê½ÈÝ´í´æ´¢À´¹ÜÀíϵͳµÄ¿ØÖÆ×´Ì¬¡£ÔÚÎÒÃǵÄʵÑéÖУ¬ÎÒÃÇչʾÁ˳¬Ô½Ã¿Ãë180Íò¸öÈÎÎñµÄÀ©Õ¹ÄÜÁ¦£¬²¢ÇÒÔÚһЩ¾ßÓÐÌôÕ½ÐÔµÄÇ¿»¯Ñ§Ï°Ó¦ÓóÌÐòÖбÈÏÖÓеÄרҵϵͳ¾ßÓиüºÃµÄÐÔÄÜ¡£
¼ò½é
ÔÚ¹ýÈ¥µÄ¶þÊ®ÄêÀÐí¶à×éÖ¯Ò»Ö±ÔÚÊÕ¼¯²¢ÖÂÁ¦ÓÚÀûÓò»¶ÏÔö³¤µÄÊý¾ÝÁ¿¡£Õâµ¼ÖÂÁË´óÁ¿·Ö²¼Ê½Êý¾Ý·ÖÎö¿ò¼ÜµÄ¿ª·¢£¬°üÀ¨Åú´¦Àí[20¡¢64¡¢28]¡¢Á÷ʽ´¦Àí[15¡¢39¡¢31]ºÍͼÐδ¦Àíϵͳ[34¡¢35¡¢24]¡£ÕâЩ¿ò¼ÜµÄ³É¹¦Ê¹×éÖ¯Äܹ»½«·ÖÎö´óÊý¾Ý¼¯×÷ΪÆäÒµÎñ»ò¿ÆÑ§Õ½ÂԵĺËÐIJ¿·Ö£¬²¢ÓÀ´ÁË¡°´óÊý¾Ý¡±Ê±´ú¡£
×î½ü£¬ÒÔÊý¾ÝΪÖÐÐĵÄÓ¦ÓóÌÐòµÄ·¶Î§ÒѾÀ©Õ¹µ½¸ü¸´ÔÓµÄÈ˹¤ÖÇÄÜ£¨AI£©»ò»úÆ÷ѧϰ£¨ML£©¼¼Êõ[30]¡£µäÐ͵ÄÀý×ÓÊÇÓмලµÄѧϰ£¬ÆäÖÐÊý¾Ýµã°éËæ×űêÇ©£¬²¢ÇÒÓÃÓÚ½«Êý¾ÝµãÓ³Éäµ½±êÇ©µÄÖ÷Á¦¼¼ÊõÊÇÓÉÉî²ãÉñ¾ÍøÂçÌṩµÄ¡£ÕâЩÉî²ãÍøÂçµÄ¸´ÔÓÐÔµ¼ÖÂÁËÁíһϵÁеĿò¼Ü¹¤×÷£¬ÕâЩ¿ò¼Ü¹¤×÷µÄÖØµãÊÇÉî²ãÉñ¾ÍøÂçµÄѵÁ·¼°ÆäÔÚÔ¤²âÖеÄÓ¦Óá£ÕâЩ¿ò¼Üͨ³£Ê¹ÓÃרÓÃÓ²¼þ£¨ÈçGPUºÍTPU£©£¬Ä¿µÄÊÇÔÚÅúÁ¿ÉèÖÃÖмõÉÙÅàѵʱ¼ä¡£Ê¾Àý°üÀ¨tensorflow[7]¡¢mxnet[18]ºÍpytorch[46]¡£
È»¶ø£¬È˹¤ÖÇÄܵÄǰ¾°Ô¶±È´«Í³µÄ¼à¶½Ñ§Ï°¸üΪ¹ãÀ«¡£ÐÂÐ˵ÄÈ˹¤ÖÇÄÜÓ¦ÓóÌÐò±ØÐëÔ½À´Ô½¶àµØÔÚ¶¯Ì¬»·¾³ÖÐÔËÐУ¬¶Ô»·¾³µÄ±ä»¯×ö³ö·´Ó¦£¬²¢²ÉȡһϵÁÐÐж¯À´ÊµÏÖ³¤ÆÚÄ¿±ê[8£¬43]¡£ËûÃǵÄÄ¿±ê²»½öÊÇÀûÓÃÊÕ¼¯µ½µÄÊý¾Ý£¬¶øÇÒ»¹ÒªÀ©´ó¿ÉÄܲÉÈ¡Ðж¯µÄ¿Õ¼ä¡£ÕâЩ¸ü¹ã·ºµÄÒªÇó×ÔÈ»µØ±»¿ò¼ÜÔÚÇ¿»¯Ñ§Ï°£¨RL£©µÄ·¶Ê½ÖС£rlÑо¿»ùÓÚÑÓ³ÙºÍÓÐÏÞ·´À¡µÄÔÚ²»È·¶¨»·¾³ÖÐÁ¬Ðø²Ù×÷µÄѧϰ[56]¡£»ùÓÚrlµÄϵͳÒѾȡµÃÁËÏÔÖøµÄ³É¹û£¬±ÈÈç¹È¸èµÄalphago»÷°ÜÁËÈËÀàÊÀ½ç¹Ú¾ü[54]£¬²¢¿ªÊ¼½øÈë¶Ô»°ÏµÍ³¡¢ÎÞÈË»ú[42]ºÍ»úÆ÷È˲Ù×÷[25£¬60]¡£
rlÓ¦ÓóÌÐòµÄÖÐÐÄÄ¿±êÊÇѧϰһÖÖ²ßÂÔ£¬¼´´Ó»·¾³×´Ì¬µ½ËæÊ±¼ä²úÉúÓÐЧÐÔÄܵIJÙ×÷Ñ¡ÔñµÄÓ³É䣬ÀýÈçÓ®µÃÓÎÏ·»ò¼ÝÊ»ÎÞÈ˼ÝÊ»·É»ú¡£ÔÚ´óÐÍÓ¦ÓóÌÐòÖвéÕÒÓÐЧ²ßÂÔÐèÒªÈý¸öÖ÷Òª¹¦ÄÜ¡£Ê×ÏÈ£¬rl·½·¨Í¨³£ÒÀÀµÓÚÄ£ÄâÀ´ÆÀ¹À²ßÂÔ¡£Í¨¹ýÄ£Ä⣬¿ÉÒÔ̽Ë÷Ðí¶à²»Í¬µÄ¶¯×÷ÐòÁÐÑ¡Ôñ£¬²¢Á˽âÕâЩѡÔñµÄ³¤ÆÚºó¹û¡£Æä´Î£¬ÓëÓмලµÄѧϰËã·¨Ò»Ñù£¬rlËã·¨ÐèÒª½øÐзֲ¼Ê½ÑµÁ·£¬ÒԸĽø»ùÓÚ·ÂÕæ»òÓëÎïÀí»·¾³½»»¥Éú³ÉµÄÊý¾ÝµÄ²ßÂÔ¡£µÚÈý£¬²ßÂÔÖ¼ÔÚΪ¿ØÖÆÎÊÌâÌṩ½â¾ö·½°¸£¬Òò´ËÓбØÒªÔÚ½»»¥Ê½±Õ»·ºÍ¿ª»·¿ØÖƳ¡¾°ÖÐΪ²ßÂÔÌṩ·þÎñ¡£
ÕâÐ©ÌØÐÔÇý¶¯ÁËеÄϵͳÐèÇó£ºÓÃÓÚrlµÄϵͳ±ØÐëÖ§³ÖϸÁ£¶È¼ÆË㣨ÀýÈ磬ÔÚÓëÕæÊµÊÀ½ç½»»¥Ê±ÒÔºÁÃëΪµ¥Î»³ÊÏÖ²Ù×÷£¬²¢Ö´ÐдóÁ¿Ä£Ä⣩£¬±ØÐëÔÚʱ¼äÉÏÖ§³ÖÒì¹¹ÐÔ£¨ÀýÈ磬ģÄâ¿ÉÄÜÐèÒªºÁÃë»òÊýСʱ£©ºÍÔÚÖØÐÂÔ´´úÂëʹÓÃÖÐÖ§³ÖÒì¹¹ÐÔ¡££¨ÀýÈ磬ÓÃÓÚѵÁ·µÄGPUºÍÓÃÓÚÄ£ÄâµÄCPU£©£¬²¢ÇÒ±ØÐëÖ§³Ö¶¯Ì¬Ö´ÐУ¬ÒòΪģÄâ½á¹û»òÓë»·¾³µÄ½»»¥¿ÉÒԸıäδÀ´µÄ¼ÆËã¡£Òò´Ë£¬ÎÒÃÇÐèÒªÒ»¸ö¶¯Ì¬¼ÆËã¿ò¼Ü£¬ÒÔºÁÃë¼¶µÄÑÓ³ÙÿÃë´¦ÀíÊý°ÙÍò¸öÒì¹¹ÈÎÎñ¡£
Õë¶Ô´óÊý¾Ý¹¤×÷¸ºÔØ»ò¼à¶½Ñ§Ï°¹¤×÷¸ºÔØ¿ª·¢µÄÏÖÓпò¼ÜÎÞ·¨Âú×ãÕâЩ¶ÔRLµÄÐÂÒªÇó¡£map reduce[20]¡¢apache
spark[64]ºÍdryad[28]µÈ´óÈÝÁ¿Í¬²½²¢ÐÐϵͳ²»Ö§³ÖϸÁ£¶ÈÄ£Äâ»ò²ßÂÔ·þÎñ¡£ciel[40]ºÍdask[48]µÈÈÎÎñ²¢ÐÐϵͳ¶Ô·Ö²¼Ê½ÑµÁ·ºÍ·þÎñµÄÖ§³ÖºÜÉÙ¡£¶ÔÓÚnaiad[39]ºÍstorm[31]µÈÁ÷ýÌåϵͳҲÊÇÈç´Ë¡£Ïñtensorflow[7]ºÍmxnet[18]ÕâÑùµÄ·Ö²¼Ê½Éî¶Èѧϰ¿ò¼Ü×ÔÈ»²»Ö§³ÖÄ£ÄâºÍ·þÎñ¡£×îºó£¬tensorflow
service[6]ºÍclipper[19]µÈÄ£ÐÍ·þÎñϵͳ¼È²»Ö§³ÖѵÁ·Ò²²»Ö§³ÖÄ£Äâ¡£
ËäÈ»ÔÔòÉÏ¿ÉÒÔͨ¹ý½«¼¸¸öÏÖÓÐϵͳ£¨ÀýÈ磬ÓÃÓÚ·Ö²¼Ê½ÑµÁ·µÄhorovod[53]¡¢ÓÃÓÚ·þÎñµÄclipper[19]ºÍÓÃÓÚÄ£ÄâµÄciel[40]£©·ìºÏÔÚÒ»ÆðÀ´¿ª·¢¶Ëµ½¶Ë½â¾ö·½°¸£¬µ«Êµ¼ÊÉÏ£¬ÓÉÓÚÕâЩ×é¼þÔÚÓ¦ÓóÌÐòÖеĽôÃÜñîºÏ£¬ÕâÖÖ·½·¨ÊÇÕ¾²»×¡½ÅµÄ¡£Òò´Ë£¬½ñÌìµÄÑо¿ÈËÔ±ºÍʵ¼ùÕßΪרÃŵÄrlÓ¦Óù¹½¨Ò»´ÎÐÔϵͳ[58¡¢41¡¢54¡¢44¡¢49¡¢5]¡£ÕâÖÖ·½·¨¸ø·Ö²¼Ê½Ó¦ÓóÌÐòµÄ¿ª·¢´øÀ´Á˾޴óµÄϵͳ¹¤³Ì¸ºµ££¬ÆäʵÖÊÊǽ«µ÷¶È¡¢ÈÝ´íºÍÊý¾ÝÒÆ¶¯µÈ±ê׼ϵͳÌôÕ½ÍÆµ½Ã¿¸öÓ¦ÓóÌÐòÉÏ¡£
ÔÚ±¾ÎÄÖУ¬ÎÒÃÇÌá³öÁËÒ»¸öͨÓõļ¯Èº¼ÆËã¿ò¼Üray£¬Ëü¿ÉÒÔΪrlÓ¦ÓóÌÐòÌṩģÄ⡢ѵÁ·ºÍ·þÎñ¡£ÕâЩ¹¤×÷¸ºÔصÄÐèÇó·¶Î§´ÓÇáÁ¿¼¶ºÍÎÞ״̬¼ÆË㣨ÈçÓÃÓÚÄ£Ä⣩µ½³¤Ê±¼äÔËÐкÍÓÐ״̬¼ÆË㣨ÈçÓÃÓÚÅàѵ£©¡£ÎªÁËÂú×ãÕâЩÐèÇó£¬RayʵÏÖÁËÒ»¸öͳһµÄ½Ó¿Ú£¬¿ÉÒÔͬʱ±íʾÈÎÎñ²¢ÐмÆËãºÍ»ùÓÚActorµÄ¼ÆËã¡£ÈÎÎñʹRayÄܹ»¸ßЧ¡¢¶¯Ì¬µØ½øÐиºÔØÆ½ºâÄ£Ä⣬´¦Àí´óµÄÊäÈëºÍ״̬¿Õ¼ä£¨ÈçͼÏñ¡¢ÊÓÆµ£©£¬²¢´Ó¹ÊÕÏÖлָ´¡£Ïà·´£¬actorsʹrayÄܹ»ÓÐЧµØÖ§³ÖÓÐ״̬¼ÆË㣬ÀýÈçÄ£ÐÍѵÁ·£¬²¢Ïò¿Í»§»ú£¨ÀýÈ磬²ÎÊý·þÎñÆ÷£©¹«¿ª¹²ÏíµÄ¿É±ä״̬¡£rayÔÚÒ»¸ö¸ß¶È¿ÉÉìËõºÍÈÝ´íµÄ¶¯Ì¬Ö´ÐÐÒýÇæÉÏʵÏÖactorºÍÈÎÎñ³éÏó¡£
ΪÁËÂú×ãÐÔÄÜÒªÇó£¬ray·Ö·¢ÁËÁ½¸ö×é¼þ£¬ÕâÁ½¸ö×é¼þͨ³£¼¯ÖÐÔÚÏÖÓпò¼ÜÖÐ[64¡¢28¡¢40]£º£¨1£©ÈÎÎñµ÷¶ÈÆ÷ºÍ£¨2£©Î¬»¤¼ÆËãÑØÏ®µÄÔªÊý¾Ý´æ´¢ºÍÊý¾Ý¶ÔÏóµÄĿ¼¡£ÕâÔÊÐíRayÒÔºÁÃë¼¶µÄÑÓ³ÙÿÃëµ÷¶ÈÊý°ÙÍò¸öÈÎÎñ¡£´ËÍ⣬rayΪÈÎÎñºÍ²ÎÓëÕßÌṩÁË»ùÓÚÑØÏ®µÄÈÝ´í£¬²¢ÎªÔªÊý¾Ý´æ´¢ÌṩÁË»ùÓÚ¸´ÖƵÄÈÝ´í¡£
ËäÈ»rayÖ§³ÖÔÚrlÓ¦ÓóÌÐòµÄÉÏÏÂÎÄÖзþÎñ¡¢ÅàѵºÍÄ£Ä⣬µ«Õâ²¢²»Òâζ×ÅËüÓ¦¸Ã±»ÊÓΪÔÚÆäËûÉÏÏÂÎÄÖÐΪÕâЩ¹¤×÷¸ºÔØÌṩ½â¾ö·½°¸µÄϵͳµÄÌæ´úÆ·¡£ÌرðÊÇ£¬Ray²¢²»´òËãÌæ´úClipper[19]ºÍTensorFlow
Serving[6]µÈ·þÎñϵͳ£¬ÒòΪÕâЩϵͳ½â¾öÁ˲¿ÊðÄ£ÐÍ£¨°üÀ¨Ä£Ð͹ÜÀí¡¢²âÊÔºÍÄ£ÐÍ×éºÏ£©Ê±µÄһϵÁиü¹ã·ºµÄÌôÕ½¡£ÀàËÆµØ£¬¾¡¹ÜRay¾ßÓÐÁé»îÐÔ£¬µ«Ëü²»ÄÜÌæ´úSpark[64]µÈͨÓÃÊý¾Ý²¢Ðпò¼Ü£¬ÒòΪËüĿǰȱ·¦ÕâЩ¿ò¼ÜÌṩµÄ·á¸»¹¦ÄܺÍAPI£¨ÀýÈ磬·ÖÉ¢»º½â¡¢²éѯÓÅ»¯£©¡£
ÎÒÃÇ×ö³öÒÔϹ±Ï×£º
ÎÒÃÇÉè¼Æ²¢¹¹½¨Á˵ÚÒ»¸ö·Ö²¼Ê½¿ò¼Ü£¬½«Åàѵ¡¢Ä£ÄâºÍ·þÎñÐÂÐËRLÓ¦ÓóÌÐòµÄ±ØÒª×é¼þͳһÆðÀ´¡£
ΪÁËÖ§³ÖÕâЩ¹¤×÷¸ºÔØ£¬ÎÒÃǽ«²ÎÓëÕߺÍÈÎÎñ²¢ÐгéÏóͳһÔÚ¶¯Ì¬ÈÎÎñÖ´ÐÐÒýÇæÖ®ÉÏ¡£
ΪÁËʵÏÖ¿ÉÀ©Õ¹ÐÔºÍÈÝ´íÐÔ£¬ÎÒÃÇÌá³öÁËÒ»¸öϵͳÉè¼ÆÔÔò£¬ÆäÖпØÖÆ×´Ì¬´æ´¢ÔÚ·ÖÆ¬ÔªÊý¾Ý´æ´¢ÖУ¬¶øËùÓÐÆäËûϵͳ×é¼þ¶¼ÊÇÎÞ״̬µÄ¡£
ΪÁËʵÏÖ¿ÉÀ©Õ¹ÐÔ£¬ÎÒÃÇÌá³öÁËÒ»ÖÖ×Ô϶øÉϵķֲ¼Ê½µ÷¶È²ßÂÔ¡£
¶¯»úºÍÐèÇó
ÎÒÃÇÊ×ÏÈ¿¼ÂÇrlϵͳµÄ»ù±¾×é³É²¿·Ö£¬²¢³äʵÁ˶ÔrayµÄ¹Ø¼üÒªÇó¡£Èçͼ1Ëùʾ£¬ÔÚRLÉèÖÃÖУ¬´úÀíÓë»·¾³Öظ´½»»¥¡£´úÀíÈ˵ÄÄ¿±êÊÇѧϰһÖÖʹ±¨³ê×î´ó»¯µÄ²ßÂÔ¡£²ßÂÔÊÇ´Ó»·¾³×´Ì¬µ½²Ù×÷Ñ¡ÔñµÄÓ³Éä¡£»·¾³¡¢´úÀí¡¢×´Ì¬¡¢²Ù×÷ºÍ½±ÀøµÄ¾«È·¶¨ÒåÊÇÌØ¶¨ÓÚÓ¦ÓóÌÐòµÄ¡£
ΪÁËѧϰ²ßÂÔ£¬´úÀíͨ³£²ÉÓÃÁ½²½Á÷³Ì£º£¨1£©²ßÂÔÆÀ¹ÀºÍ£¨2£©²ßÂԸĽø¡£ÎªÁËÆÀ¹À²ßÂÔ£¬´úÀíÓë»·¾³½»»¥£¨ÀýÈ磬Óë»·¾³µÄÄ£Ä⣩ÒÔÉú³É¹ì¼££¬ÆäÖй켣Óɵ±Ç°²ßÂÔÉú³ÉµÄ£¨×´Ì¬¡¢½±Àø£©Ôª×éÐòÁÐ×é³É¡£È»ºó£¬´úÀíʹÓÃÕâЩ¹ì¼£À´¸Ä½ø²ßÂÔ£»¼´£¬ÔÚʹ»Ø±¨×î´ó»¯µÄÌݶȷ½ÏòÉϸüвßÂÔ¡£Í¼2ÏÔʾÁË´úÀíÓÃÀ´Ñ§Ï°²ßÂÔµÄα´úÂëʾÀý¡£´Ëα´úÂëͨ¹ýµ÷ÓÃrollout£¨environment£¬policy£©Éú³É¹ì¼£À´ÆÀ¹À²ßÂÔ¡£È»ºóʹÓÃÕâЩ¹ì¼£Í¨¹ýpolicy.update£¨¹ì¼££©¸Ä½øµ±Ç°²ßÂÔ¡£´Ë¹ý³ÌÖØ¸´£¬Ö±µ½²ßÂԾۺϡ£
Òò´Ë£¬rlÓ¦ÓóÌÐòµÄ¿ò¼Ü±ØÐëΪÅàѵ¡¢·þÎñºÍÄ£ÄâÌṩÓÐЧµÄÖ§³Ö£¨Í¼1£©¡£½ÓÏÂÀ´£¬ÎÒÃǼòÒªÃèÊöÕâЩ¹¤×÷¸ºÔØ¡£
ѵÁ·Í¨³£°üÀ¨ÔËÐÐËæ»úÌݶÈϽµ£¨sgd£©£¬Í¨³£ÔÚ·Ö²¼Ê½»·¾³ÖУ¬ÒÔ¸üвßÂÔ¡£·Ö²¼Ê½sgdͨ³£ÒÀÀµÓÚallreduce¾ÛºÏ²½Öè»ò²ÎÊý·þÎñÆ÷[32]¡£
·þÎñʹÓþ¹ýÅàѵµÄ²ßÂÔ¸ù¾Ý»·¾³µÄµ±Ç°×´Ì¬Ö´ÐвÙ×÷¡£·þÎñϵͳµÄÄ¿±êÊÇ×îС»¯ÑÓ³Ù£¬²¢Ê¹Ã¿ÃëµÄ¾ö²ßÊý×î´ó»¯¡£ÎªÁËÀ©Õ¹£¬¸ºÔØÍ¨³£ÔÚΪ²ßÂÔ·þÎñµÄ¶à¸ö½ÚµãÖ®¼äƽºâ¡£
Óë¼à¶½Ñ§Ï°£¨ÆäÖÐÅàѵºÍ·þÎñ¿ÉÒÔÓɲ»Í¬µÄϵͳ·Ö±ð´¦Àí£©²»Í¬£¬ÔÚrlÖУ¬ÕâÈýÖÖ¹¤×÷¸ºÔؽôÃÜñîºÏÔÚÒ»¸öÓ¦ÓóÌÐòÖУ¬ËüÃÇÖ®¼äÓÐÑϸñµÄÑÓ³ÙÒªÇó¡£Ä¿Ç°£¬Ã»Óпò¼ÜÖ§³ÖÕâÖÖ¹¤×÷¸ºÔØñîºÏ¡£ÀíÂÛÉÏ£¬¿ÉÒÔ½«¶à¸öרÓÿò¼Ü×éºÏÔÚÒ»ÆðÒÔÌṩ×ÜÌ幦ÄÜ£¬µ«Êµ¼ÊÉÏ£¬ÔÚrlµÄÉÏÏÂÎÄÖУ¬ÔÚϵͳ֮¼ä²úÉúµÄÊý¾ÝÒÆ¶¯ºÍÑÓ³ÙÊǽûÖ¹µÄ¡£Òò´Ë£¬Ñо¿ÈËÔ±ºÍ´ÓÒµÈËÔ±Ò»Ö±ÔÚ½¨Á¢×Ô¼ºµÄÒ»´ÎÐÔϵͳ¡£
ÕâÖÖÏÖ×´ÒªÇóΪrl¿ª·¢Ðµķֲ¼Ê½¿ò¼Ü£¬ÒÔÓÐЧµØÖ§³ÖÅàѵ¡¢·þÎñºÍ·ÂÕæ¡£ÌرðÊÇ£¬ÕâÖÖ¿ò¼ÜÓ¦Âú×ãÒÔÏÂÒªÇó£º
ϸÁ£¶È¡¢Òì¹¹¼ÆËã¡£¼ÆËãµÄ³ÖÐøÊ±¼ä¿ÉÒÔ´ÓºÁÃ루ÀýÈ磬ִÐвÙ×÷£©µ½Ð¡Ê±£¨ÀýÈ磬Åàѵ¸´ÔӵIJßÂÔ£©¡£´ËÍ⣬Åàѵͨ³£ÐèÒªÒì¹¹Ó²¼þ£¨ÈçCPU¡¢GPU»òTPU£©¡£
Áé»îµÄ¼ÆËãÄ£ÐÍ¡£ rlÓ¦ÓóÌÐòÐèÒªÎÞ״̬ºÍÓÐ״̬¼ÆËã¡£ÎÞ״̬¼ÆËã¿ÉÒÔÔÚϵͳÖеÄÈκνڵãÉÏÖ´ÐУ¬ÕâʹµÃÔÚÐèҪʱ¿ÉÒÔÇáËÉʵÏÖ¸ºÔØÆ½ºâºÍ¼ÆËãµ½Êý¾ÝµÄÒÆ¶¯¡£Òò´Ë£¬ÎÞ״̬¼ÆËã·Ç³£ÊʺÏÓÚϸÁ£¶È·ÂÕæºÍÊý¾Ý´¦Àí£¬ÀýÈç´ÓͼÏñ»òÊÓÆµÖÐÌáÈ¡ÌØÕ÷¡£Ïà·´£¬ÓÐ״̬¼ÆËã·Ç³£ÊʺÏÓÚʵÏÖ²ÎÊý·þÎñÆ÷¡¢¶ÔgpuÖ§³ÖµÄÊý¾ÝÖ´ÐÐÖØ¸´¼ÆËã»òÔËÐв»¹«¿ªÆä״̬µÄµÚÈý·½Ä£ÄâÆ÷¡£
¶¯Ì¬Ö´ÐС£ rlÓ¦ÓóÌÐòµÄ¼¸¸ö×é¼þÐèÒª¶¯Ì¬Ö´ÐУ¬ÒòΪ¼ÆËãÍê³ÉµÄ˳Ðò²¢²»×ÜÊÇÔ¤ÏÈÖªµÀ£¨ÀýÈ磬ģÄâÍê³ÉµÄ˳Ðò£©£¬²¢ÇÒ¼ÆËãµÄ½á¹û¿ÉÒÔÈ·¶¨Î´À´µÄ¼ÆË㣨ÀýÈ磬ģÄâµÄ½á¹û½«È·¶¨ÎÒÃÇÊÇ·ñÐèÒªÖ´Ðиü¶àµÄÄ£Ä⣩¡£
ÎÒÃÇ×÷ÁË×îºóÁ½µãÆÀÂÛ¡£Ê×ÏÈ£¬ÒªÔÚ´óÐͼ¯ÈºÖÐʵÏÖ¸ßÀûÓÃÂÊ£¬ÕâÑùµÄ¿ò¼Ü±ØÐëÿÃë´¦ÀíÊý°ÙÍò¸öÈÎÎñ¡£µÚ¶þ£¬ÕâÑùµÄ¿ò¼Ü²»´òËã´ÓÍ·¿ªÊ¼ÊµÏÖÉî²ãÉñ¾ÍøÂç»ò¸´ÔÓµÄÄ£ÄâÆ÷¡£Ïà·´£¬ËüÓ¦¸ÃÄܹ»ÓëÏÖÓÐÄ£ÄâÆ÷[13¡¢11¡¢59]ºÍÉî¶Èѧϰ¿ò¼Ü[7¡¢18¡¢46¡¢29]Î޷켯³É¡£ |