Äú¿ÉÒÔ¾èÖú£¬Ö§³ÖÎÒÃǵĹ«ÒæÊÂÒµ¡£

1Ôª 10Ôª 50Ôª





ÈÏÖ¤Â룺  ÑéÖ¤Âë,¿´²»Çå³þ?Çëµã»÷Ë¢ÐÂÑéÖ¤Âë ±ØÌî



  ÇóÖª ÎÄÕ ÎÄ¿â Lib ÊÓÆµ iPerson ¿Î³Ì ÈÏÖ¤ ×Éѯ ¹¤¾ß ½²×ù Model Center   Code  
»áÔ±   
   
 
     
   
 ¶©ÔÄ
  ¾èÖú
¼ÆËã»úÊÓ¾õ·½Ïò¼ò½é | ¶àÄ¿±ê¸ú×ÙËã·¨£¨¸½Ô´Â룩
 
×÷Õߣº¼ÆËã»úÊÓ¾õlife
  3143  次浏览      27
 2020-11-30
 
±à¼­ÍƼö:
±¾ÎÄÖ÷Òª½éÉÜÁ˼ÆËã»úÊÓ¾õÁìÓòÖÐÑо¿µÄÈȵãÖ®Ò»-- Ä¿±ê¸ú×ÙÓÐÄÄЩÖ÷Òª·ÖÖ§£¿²»Í¬µÄ¸ú×ÙËã·¨ÊÇÈçºÎʵÏֵģ¬Ï£Íû¶ÔÄúµÄѧϰÓÐËù°ïÖú¡£
±¾ÎÄÀ´×ÔÓÚËѺü£¬ÓÉ»ðÁú¹ûÈí¼þLinda±à¼­¡¢ÍƼö¡£

|| ǰÑÔ

Ä¿±ê¸ú×ÙÊǼÆËã»úÊÓ¾õÁìÓòÖÐÑо¿µÄÈȵãÖ®Ò»£¬·ÖΪµ¥Ä¿±ê¸ú×ÙÓë¶àÄ¿±ê¸ú×Ù¡£Ç°Õ߸ú×ÙÊÓÆµ»­ÃæÖеĵ¥¸öÄ¿±ê£¬ºóÕßÔòͬʱ¸ú×ÙÊÓÆµ»­ÃæÖеĶà¸öÄ¿±ê£¬µÃµ½ÕâЩĿ±êµÄÔ˶¯¹ì¼£¡£

»ùÓÚÊÓ¾õµÄ¶àÄ¿±ê¸ú×ÙÔÚ½üÄêÀ´Ô½À´Ô½¶àµØ³ÉΪ¼ÆËã»úÊÓ¾õÁìÓòµÄÑо¿Öص㣬Ö÷ÒªÊÇÒòΪÆäÔÚÖÇÄÜ¼à¿Ø¡¢¶¯×÷ÓëÐÐΪ·ÖÎö¡¢×Ô¶¯¼ÝÊ»¡¢ÐéÄâÏÖʵºÍÓéÀÖ»¥¶¯µÈÁìÓò¶¼ÓÐÖØÒªµÄÓ¦Óá£ÀýÈ磬ÔÚ×Ô¶¯¼ÝʻϵͳÖУ¬Ä¿±ê¸ú×ÙËã·¨Òª¶ÔÔ˶¯µÄ³µ¡¢ÐÐÈË¡¢ÆäËû¶¯ÎïµÄÔ˶¯½øÐиú×Ù£¬¶ÔËüÃÇÔÚδÀ´µÄλÖá¢ËٶȵÈÐÅÏ¢×÷³öÔ¤ÅУ»ÔÚÐéÄâÏÖʵÁìÓòÀÐèÒª¸ù¾ÝÉãÏñÍ·²¶×½µ½µÄÈËÎﶯ×÷ºÍ¹ì¼££¬ÊµÏÖÈË»ú½»»¥µÄÄ¿µÄ¡£

ÄÇô£¬¸ú×ÙËã·¨ÓÐÄÄЩÖ÷Òª·ÖÖ§£¿²»Í¬µÄ¸ú×ÙËã·¨ÊÇÈçºÎʵÏÖµÄÄØ£¿ÈÃÎÒÃÇ´ø×ÅÕâЩÎÊÌ⿪ʼ¶àÄ¿±ê¸ú×ÙÁìÓòµÄÆæ»ÃÖ®Âðɣ¡

|| ÐëÖª

¶àÄ¿±ê¸ú×ÙËã·¨°´Õչ켣Éú³ÉµÄ˳Ðò¿ÉÒÔ·ÖΪÀëÏߵĶàÄ¿±ê¸ú×ÙºÍÔÚÏߵĶàÄ¿±ê¸ú×ÙËã·¨¡£

ÀëÏß·½Ê½µÄ¶àÄ¿±ê¸ú×ÙË㷨ͨ³£¹¹ÔìΪͼģÐÍ¡£ÆäÖУ¬Éè¼ÆºÍ¼ÆËã¼ì²âÖ®¼äµÄÏàËÆ¶È»òÕß¾àÀë¶ÈÁ¿ÊǾö¶¨Í¼Ä£Ð͹¹ÔìÕýÈ·ÐԵĹؼü¡£ÔÚÏß·½Ê½µÄ¶àÄ¿±ê¸ú×ÙËã·¨¸ù¾Ýµ±Ç°¼ì²â¹Û²â£¬¼ÆËãÓëÒÑÓй켣µÄÆ¥Åä¹ØÏµ¡£

×ÛÉÏ£¬¼ÆËãºÏÊÊµÄÆ¥Åä¶ÈÁ¿¾ö¶¨ÁËÆ¥ÅäµÄÕýÈ·ÐÔ¡£Òò´Ë£¬ÎÞÂÛÊÇÀëÏß·½Ê½µÄ¶àÄ¿±ê¸ú×Ù»¹ÊÇÔÚÏß·½Ê½µÄ¶àÄ¿±ê¸ú×ÙËã·¨£¬Ñ§Ï°¼ì²â½á¹ûµÄÌØÕ÷²¢¼ÆËãÆ¥ÅäÏàËÆ¶È»òÕß¾àÀë¶ÈÁ¿¶¼ÊǶàÄ¿±ê¸ú×ÙËã·¨µÄ¹Ø¼ü²½Öè¡£

»ùÓÚÉî¶ÈѧϰµÄ¶àÄ¿±ê¸ú×ÙËã·¨µÄÖ÷ÒªÈÎÎñÊÇÓÅ»¯¼ì²âÖ®¼äÏàËÆÐÔ»ò¾àÀë¶ÈÁ¿µÄÉè¼Æ¡£¸ù¾ÝÑ§Ï°ÌØÕ÷µÄ²»Í¬£¬»ùÓÚÉî¶ÈѧϰµÄ¶àÄ¿±ê¸ú×Ù¿ÉÒÔ·ÖΪ»ùÓÚÉî¶È±í¹ÛÌØÕ÷ѧϰµÄ¶àÄ¿±ê¸ú×Ù£¬»ùÓÚÉî¶ÈÏàËÆÐÔ¶ÈÁ¿Ñ§Ï°µÄ¶àÄ¿±ê¸ú×Ù£¬ÒÔ¼°»ùÓÚÉî¶È¸ß½×ÌØÕ÷Æ¥ÅäµÄ¶àÄ¿±ê¸ú×Ù£¬Èçͼ1Ëùʾ¡£

ͼ1

Éî¶È±í¹ÛÌØÕ÷£ºÀûÓÃͼÏñʶ±ðÈÎÎñÖÐѧϰµ½µÄÉî¶ÈÌØÕ÷Ö±½ÓÌæ»»ÏÖÓжàÄ¿±ê¸ú×ÙËã·¨¿ò¼ÜÖеıí¹ÛÌØÕ÷£¬»òÕß²ÉÓÃÉî¶ÈÉñ¾­ÍøÂçѧϰ¹âÁ÷Ô˶¯ÌØÕ÷£¬¼ÆËãÔ˶¯Ïà¹ØÐÔ¡£

Éî¶ÈÏàËÆÐÔ¶ÈÁ¿£ºÑ§Ï°¼ì²âÖ®¼äµÄÌØÕ÷ÏàËÆÐÔ£¬±ÈÈçÉè¼ÆÉî¶ÈÍøÂç¼ÆË㲻ͬ¼ì²âµÄ¾àÀ뺯Êý£¬ÏàͬĿ±êµÄ¼ì²â¾àÀëС£¬²»Í¬Ä¿±êµÄ¼ì²â¾àÀë´ó£¬´Ó¶ø¹¹Ôì¹ØÓÚ¼ì²â¾àÀëµÄ´ú¼Ûº¯Êý¡£Ò²¿ÉÒÔÉè¼Æ¶þÀà·ÖÀà´ú¼Û£¬Ê¹ÏàͬĿ±êµÄ¼ì²âÌØÕ÷Æ¥ÅäÀàÐÍΪ1£¬¶ø²»Í¬Ä¿±êµÄ¼ì²âÌØÕ÷Æ¥ÅäÀàÐÍΪ0,´Ó¶øÑ§Ï°²¢Êä³ö(0,1)Ö®¼äµÄ¼ì²âÆ¥Åä¶È¡£

Éî¶È¸ß½×ÌØÕ÷Æ¥Å䣺Èç¹û¿¼ÂÇÒÑÓй켣Óë¼ì²âÖ®¼äµÄÆ¥Åä»òÕ߹켣֮¼äµÄÆ¥Å䣬²ÉÓÃÉî¶Èѧϰ·½·¨¿ÉÒÔÓÃÓÚÉè¼Æ²¢¼ÆËã¹ì¼£Ö®¼äµÄÆ¥ÅäÏàËÆ¶È£¬ÕâÖÖ·½·¨¿ÉÒÔÈÏΪÊÇ»ùÓÚÉî¶ÈѧϰµÄ¸ß½×ÌØÕ÷Æ¥Åä·½·¨¡£²ÉÓÃÉî¶Èѧϰ¼ÆËã¸ß½×ÌØÕ÷Æ¥Åä¿ÉÒÔѧϰ¶àÖ¡±í¹ÛÌØÕ÷µÄ¸ß½×Æ¥ÅäÏàËÆÐÔ£¬Ò²¿ÉÒÔѧϰÔ˶¯ÌØÕ÷µÄÆ¥ÅäÏà¹Ø¶È¡£

ÏÂÃæÎÒ½«¶ÔһЩ±È½ÏÖØÒªµÄ»ùÓÚÉî¶ÈѧϰµÄ¶àÄ¿±ê¸ú×ÙËã·¨½øÐиÅÊö£¬ÏëÒªÏêϸÁ˽âµÄС»ï°é»¹ÊÇÒª¶à¶ÁÔ´Âë¡¢¶à¿´ÂÛÎÄ£¬Ï¸Ï¸Ìå»áÕâЩËã·¨±³ºóµÄÉî¿Ìº¬ÒåÁË£¬ÎÄÕµÄ×îºóÎÒ»á¸ø³öÎÒ¿´¹ýµÄһЩ¹Ø¼üÐÔµÄÂÛÎÄÓëÔ´Âë´«ËÍÃÅ£¬Äª»Å£¡

|| Ëã·¨

»ùÓÚSiamese¶Ô³ÆÍøÂçµÄ¶àÄ¿±ê¸ú×ÙËã·¨

Siamese¶Ô³Æ¾í»ýÍøÂçÊÇÒ»ÖÖ¼ì²âÆ¥Åä¶ÈÁ¿Ñ§Ï°·½·¨£¬Èçͼ2Ëùʾ¡£ÒÔÁ½¸ö³ß´çÏàͬµÄ¼ì²âͼÏñ¿é×÷ΪÊäÈ룬Êä³öΪÕâÁ½¸öͼÏñ¿éÊÇ·ñÊôÓÚͬһ¸öÄ¿±êµÄÅбð¡£

ԭʼµÄ¼ì²âÌØÕ÷°üÀ¨ÕýÔò»¯µÄLUVͼÏñI1ºÍI2£¬ÒÔ¼°¾ßÓÐx,y·½Ïò·ÖÁ¿µÄ¹âÁ÷ͼÏñO1ºÍO2£¬°ÑÕâЩͼÏñËõ·Åµ½121x53£¬²¢ÇÒµþ¼Óµ½Ò»Æð¹¹³É10¸öͨµÀµÄÍøÂçÊäÈëÌØÕ÷¡£¾í»ýÍøÂçÓÉÈý¸ö¾í»ý²ã(C1¡¢C2¡¢C3)¡¢Èý¸öÈ«Á¬½Ó²ã(F4¡¢F5¡¢F6)ÒÔ¼°Ò»¸ö2Ôª·ÖÀàËðʧ²ã(F7)×é³É£¬Èçͼ2Ëùʾ¡£

ͼ2 Siamese¶Ô³ÆÍøÂç½á¹¹

ѧϰ¹ý³Ì²ÉÓþ­µäµÄ´øÓж¯Á¿µÄËæ»úÌݶȷ´Ïò´«²¥Ëã·¨¡£minibatch´óСѡÔñΪ128£¬Ñ§Ï°ÂʳõʼΪ0.01¡£Í¨¹ý50¸ö»ØºÏµÄѵÁ·£¬¿ÉÒԵõ½½ÏΪÓÅ»¯µÄÍøÂç²ÎÊý¡£ÔÚSiameseÍøÂçѧϰÍê³ÉÖ®ºó£¬×÷Õß²ÉÓõÚÁù²ãÈ«Á¬½ÓÍøÂçµÄÊä³ö×÷Ϊ±í¹ÛÌØÕ÷£¬ÎªÁËÈÚºÏÔ˶¯ÐÅÏ¢£¬×÷ÕßÓÖÉè¼ÆÁË6άÔ˶¯ÉÏÏÂÎÄÌØÕ÷£º³ß´çÏà¶Ô±ä»¯£¬Î»ÖÃÏà¶Ô±ä»¯£¬ÒÔ¼°ËÙ¶ÈÏà¶Ô±ä»¯¡£

»ùÓÚSiamese¶Ô³ÆÍøÂçµÄ¶àÄ¿±ê¸ú×ÙËã·¨ÔÚ¼ÆËã»úÊÓ¾õ¸ú×ÙÁìÓòÓÐ×ÅÊ®·ÖÖØÒªµÄµØÎ»£¬ÓÉÓÚ²ÉÓÃÂÏÉúµÄÍøÂç½á¹¹£¬Ê¹µÃÆäÄܹ»¸üºÃµØÀûÓÃÒ»ÌײÎÊýÀ´¶ÔÏàËÆµÄͼÏñ½øÐÐÄâºÏ£¬´ïµ½¿ìËÙѧϰ¸ú×ÙµÄÄ¿µÄ¡£ÕâÖÖÍøÂç½á¹¹ÎªºóÐøµÄÑо¿¹¤×÷ÌṩÁËÒ»¸öÊ®·ÖÓÐЧµÄÍøÂçÄ£°åÓë˼·£¬Íƶ¯Á˼ÆËã»úÊÓ¾õÁìÓò¸ú×ÙËã·¨µÄ·¢Õ¹¡£

»ùÓÚÈ«Á¬½ÓÂÏÉú£¨Siamese-FC£©ÍøÂçµÄÄ¿±ê¸ú×Ù

Siamese-FCÓë֮ǰÌáµ½µÄSiamese CNN¶¼²ÉÓÃÁËÂÏÉú½á¹¹£¬Siamese-FCµÄËã·¨½á¹¹Èçͼ3Ëùʾ¡£

ͼ3 Siamese-FCÍøÂç½á¹¹

ͼÖÐz´ú±íµÄÊÇÄ£°åͼÏñ£¬Ëã·¨ÖÐʹÓõÄÊǵÚÒ»Ö¡µÄgroundtruth£¬x´ú±íµÄÊÇsearch region£¬¼´ÔÚºóÃæµÄ´ý¸ú×ÙÖ¡ÖеĺòÑ¡¿òËÑË÷ÇøÓò£¬¦Õ´ú±íµÄÊÇÒ»ÖÖÌØÕ÷Ó³Éä²Ù×÷£¬½«Ô­Ê¼Í¼ÏñÓ³Éäµ½ÌØ¶¨µÄÌØÕ÷¿Õ¼ä£¬ÎÄÖвÉÓõÄÊÇCNNÖеľí»ý²ãºÍpooling²ã£¬6¡Á6¡Á128´ú±íz¾­¹ý¦ÕºóµÃµ½µÄÌØÕ÷£¬ÊÇÒ»¸ö128ͨµÀ6¡Á6´óСfeature£¬Í¬Àí£¬22¡Á22¡Á128ÊÇx¾­¹ý¦ÕºóµÄÌØÕ÷£¬×îºóµÄ*´ú±í¾í»ý²Ù×÷£¬ÈÃ22¡Á22¡Á128µÄfeature±»6¡Á6¡Á128µÄ¾í»ýºË¾í»ý£¬µÃµ½Ò»¸ö17¡Á17¡Á1µÄscore map£¬´ú±í×Åsearch regionÖи÷¸öλÖÃÓëÄ£°åµÄÏàËÆ¶ÈÖµ¡£

Ëã·¨±¾ÉíÊDZȽÏËÑË÷ÇøÓòÓëÄ¿±êÄ£°åµÄÏàËÆ¶È£¬×îºóµÃµ½ËÑË÷ÇøÓòµÄscore map¡£´ÓÔ­ÀíÉÏÀ´Ëµ£¬ÕâÖÖ·½·¨ºÍÏà¹ØÐÔÂ˲¨µÄ·½·¨ºÜÏàËÆ¡£¶¼ÊÇÔÚËÑË÷ÇøÓòÖÐÓëÄ¿±êÄ£°å½øÐÐÖðµãÆ¥Å䣬Siamese-FCËã·¨½«ÕâÖÖÖðµãÆ½ÒÆÆ¥Å伯ËãÏàËÆ¶ÈµÄ·½·¨¿´³ÉÒ»ÖÖ¾í»ý²Ù×÷£¬È»ºóÔÚ¾í»ý½á¹ûÖÐÕÒµ½ÏàËÆ¶ÈÖµ×î´óµÄµã£¬×÷ΪеÄÄ¿±êÖÐÐÄ¡£

MDNetµÄ¸Ä½øÍøÂ硪¡ªReal-Time MDNet

Ê×Ïȼòµ¥½éÉÜMDNet, MDNetÊÇÒ»¸ö´¿Éî¶ÈµÄÄ¿±ê¸ú×Ù·½·¨£¬ÑµÁ·Ê±Ê×ÏÈÔÚÿһ¸öÊÓÆµÖиù¾ÝÄ¿±êµÄλÖÃÓøß˹·Ö²¼£¬¾ùÔÈ·Ö²¼ºÍËæ»ú·Ö²¼½áºÏµÄ·½·¨²ÉÑùÈ¡µÃROI¿ò£¬ÌáÈ¡¶ÔӦͼÏñpatch£»È»ºóÊäÈëÍøÂç×îºóÒ»²ã£¨È«Á¬½Ó²ã£©ºó£¬ÀûÓÃsoftmaxÊä³öÄ¿±êºÍ±³¾°µÄ¸ÅÂÊ£¬È»ºó¸ù¾Ýgroundtruth¼ÆËãloss·´´«£¬ÑµÁ·Ê±½ö×îºóÒ»²ãFC²ã¸ù¾Ý²»Í¬ÀàµÄÊÓÆµ¶ø²»Í¬£¬¼´½öÓÐÇ°ÃæµÄ²ã¹²Ïí²ÎÊý£¬Ä¿µÄÊÇѧϰµ½¸ü³°ôµÄ²ÎÊý£¬¼ì²âµÄʱºòÈ¥µô×îºóÒ»²ã£¬ÓÃеÄFC²ãʹÓõÚÒ»Ö¡µÄÐÅÏ¢finetune£¬MDNetµÄȱµãÊÇÌ«Âý£¬FPS~ 1¡£Real-TimeMDNetÌáÉýÖÁFPS¡«40¡£

Real-Time MDNet[12]µÄ¹±Ï×ÊÇ£º

1¡¢ÊÜMask R-CNNµÄÆô·¢£¬Ìá³öÁËÒ»ÖÖ×ÔÊÊÓ¦µÄROIAlign£»

2¡¢¶ÔËðʧº¯Êý½øÐÐÁ˸Ľø£¬ÒýÈëÁËÒ»¸öÄÚǶʵÀýµÄloss¡£

×ÔÊÊÓ¦µÄROIAlign:

Èç¹û°ÑMDNet±È×÷tracking°æµÄR-CNN£¬ÄÇôRT-MDNet¾Í¿ÉÒÔ½üËÆµÄÈÏΪÊÇtracking°æµÄMask R-CNN¡£

ԭʼµÄMDNetÏñR-CNNÒ»Ñù£¬ÊÇÏȲúÉúproposal£¬È»ºóÓÃproposalÔÚԭͼÉÏ¿ÙͼÌáÌØÕ÷£¬Õâ¾Í»áÏñR-CNNÒ»ÑùÔÚÌáÌØÕ÷ʱ²úÉúºÜ¶àÈßÓàµÄ²¿·Ö£¬ºÜ×ÔÈ»µÄ£¬¿ÉÒÔÏñFasterÄÇÑù£¬ÏÈÌáԭͼµÄÌØÕ÷£¬È»ºóÔÚfeaturemapÉÏÈ¥ÕÒRoI£¬ÕâÑù¿ÉÒÔ´ó´ó¼Ó¿ìËÙ¶È¡£µ«ÊÇÆÕͨµÄRoI Pooling»áÔÚÁ½´ÎÁ¿»¯µÄ¹ý³ÌÖлýÀۺܶàÎó²î£¬ÕâЩÎó²îÔÙ»ýÀÛµ½trackingµÄʱÐòÉÏ£¬×îºóºÜ¿ÉÄÜ»áÈÃÄ£ÐÍÆ¯µô¡£ËùÒÔ×ÔÈ»µÄÓÖÏëµ½ÁËÓÃRoI PoolingµÄ¸Ä½ø°æ£¬RoIAlign¡£

È»¶ø£¬µ±RoIAlignÖеIJÉÑùµã¼ä¸ôÌ«´ó£¬»áËðʧµôfeaturemapÉÏһЩÓÐÓõÄÐÅÏ¢¡£±ÈÈ磬һ¸öfeature map gridÉÏÊÇ5¡Á5µÄµã£¬µ«ÊÇRoIAlignÔÚÿ¸ögridÉÏÖ»²É2¡Á2¹²4¸öµã£¬Õâ±ØÈ»»áµ¼ÖÂfeaturemapÉϵÄÐÅÏ¢±»¶ªÊ§¡£ËùÒÔ×÷Õ߸ù¾Ýfeature map gridµÄsize×ÔÊÊÓ¦µÄµ÷ÕûÍø¸ñÀïsamplepointsµÄÊýÁ¿£¬À´¼õÉÙÐÅÏ¢µÄËðʧ¡£Õâ¾ÍÊÇ×ÔÊÊÓ¦µÄROIAlign¡£

¶ÔLossµÄ¸Ä½øÈçͼ4Ëùʾ£¬ÒýÈëÁËÄÚǶʵÀýµÄloss£¬Ê¹²»Í¬ÓòµÄÄ¿±êÔÚÌØÕ÷¿Õ¼äµÄ¾àÀëÏ໥¸üÔ¶£¬ÕâÑùÄÜѧµ½¸üÓÐÅбðÁ¦µÄÌØÕ÷¡£MDNet½ö½öÊÇÔÚÿһ¸öÓòÖÐÇø·ÖÄ¿±êºÍ±³¾°£¬¶øµ±Ä¿±êÃÇÓÐÏàËÆµÄÍâ¹Ûʱ¾Í²»ÄÜÓÐЧÅбð²»Í¬ÓòÖеÄÄ¿±ê£¬ËùÒÔ×÷ÕßlossÖÐǶÈëÁËÆäËûÊÓÆµÖеÄÄ¿±êÀ´Ê¹Ï໥֮¼ä¸üÓÐÅбðÁ¦¡£

ͼ4 ÄÚǶʵÀýµÄloss

»ùÓÚʱ¿ÕÓò¹Ø×¢Ä£Ð͵ĶàÄ¿±ê¸ú×ÙËã·¨

³ýÁ˲ÉÓýâ¾öÄ¿±êÖØÊ¶±ðÎÊÌâµÄÉî¶ÈÍøÂç¼Ü¹¹Ñ§Ï°¼ì²âÆ¥ÅäÌØÕ÷£¬»¹¿ÉÒÔ¸ù¾Ý¶àÄ¿±ê¸ú×Ù³¡¾°µÄÌØµã£¬Éè¼ÆºÏÊʵÄÉî¶ÈÍøÂçÄ£ÐÍÀ´Ñ§Ï°¼ì²âÆ¥ÅäÌØÕ÷¡£ChuµÈÈ˶ÔÐÐÈ˶àÄ¿±ê¸ú×ÙÎÊÌâÖиú×ÙËã·¨·¢ÉúÆ¯ÒÆ½øÐÐͳ¼Æ·ÖÎö£¬·¢ÏÖ²»Í¬ÐÐÈË·¢Éú½»»¥Ê±£¬»¥ÏàÕÚµ²ÊǸú×ÙËã·¨²úÉúÆ¯ÒÆµÄÖØÒªÔ­Òò¡£Èçͼ5¡£

ͼ5 »¥ÏàÕÚµ²µ¼ÖÂʶ±ð²»×¼

Õë¶ÔÕâ¸öÎÊÌ⣬ËûÃÇÌá³öÁËʱ¿ÕÓò¹Ø×¢Ä£ÐÍ(STAM)À´Ñ§Ï°ÕÚµ²Çé¿ö£¬²¢Åбð¿ÉÄܳöÏֵĸÉÈÅÄ¿±ê¡£Èçͼ6Ëùʾ£¬¿Õ¼ä¹Ø×¢Ä£ÐÍÓÃÓÚÉú³ÉÕÚµ²·¢ÉúʱµÄÌØÕ÷È¨ÖØ£¬¶ÔºòÑ¡¼ì²âÌØÕ÷¼ÓȨ֮ºó£¬Í¨¹ý·ÖÀàÆ÷½øÐÐÑ¡Ôñ£¬µÃµ½¹À¼ÆµÄÄ¿±ê¸ú×Ù½á¹û¡£Ê±¼ä¹Ø×¢Ä£ÐͼÓȨÀúÊ·Ñù±¾ºÍµ±Ç°Ñù±¾£¬´Ó¶øµÃµ½¼ÓȨµÄËðʧº¯Êý£¬ÓÃÓÚÔÚÏ߸üÐÂÄ¿±êÄ£ÐÍ¡£

ͼ6 »ùÓÚʱ¿ÕÓò¹Ø×¢Ä£ÐÍ

ÔÚÕâ¸öÄ£ÐÍÖÐÿ¸öÄ¿±ê¶ÀÁ¢¹ÜÀí²¢¸üÐÂ×Ô¼ºµÄʱ¿ÕÓò¹Ø×¢Ä£ÐÍ£¬²¢Ñ¡ÔñºòÑ¡¼ì²â½øÐиú×Ù£¬Òò´Ë±¾ÖÊÉÏ£¬ÕâÖÖ·½·¨ÊǶԵ¥Ä¿±ê¸ú×ÙËã·¨ÔÚ¶àÄ¿±ê¸ú×ÙÖеÄÀ©Õ¹¡£ÎªÁËÇø·Ö²»Í¬µÄÄ¿±ê£¬¹Ø¼üµÄ²½ÖèÊÇÈçºÎ¶ÔÕÚµ²×´Ì¬½øÐн¨Ä£ºÍÇø·Ö½Ó½üµÄ²»Í¬Ä¿±ê¡£

¿Õ¼ä×¢ÒâÄ£ÐÍÓÃÓÚ¶Ôÿ¸öʱ¿ÌµÄÕÚµ²×´Ì¬½øÐзÖÎö£¬¿Õ¼ä¹Ø×¢Ä£ÐÍÈçͼ7Ëùʾ¡£Ö÷Òª·ÖΪÈý²½¡£µÚÒ»²½ÊÇÑ§Ï°ÌØÕ÷¿É¼ûͼ(visibility map)£»µÚ¶þ²½ÊǸù¾ÝÌØÕ÷¿É¼ûͼ£¬¼ÆËã¿Õ¼ä¹Ø×¢Í¼(Spatial Attention)£»µÚÈý²½¸ù¾Ý¿Õ¼ä¹Ø×¢Í¼¼ÓÈ¨Ô­ÌØÕ÷ͼ¡£¶ÔÉú³ÉµÄ¼ÓÈ¨ÌØÕ÷ͼ½øÐоí»ýºÍÈ«Á¬½ÓÍøÂç²Ù×÷£¬Éú³É¶þÔª·ÖÀàÆ÷ÅбðÊÇ·ñÊÇÄ¿±ê×ÔÉí¡£×îºóÓõõ½·ÖÀà´ò·Ö£¬Ñ¡Ôñ×îÓŵĸú×Ù½á¹û¡£

ͼ7 ¿Õ¼ä¹Ø×¢Ä£ÐͲ½Öè

»ùÓÚLSTMÅбðÈںϱí¹ÛµÄ¶àÄ¿±ê¸ú×ÙËã·¨

Ç°Ãæ½éÉܵöËã·¨²ÉÓõÄÉî¶ÈÍøÂçÄ£ÐͶ¼ÊÇ»ùÓÚ¾í»ýÍøÂç½á¹¹£¬ÓÉÓÚÄ¿±ê¸ú×ÙÊÇͨ¹ýÀúÊ·¹ì¼£ÐÅÏ¢À´ÅжÏеÄÄ¿±ê״̬£¬Òò´Ë£¬Éè¼ÆÄܹ»¼ÇÒäÀúÊ·ÐÅÏ¢²¢¸ù¾ÝÀúÊ·ÐÅÏ¢À´Ñ§Ï°Æ¥ÅäÏàËÆÐÔµÄÍøÂç½á¹¹£¬Ò²ÊDZȽϿÉÐеÄËã·¨¿ò¼Ü¡£SadeghianµÈÈËÉè¼ÆÁË»ùÓÚ³¤¶ÌÆÚ¼ÇÒäÑ­»·ÍøÂçÄ£ÐÍ(LSTM)µÄÌØÕ÷ÈÚºÏËã·¨À´Ñ§Ï°¹ì¼£ÀúÊ·ÐÅÏ¢Ó뵱ǰ¼ì²âÖ®¼äµÄÆ¥ÅäÏàËÆ¶È¡£Èçͼ8£¬Ê×ÏÈ£¬¹ì¼£Ä¿±êÓë¼ì²âµÄÆ¥ÅäÐèÒªÓõ½ÈýÖÖÌØÕ÷(±í¹ÛÌØÕ÷¡¢Ô˶¯ÌØÕ÷¡¢½»»¥ÌØÕ÷)(×ó)£»È»ºó£¬²ÉÓ÷ֲãµÄLSTMÄ£ÐÍ(ÖÐ)À´ÊµÏÖÈýÖÖÌØÕ÷µÄÈںϣ»×îºó£¬Í¨¹ýÏàËÆ¶ÈµÄ¶þ²¿Í¼Æ¥ÅäË㷨ʵÏÖ×îÖյį¥Åä½á¹û(ÓÒ)¡£

ͼ8»ùÓÚLSTMÌØÕ÷ÈںϽøÐиú×Ù

¶ÔÓÚ±í¹ÛÌØÕ÷£¬Ê×ÏȲÉÓÃVGG-16¾í»ýÍøÂçÉú³É500άµÄÌØÕ÷£¬ÒÔÕâ¸öÌØÕ÷×÷ΪLSTMµÄÊäÈë¼ÆËãÑ­»·ÍøÂçµÄÊä³ö£¬¸ù¾ÝÓ뵱ǰʱ¿Ì¼ì²âµ½µÄÌØÕ÷Æ¥ÅäµÄÇé¿öÀ´Ñ§Ï°·ÖÀàÆ÷£¬²¢Ô¤ÑµÁ·Õâ¸öÍøÂ磬Èçͼ9Ëùʾ¡£

ͼ9 »ùÓÚCNNÄ£ÐͺÍLSTMÄ£Ð͵Ĺ켣Óë¼ì²â±í¹ÛÌØÕ÷Æ¥Åä¼Ü¹¹

¶ÔÓÚÔ˶¯ÌØÕ÷£¬È¡Ïà¶ÔÎ»ÒÆÎª»ù±¾ÊäÈëÌØÕ÷£¬Ö±½ÓÊäÈëLSTMÄ£ÐͼÆËãÿ¸öʱ¿ÌµÄÊä³ö¡£¶ÔÓÚÏÂһʱ¿ÌµÄ¼ì²â£¬Í¬Ñù¼ÆËãÏà¶ÔÎ»ÒÆ,ͨ¹ýÈ«Á¬½ÓÍøÂç¼ÆËãÌØÕ÷£¬µÃµ½500άµÄÌØÕ÷£¬²¢ÀûÓöþԪƥÅä·ÖÀàÆ÷½øÐÐÍøÂçµÄԤѵÁ·¡£Õû¸ö¹ý³ÌÈçͼ10Ëùʾ¡£

ͼ10 »ùÓÚLSTMÄ£Ð͵Ĺ켣Ô˶¯ÌØÕ÷Æ¥Åä¼Ü¹¹

¶ÔÓÚ½»»¥ÌØÕ÷£¬È¡ÒÔÄ¿±êÖÐÐÄλÖÃÖÜΧ¾ØÐÎÁÚÓòÄÚÆäËûÄ¿±êËùÕ¼µÄÏà¶ÔλÖÃÓ³Éäͼ×÷ΪLSTMÄ£Ð͵ÄÊäÈëÌØÕ÷£¬¼ÆËãÊä³öÌØÕ÷¡£Í¬Ñùͨ¹ýÈ«Á¬½ÓÍøÂç¼ÆËã500Î¬ÌØÕ÷£¬½øÐзÖÀàѵÁ·£¬Èçͼ11Ëùʾ¡£

ͼ11 »ùÓÚLSTMÄ£Ð͵ÄÄ¿±ê½»»¥ÌØÕ÷Æ¥Åä¼Ü¹¹

µ±Èý¸öÌØÕ÷¶¼¼ÆËãÖ®ºóÆ´½ÓΪÍêÕûµÄÌØÕ÷£¬ÊäÈëµ½ÉϲãµÄLSTMÍøÂ磬¶ÔÊä³öµÄÏòÁ¿½øÐÐÈ«Á¬½Ó¼ÆË㣬ȻºóÓÃÓÚÆ¥Åä·ÖÀ࣬ƥÅäÕýȷΪ1£¬·ñÔòΪ0¡£

|| ×ܽá

ĿǰµÄ»ùÓÚÉî¶ÈѧϰµÄ¶àÄ¿±ê¸ú×Ù¿ò¼ÜÔÚÒÔÏÂÁ½¸ö·½ÏòÈ¡µÃÁ˽ϺõĽøÕ¹£º

(1)½áºÏ¶àÄ¿±ê¸ú×Ù³¡¾°¶ÔÍøÂç½øÐÐÓÅ»¯£¬ÕâÖÖ¿¼ÂǸú×Ù³¡¾°µÄÍøÂçÉè¼Æ¶ÔÓÚ¸ú×Ù½á¹ûÓÐÃ÷ÏÔµÄÌáÉýЧ¹û¡£

(2)²ÉÓÃÑ­»·Éñ¾­ÍøÂ磬ÀûÓÃÀúÊ·ÐÅÏ¢À´±í´ï¸ú×ÙÖÐµÄ¹ì¼£ÌØÕ÷£¬ÕâÊÇÑо¿¸ú×ÙÎÊÌâµÄÓÖÒ»¸öÖØÒªµÄ·½Ïò¡£

 

   
3143 ´Îä¯ÀÀ       27
Ïà¹ØÎÄÕÂ

»ùÓÚͼ¾í»ýÍøÂçµÄͼÉî¶Èѧϰ
×Ô¶¯¼ÝÊ»ÖеÄ3DÄ¿±ê¼ì²â
¹¤Òµ»úÆ÷ÈË¿ØÖÆÏµÍ³¼Ü¹¹½éÉÜ
ÏîĿʵս£ºÈçºÎ¹¹½¨ÖªÊ¶Í¼Æ×
 
Ïà¹ØÎĵµ

5GÈ˹¤ÖÇÄÜÎïÁªÍøµÄµäÐÍÓ¦ÓÃ
Éî¶ÈѧϰÔÚ×Ô¶¯¼ÝÊ»ÖеÄÓ¦ÓÃ
ͼÉñ¾­ÍøÂçÔÚ½»²æÑ§¿ÆÁìÓòµÄÓ¦ÓÃÑо¿
ÎÞÈË»úϵͳԭÀí
Ïà¹Ø¿Î³Ì

È˹¤ÖÇÄÜ¡¢»úÆ÷ѧϰ&TensorFlow
»úÆ÷ÈËÈí¼þ¿ª·¢¼¼Êõ
È˹¤ÖÇÄÜ£¬»úÆ÷ѧϰºÍÉî¶Èѧϰ
ͼÏñ´¦ÀíËã·¨·½·¨Óëʵ¼ù
×îл¼Æ»®
DeepSeek´óÄ£ÐÍÓ¦Óÿª·¢ 6-12[ÏÃÃÅ]
È˹¤ÖÇÄÜ.»úÆ÷ѧϰTensorFlow 6-22[Ö±²¥]
»ùÓÚ UML ºÍEA½øÐзÖÎöÉè¼Æ 6-30[±±¾©]
ǶÈëʽÈí¼þ¼Ü¹¹-¸ß¼¶Êµ¼ù 7-9[±±¾©]
Óû§ÌåÑé¡¢Ò×ÓÃÐÔ²âÊÔÓëÆÀ¹À 7-25[Î÷°²]
ͼÊý¾Ý¿âÓë֪ʶͼÆ× 8-23[±±¾©]
 
×îÐÂÎÄÕÂ
¶àÄ¿±ê¸ú×Ù£ºAI²úÆ·¾­ÀíÐèÒªÁ˽âµÄCVͨʶ
Éî¶Èѧϰ¼Ü¹¹
¾í»ýÉñ¾­ÍøÂç֮ǰÏò´«²¥Ëã·¨
´Ó0µ½1´î½¨AIÖÐ̨
¹¤Òµ»úÆ÷ÈË¿ØÖÆÏµÍ³¼Ü¹¹½éÉÜ
×îпγÌ
È˹¤ÖÇÄÜ£¬»úÆ÷ѧϰºÍÉî¶Èѧϰ
È˹¤ÖÇÄÜÓë»úÆ÷ѧϰӦÓÃʵս
È˹¤ÖÇÄÜ-ͼÏñ´¦ÀíºÍʶ±ð
È˹¤ÖÇÄÜ¡¢»úÆ÷ѧϰ& TensorFlow+Keras¿ò¼Üʵ¼ù
È˹¤ÖÇÄÜ+Python£«´óÊý¾Ý
³É¹¦°¸Àý
ij×ÛºÏÐÔ¿ÆÑлú¹¹ È˹¤ÖÇÄÜÓë»úÆ÷ѧϰӦÓÃ
Ä³ÒøÐÐ È˹¤ÖÇÄÜ+Python+´óÊý¾Ý
±±¾© È˹¤ÖÇÄÜ¡¢»úÆ÷ѧϰ& TensorFlow¿ò¼Üʵ¼ù
ijÁìÏÈÊý×ÖµØÍ¼ÌṩÉÌ PythonÊý¾Ý·ÖÎöÓë»úÆ÷ѧϰ
ÖйúÒÆ¶¯ È˹¤ÖÇÄÜ¡¢»úÆ÷ѧϰºÍÉî¶Èѧϰ