±à¼ÍƼö: |
±¾ÎÄÓÚcsdn,½éÉÜÁË»úÆ÷ѧϰÔÚ¹¤Òµ×ʲúÖеÄÓ¦Ó㬻úÆ÷ѧϰµÄÀàÐÍ£¬ÃæÏòÉî¶ÈѧϰµÄϵͳÉè¼Æ£¬IoT
¿ØÖÆÉè¼ÆµÄз½ÏòµÈ¡£
|
|
ΪÁ˸üºÃµØ·þÎñÓÚÄ¿±ê¿Í»§, ǶÈëʽÉè¼ÆÍŶÓÒ²ÔÚÑо¿Ð¼¼Êõ, Èç»úÆ÷ѧϰºÍÉî¶Èѧϰ¡£
Éî¶ÈѧϰÔÊÐíÕâЩÉè¼ÆÊ¦ÒÔÓÐÏÞµÄ×ÊÔ´¸ü¿ìµØ¿ª·¢ºÍ²¿Êð¸´ÔÓµÄϵͳºÍÉ豸¡£ ͨ¹ýÕâЩ¼¼Êõ, Éè¼ÆÍŶӿÉÒÔʹÓÃÊý¾ÝÇý¶¯µÄ·½·¨½¨Á¢ÏµÍ³»ò¸´ÔÓµÄϵͳģÐÍ¡£
»úÆ÷ѧϰºÍÉî¶Èѧϰ²»ÊÇÓûùÓÚÎïÀíµÄÄ£ÐÍÀ´ÃèÊöϵͳµÄÐÐΪ, ¶øÊÇ´ÓÊý¾ÝÍÆµ¼³öϵͳµÄÄ£ÐÍ¡£µ±ÐèÒª´¦ÀíµÄÊý¾ÝÁ¿Ïà¶Ô½ÏС,
¶øÇÒÎÊÌâµÄ¸´ÔÓÐԽϵÍʱ, ´«Í³µÄ»úÆ÷ѧϰËã·¨ÊÇÓÐÓõġ£µ«ÊÇ, Èç¹ûÓиü¶àµÄÊý¾Ý, ±ÈÈçÎÞÈË»ú, ÄÇô¸ü´óµÄÎÊÌâÓÖÈçºÎÄØ£¿
Õâ¸öÌôÕ½ÐèÒªÉî¶Èѧϰ¼¼Êõ¡£ ÕâÖÖ¼¼Êõ½«°ÑÎÒÃÇÍÆÏòÏÂÒ»¸ö¿ØÖÆÉè¼ÆºÍÎïÁªÍøÓ¦ÓõÄʱ´ú¡£
»úÆ÷ѧϰÔÚ¹¤Òµ×ʲúÖеÄÓ¦ÓÃ
Ê×ÏÈ, ¿¼ÂÇ»úÆ÷ѧϰ¼¼ÊõÔÚ¹¤Òµ×ʲú״̬¼à²âÖеÄÓ¦Ó᣻úÆ÷ѧϰ½«»ùÓÚÌõ¼þµÄ¼à²âÓ¦Óôӱ»¶¯ºÍÔ¤·ÀÐÔά»¤µÄʱ´ú¹ý¶Éµ½Ô¤²âÐÔά»¤¡£
ÕâЩ¼¼ÊõÓÃÀ´¼ì²âÒì³£ÐÐΪ, Õï¶ÏÎÊÌâ, ²¢ÔÚijÖ̶ֳÈÉÏÔ¤²âÁ˹¤Òµ×ʲúµÄÊ£ÓàʹÓÃÊÙÃü, ±ÈÈçÂí´ï, Ë®±ÃºÍÎÐÂÖ»úµÈµÈ¡£
»ùÓÚ»úÆ÷ѧϰ¿ª·¢ºÍ²¿ÊðÄ£Ð͵Ť×÷Á÷³ÌÈçͼ1Ëùʾ£º

ͼ1 ·ÖÎö¹¤×÷Á÷³ÌÓë»úÆ÷ѧϰ
¿´¿´Õâ¸öÁ÷³ÌÊÇÈçºÎÓÃÀ´¼à²âÂí´ï½¡¿µ×´¿öµÄ¡£Êý¾ÝÀ´×ÔÓÚ¶àÖÖÀàÐ͵Ĵ«¸ÐÆ÷, Èç¼ÓËٶȼÆ, ÈȵçżºÍµç¶¯»úÉϵĵçÁ÷´«¸ÐÆ÷µÈ¡£
ÌØÕ÷¹¤³Ìͨ³£ÓÉÁ½²¿·Ö×é³É: ÌØÕ÷ÌáÈ¡ºÍÌØÕ÷ÌáÁ¶(ͼ2)¡£

ͼ2 ÌØÕ÷¹¤³Ì
ÌØÕ÷ÌáÈ¡ÊÇÓÃÀ´´ÓÔʼÊý¾Ý(»ò²¨ÐÎ)ÖлñÈ¡ÓÐÓÃÐÅÏ¢, ÒÔÁ˽â×ʲúµÄ½¡¿µ×´¿ö¡£ÀýÈç, ´Óµç¶¯»ú·¢³öµÄµçÁ÷ÐÅºÅµÄÆµÆ×°üº¬ÁË¿ÉÓÃÓÚ¼ì²â¹ÊÕϵÄÐÅÏ¢,
Èçͼ3Ëùʾ¡£ ƵÆ×Öв»Í¬Æµ¶ÎµÄƽ¾ùÕñ·ù¿ÉÒÔ×÷Ϊ´Óµ±Ç°ÐźÅÖÐÌáÈ¡µÄÌØÕ÷¡£ ´Ó¶à¸ö´«¸ÐÆ÷ÖÐÌáÈ¡µÄÌØÕ÷¿ÉÄÜÓÐÈßÓàÐÅÏ¢¡£

ͼ3 ´Óµç»úµçÁ÷ÐźÅÖÐÌáÈ¡ÌØÕ÷
Ò»ÖÖÌØÕ÷ÌáÁ¶µÄ·½·¨ÊÇÖ÷³É·Ö·ÖÎö(PCA) , ¿ÉÒÔÓÃÀ´¼õÉÙ×îÖÕÓÃÓÚ¹¹½¨Ä£Ð͵ÄÌØÐÔÊýÁ¿¡£¡¢ÌØÕ÷ÊýÁ¿µÄËõ¼õ¿ÉÒÔ¼õÉÙËùʹÓûúÆ÷ѧϰģÐ͵ĸ´ÔÓÐÔ¡£Ëõ¼õµÄÌØÕ÷¼¯±»±íʾΪÏòÁ¿(»òÊý×é)
, ²¢ÊäÈ뵽ģÐÍʹÓõĻúÆ÷ѧϰËã·¨ÖС£
»úÆ÷ѧϰµÄÀàÐÍ
Ä£ÐÍ´´½¨ºÍÑéÖ¤ÊÇÒ»¸öµü´ú¹ý³Ì, ͨ¹ýÕâ¸ö¹ý³Ì, ¿ÉÒÔʵÑ鼸ÖÖ»úÆ÷ѧϰËã·¨, ²¢Ñ¡Ôñ×îÊʺÏÄ¿±êÓ¦ÓõÄËã·¨¡£Ò»ÖַǼලµÄ»úÆ÷ѧϰËã·¨,
Èç¸ß˹»ìºÏÄ£ÐÍ(GMM) , ¿ÉÒÔÓÃÀ´Ä£Äâµç»úµÄÕý³£ÐÐΪ, ²¢¼ì²âµç»úºÎʱ¿ªÊ¼Æ«ÀëÆä»ùÏß¡£ ·Ç¼à¶½µÄ·½·¨ÓÐÀûÓÚ·¢ÏÖÊý¾ÝÖÐÒþ²ØµÄģʽ,
¶øÎÞÐè¶ÔÊý¾Ý½øÐбê¼Ç¡£
ËäÈ»·Ç¼à¶½Ñ§Ï°¿ÉÒÔÓÃÀ´¼ì²âÂí´ïÖеÄÒì³£, ¶ø¼à¶½Ñ§Ï°ÔòÐèÒª¼ì²âÒì³£µÄÔÒò¡£ ÔڼලѧϰÖÐ, Ìá³öÁËÒ»¶ÔÊäÈëÊý¾ÝºÍËùÐèÊä³öµÄËã·¨¡£ÕâЩÊý¾Ý±»³ÆÎª±ê¼ÇÊý¾Ý¡£¸ÃËã·¨Êǽ«ÊäÈëÓ³Éäµ½Êä³öµÄº¯Êý¡£ÓÃÓÚѵÁ·»úÆ÷ѧϰËã·¨µÄÊý¾Ý°üÀ¨ÔÚÕý³£ºÍ´íÎóÌõ¼þÏÂÌáÈ¡µÄÌØÕ÷¡£
ÕâÐ©ÌØÌØÕ÷ÊÇÓÃÒ»×é±êÇ©À´Çå³þµØ±êʶ³öÂí´ïµÄ״̬¡£ Ö§³ÖÏòÁ¿»ú¡¢ LogitÄ£ÐͺÍÈ˹¤Éñ¾ÍøÂçÊdz£Óõļලʽ»úÆ÷ѧϰËã·¨¡£
¶Ô´«Í³»úÆ÷ѧϰ¼¼ÊõµÄÌôÕ½ÊÇÌØÕ÷ÌáÈ¡¹ý³Ì¡£ ÕâÊÇÒ»¸ö´àÈõµÄ¹ý³Ì, ÐèÒªÁìÓòר¼ÒµÄ֪ʶ, ͨ³£ÊÇ»úÆ÷ѧϰ¹¤×÷Á÷³ÌÖеÄʤ¸º¹Ø¼ü¡£
ÏòÉî¶Èѧϰ¹¤×÷Á÷³ÌµÄÂõ½ø
Éî¶ÈѧϰËã·¨×î½üÔ½À´Ô½Á÷ÐÐ, ¿ÉÄÜÊÇÒòΪËüÃDz»ÔÙÐèÒªÌØÕ÷¹¤³Ì²½Öè¡£´Ó´«¸ÐÆ÷»ñµÃµÄÊý¾Ý(Ôʼ²âÁ¿)¿ÉÒÔÖ±½ÓÊäÈë
DL Ëã·¨, Èçͼ4Ëùʾ¡£

ͼ4 Éî¶ÈѧϰµÄ¹¤×÷Á÷³Ì
Éî¶ÈѧϰËã·¨ÊÇ»ùÓÚÈ˹¤Éñ¾ÍøÂçµÄ¡£È˹¤Éñ¾ÍøÂçËã·¨Êܵ½ÁËÉúÎïÉñ¾ÍøÂç½á¹¹ºÍ¹¦ÄÜ·½ÃæµÄÆô·¢¡£ÕâЩËã·¨µÄ½á¹¹ÐÎʽÊÇÓÉÒ»×éÏ໥Á¬½ÓµÄ¼ÆËã½Úµã(È˹¤Éñ¾Ôª)×é³ÉµÄ²ã´Î½á¹¹¡£
µÚÒ»²ã±»³ÆÎªÊäÈë²ã, ËüÊÇÊäÈëÐźŻòÊý¾ÝµÄ½Ó¿Ú¡£×îºóÒ»²ãÊÇÊä³ö²ã, ÕâÒ»²ãÖÐÉñ¾ÔªÊä³ö×îÖÕµÄÔ¤²â»ò½á¹û¡£
ÔÚÊäÈëºÍÊä³ö²ãÖ®¼ä, ÓÐÒ»¸ö»ò¶à¸öÒþ²Ø²ã(ͼ5)¡£ Ò»²ãµÄÊä³öͨ¹ý¼ÓȨºóÁ¬½Óµ½ÏÂÒ»²ãµÄ½Úµã¡£ÍøÂçͨ¹ýÐÞ¸ÄÕâÐ©È¨ÖØÀ´Ñ§Ï°ÊäÈëºÍÊä³öÖ®¼äµÄÓ³É䡣ͨ¹ýʹÓöà¸öÒþ²Ø²ã,
Éî¶ÈѧϰËã·¨´ÓÊäÈëÊý¾ÝÖÐÌáÈ¡ÌØÕ÷, ¶ø²»ÐèÒªÃ÷È·µØ½«ÌØÕ÷ÊäÈëµ½Ëã·¨ÖС£ Õâ±»³ÆÎª"ÌØÕ÷ѧϰ"¡£

ͼ5 ǰÀ¡È˹¤Éñ¾ÍøÂç
ÃæÏòÉî¶ÈѧϰµÄϵͳÉè¼Æ
Éî¶Èѧϰ×î½üÔÚÈí¼þÓ¦ÓÃÁìÓòÈ¡µÃÁ˳ɹ¦, Ö÷ÒªÊÇÒòΪ¼¼Êõ²¿¼þµÄ³ÉÊì, ±ÈÈçÓ²¼þÖеļÆËãÄÜÁ¦ÔöÇ¿, ´óÁ¿µÄѵÁ·Êý¾Ý±»±ê¼Ç,
ѧϰËã·¨ºÍÍøÂç³õʼ»¯·½ÃæµÄÍ»ÆÆ, ÒÔ¼°¿ª·ÅÔ´ÂëÈí¼þ¿ò¼ÜµÄ¿ÉÓÃÐÔ¡£
ÏÂÃæÊÇÓÃÉî¶ÈѧϰϵͳµÄÖ÷Òª¿¼ÂÇÒòËØ¡£
ÍØÆË
Éî¶ÈѧϰÊÇÒ»¸ö²»¶Ï·¢Õ¹µÄÁìÓò, ĿǰÕýÔÚʹÓÃÐí¶àÍøÂçÍØÆË[1]¡£ÆäÖÐÒ»Ð©ÍøÂçÏÔʾÁ˶ԿØÖÆºÍ¼à¿ØÎïÁªÍøÓ¦ÓõijÐŵ:
Éî²ãÉñ¾ÍøÂç(Deep Neural Network, DNN)ÊÇÒ»ÖÖÍêÈ«Á¬½ÓµÄÈ˹¤Éñ¾ÍøÂç,
¾ßÓÐÐí¶àÒþ²Ø²ã(Òò´ËÉî²ã)¡£ ÕâÐ©ÍøÂçÊǼ«ºÃµÄº¯Êý±Æ½üÆ÷, ÀýÈç, ¿ÉÓÃÓÚµçÁ¦ÐÐÒµÖеç×Ó¿ØÖƵÄÓ¦Ó᣿ØÖÆÏµÍ³µÄ·ÂտģÐÍ¿ÉÓÃÓÚʹÓÃÉî¶ÈÍøÂç¹¹½¨¿ØÖÆÆ÷,
²¢Éú³ÉѵÁ·Êý¾Ý¡£Í¨¹ýÕâÖÖ·½·¨, ¿ÉÒÔ̽Ë÷ͨ³£ÄÑÒÔʹÓô«Í³·½·¨¿ØÖƵÄ״̬(±ß½ç/½»²æÌõ¼þ)
¾í»ýÉñ¾ÍøÂç(Convolutional Neural Network, ¼ò³Æ CNN)ÊÇÀûÓÃÊäÈëÐźŵĶþά½á¹¹,
ÈçÊäÈëͼÏñ»òÓïÒôÐźš£Ò»¸ö¾í»ýÍøÂçÓÉÒ»¸ö»ò¶à¸ö¾í»ý²ã(¹ýÂ˲ã)×é³É, È»ºóÊÇÒ»¸öÍêÈ«Á¬½ÓµÄ¶à²ãÉñ¾ÍøÂç¡£
ÕâÐ©ÍøÂçÔÚ³ÉÏñºÍÄ¿±êʶ±ðÖеÄȱÏݼì²âµÈÎÊÌâÉÏÈ¡µÃÁ˳ɹ¦¡£ËüÃÇÒ²±»ÓÃÓÚ¼ÝʻԱԮÖúϵͳ(ADAS)Öеij¡¾°¡£
Ñ»·Éñ¾ÍøÂç(Recurrent Neural Network, RNN)ÊÇ»ùÓÚÀûÓÃ˳Ðò(»òÀúÊ·)ÐÅÏ¢½øÐÐÔ¤²âµÄËã·¨¡£ÕâÐ©ÍøÂçÓÐÀûÓÚʱ¼äÐòÁзÖÎö¡£´«Í³µÄÉñ¾ÍøÂç¼ÙÉèËùÓеÄÊäÈë(ºÍÊä³ö)ÔÚʱ¼ä»òµ½´ïµÄ˳ÐòÉÏÏ໥¶ÀÁ¢¡£¼Ç¼״̬ÐÅÏ¢,
´æ´¢¹ýÈ¥µÄÐÅÏ¢, ²¢Ê¹ÓÃÆù½ñΪֹ¼ÆËã³öÀ´µÄÐÅÏ¢½øÐÐÏÂÒ»¸öÔ¤²â¡£ ÔÚÎïÁªÍøÓ¦ÓÃÖÐ, RNNÓÐÀûÓÚѧϰÀúÊ·ÐÐΪ,
²¢ÓÃÓÚÔ¤²âδÀ´µÄʼþ, ÀýÈç×ʲúµÄÊ£ÓàʹÓÃÊÙÃü¡£ ³¤¶ÌÆÚ¼ÇÒä(LSTM)ÍøÂçÒ²ÊÊÓÃÓÚÕâÀàÓ¦ÓÃ[2]¡£
Éî¶ÈÇ¿»¯Ñ§Ï°(DRL)¶ÔÓÚÔÚ¸´ÔÓ¶¯Ì¬»·¾³ÖÐÔËÐеÄ×ÔÊÊÓ¦¿ØÖÆÏµÍ³ÊÇÓкô¦µÄ¡£ ¿¼ÂÇ¿ØÖÆÔÚ²Ö¿â²Ù×÷Öв¿ÊðµÄ»úÆ÷ÈË,
ÕâЩ»úÆ÷È˱ØÐ붯̬µØÊÊӦеÄÈÎÎñ¡£ ÒÔÇ¿»¯Ñ§Ï°Îª»ù´¡µÄ¿ØÖÆÕßѧϰһÏîÈÎÎñʱ, ËüÃÇͨ¹ýÖ´ÐÐÒ»¸ö¶¯×÷,
ʹËûÃǸü½Ó½üÄ¿±ê¶ø»ñµÃµÄ½±Àø¡£ÀýÈç, ¿ØÖÆÆ÷½ÓÊÕÀ´×ÔÉãÏñ»úµÄͼÏñ, ¸ÃÕÕÆ¬ÏÔʾÁË»úÆ÷ÈËÊֱ۵ĵ±Ç°Î»ÖÃ,
²¢ÀûÓÃͼÏñÖеÄÐÅÏ¢À´Ñ§Ï°ÈçºÎ½«ÊÖ±ÛÒÆ½üÄ¿±ê(ͼ6)[3]¡£ »ùÓÚDLCµÄ¿ØÖÆÆ÷¿ÉÒÔͨ¹ý»úÆ÷ÈËÄ£ÄâÆ÷»òÕßͨ¹ý¹Û²ìʵ¼ÊµÄ»úÆ÷ÈËÀ´ÑµÁ·¡£

ͼ6 »úÆ÷ÈË¿ØÖÆÓ¦ÓõÄÉî¶ÈÇ¿»¯Ñ§Ï°
ѵÁ·
DNNÐèÒª´óÁ¿µÄѵÁ·Êý¾Ý, ÕâЩÊý¾Ý×îºÃ°üÀ¨À´×ÔѧϰËùÐèÒªµÄËùÓв»Í¬×´Ì¬»òÌõ¼þµÄÊý¾Ý¡£¶ÔÓÚ´ó¶àÊýÓ¦ÓöøÑÔ,
ÏÖÓÐÊý¾ÝÖ÷ÒªÀ´×ÔϵͳµÄÕý³£¹¤×÷״̬, ÆäÖаüÀ¨´ÓÆäËû״̬»ñÈ¡µÄÉÙÁ¿Êý¾Ý¡£
Êý¾ÝÔöÇ¿/·º»¯ÊÇÒ»ÖÖÓÃÀ´¸ÄÉÆÊý¾Ý²»Æ½ºâµÄ¼¼Êõ, ¿ÉÒÔ´ÓÏÖÓеÄСÑù±¾¼¯¿ªÊ¼, ͨ¹ýÊý¾Ýת»»´´½¨¶îÍâµÄºÏ³É°æ±¾£¬»¹¿ÉÒÔʹÓøÃϵͳµÄÄ£ÄâÄ£ÐÍÀ´´´½¨ÑµÁ·Êý¾Ý¡£
ÁíÒ»¸öÌôÕ½ÊÇÄÑÒÔÊÕ¼¯ÑµÁ·ÕâÐ©ÍøÂçËùÐèµÄ´óÁ¿Êý¾Ý¡£×ªÒÆÑ§Ï°ÊÇ¿ÉÒÔÓÃÀ´»º½âÕâ¸öÎÊÌâµÄ·½·¨Ö®Ò»¡£ ʹÓÃ×ªÒÆÑ§Ï°,
¿ÉÒÔ´ÓԤѵÁ·µÄÉñ¾ÍøÂ翪ʼ(´ó¶àÊýÉî¶Èѧϰ¿ò¼ÜÌṩÁË¿ÉÒÔÏÂÔØµÄ¾¹ýÍêȫѵÁ·µÄÄ£ÐÍ) , ²¢ÓÃÓ¦ÓÃÖеÄÊý¾Ý¶ÔÆä½øÐÐ΢µ÷¡£
Ó²¼þ
ѵÁ·Éî¶ÈÍøÂçÓÐמ޴óµÄ´¦ÀíÒªÇó¡£GPUÒѾ³ÉΪѵÁ·Éî¶ÈÍøÂçµÄÖ÷ҪѡÔñ¡£ÓÉÓÚ¼ÆËãÐÔÄܸß, ÄÚ´æ´ó,
ÒÔ¼°±à³Ì¹¤¾ßµÄÑ¡Ôñ, GPUºÜÓÐÎüÒýÁ¦, ¼¸ºõ³ÉΪѵÁ·µÄ±ØÒªÌõ¼þ¡£
´ËÍâ, FPGAÊDz¿ÊðѵÁ·ÍøÂçµÄÁ¼ºÃÄ¿±ê¡£FPGAÌṩÁ˸üµÍµÄÑÓ³Ù, ¸üºÃµÄ¹¦ÂÊЧÂÊ£¬ÌرðÊÇÔÚǶÈëʽÉ豸Éϲ¿ÊðÕâÐ©ÍøÂç,
ÓÃÓÚÓëI/O½ôÃܲÙ×÷µÄ¿ØÖÆÏµÍ³¡£
Èí¼þ
¿ìËÙ²ÉÓúͳɹ¦µÄÒ»¸öÔÒòÊdzÉÊìÈí¼þ¿ò¼ÜµÄ¿ÉÓÃÐÔ¡£ һЩ³£¼ûµÄ¿ò¼ÜÓÐ TensorFlow, Caffe,
Keras ºÍ Computational Network Toolkit (CNTK)[4,5,6,7]¡£
ÕâЩ¿ò¼ÜÖ§³Ö²»Í¬µÄ²Ù×÷ϵͳ, Èç Windows ºÍ Linux, ÒÔ¼° Python ºÍ CÓïÑÔ¡£
´ó¶àÊýÕâЩ¿ò¼Ü¶¼ÓÐÖ§³Ö»òʵÀýÀ´ÊµÊ©×îеÄÉî¶ÈÍøÂ磬Ҳ֧³ÖGPUµÄʹÓá£
Éî¶Èѧϰ: IoT ¿ØÖÆÉè¼ÆµÄз½Ïò
Éî¶ÈѧϰÊÇÈ˹¤ÖÇÄÜÁìÓòÖÐÒ»¸öÁîÈËÐ˷ܵÄз½Ïò, Ò²Êǽâ¾ö¹¤Òµ¿ØÖÆÉè¼ÆÓ¦ÓÃÖÐÒ»¸öÓÐǰ;µÄ¼¼Êõ¡£
¿ìËÙ¿ªÊ¼ÕÆÎÕÉî¶ÈѧϰµÄ·½·¨ÊÇÏÂÔØÇ°ÃæÌáµ½µÄ¿ªÔ´¿ò¼Ü, ²¢ÇÒÓý̳ÌʾÀý½øÐÐʵÑé¡£ ´ÓÒ»¸öÀàËÆÓÚÓ¦ÓóÌÐòµÄʾÀý¿ªÊ¼,
È»ºóʹÓÃ×ªÒÆÑ§Ï°À´¿ìËÙ²Ù×÷¡£
|