±à¼ÍƼö: |
±¾ÎÄ´ÓÉî¶Èѧϰ»ù´¡¡¢¾í»ýÍøÂçºÍÑ»·ÍøÂçÈý¸ö·½Ãæ½éÉܸñʼǡ£
±¾ÎÄÀ´×ÔÓÚ
Imagination Tech
£¬ÓÉ»ðÁú¹ûÈí¼þAlice±à¼¡¢ÍƼö¡£ |
|
Îâ¶÷´ïÔÚÍÆÌØÉÏչʾÁËÒ»·ÝÓÉ TessFerrandez Íê³ÉµÄÉî¶ÈѧϰרÏî¿Î³ÌÐÅϢͼ£¬ÕâÌ×ÐÅϢͼÓÅÃÀµØ¼Ç¼ÁËÉî¶Èѧϰ¿Î³ÌµÄ֪ʶÓëÁÁµã¡£Òò´ËËü²»½ö½öÊʺϳõѧÕßÁ˽âÉî¶Èѧϰ£¬»¹ÊʺϻúÆ÷ѧϰ´ÓÒµÕߺÍÑо¿Õ߸´Ï°»ù±¾¸ÅÄî¡£Õâ²»½ö½öÊÇÒ»·Ý¿Î³Ì±Ê¼Ç£¬Í¬Ê±»¹ÊÇÒ»Ì×ÐÅϢͼÓ뱸Íü¼¡£
Ò»¡¢Éî¶Èѧϰ»ù´¡
1. Éî¶Èѧϰ»ù±¾¸ÅÄî

¼à¶½Ñ§Ï°£º ËùÓÐÊäÈëÊý¾Ý¶¼ÓÐÈ·¶¨µÄ¶ÔÓ¦Êä³öÊý¾Ý£¬ÔÚ¸÷ÖÖÍøÂç¼Ü¹¹ÖУ¬ÊäÈëÊý¾ÝºÍÊä³öÊý¾ÝµÄ½Úµã²ã¶¼Î»ÓÚÍøÂçµÄÁ½¶Ë£¬ÑµÁ·¹ý³Ì¾ÍÊDz»¶ÏµØµ÷ÕûËüÃÇÖ®¼äµÄÍøÂçÁ¬½ÓÈ¨ÖØ¡£
×óÉÏ£º ÁгöÁ˸÷ÖÖ²»Í¬ÍøÂç¼Ü¹¹µÄ¼à¶½Ñ§Ï°£¬±ÈÈç±ê×¼µÄÉñ¾ÍøÂ磨NN£©¿ÉÓÃÓÚѵÁ··¿×ÓÌØÕ÷ºÍ·¿¼ÛÖ®¼äµÄº¯Êý£¬¾í»ýÉñ¾ÍøÂ磨CNN£©¿ÉÓÃÓÚѵÁ·Í¼ÏñºÍÀà±ðÖ®¼äµÄº¯Êý£¬Ñ»·Éñ¾ÍøÂ磨RNN£©¿ÉÓÃÓÚѵÁ·ÓïÒôºÍÎı¾Ö®¼äµÄº¯Êý¡£
×óÏ£º ·Ö±ðչʾÁË NN¡¢CNN ºÍ RNN µÄ¼ò»¯¼Ü¹¹¡£ÕâÈýÖּܹ¹µÄǰÏò¹ý³Ì¸÷²»Ïàͬ£¬NN ʹÓõÄÊÇÈ¨ÖØ¾ØÕó£¨Á¬½Ó£©ºÍ½ÚµãÖµÏà³Ë²¢Â½Ðø´«²¥ÖÁÏÂÒ»²ã½ÚµãµÄ·½Ê½£»CNN ʹÓþØÐξí»ýºËÔÚͼÏñÊäÈëÉÏÒÀ´Î½øÐоí»ý²Ù×÷¡¢»¬¶¯£¬µÃµ½ÏÂÒ»²ãÊäÈëµÄ·½Ê½£»RNN ¼ÇÒä»òÒÅÍüÏÈǰʱ¼ä²½µÄÐÅÏ¢ÒÔΪµ±Ç°¼ÆËã¹ý³ÌÌṩ³¤ÆÚ¼ÇÒä¡£
ÓÒÉÏ£º NN ¿ÉÒÔ´¦Àí½á¹¹»¯Êý¾Ý£¨±í¸ñ¡¢Êý¾Ý¿âµÈ£©ºÍ·Ç½á¹¹»¯Êý¾Ý£¨Í¼Ïñ¡¢ÒôƵµÈ£©¡£
ÓÒÏ£º Éî¶ÈѧϰÄÜ·¢Õ¹ÆðÀ´Ö÷ÒªÊÇÓÉÓÚ´óÊý¾ÝµÄ³öÏÖ£¬Éñ¾ÍøÂçµÄѵÁ·ÐèÒª´óÁ¿µÄÊý¾Ý£»¶ø´óÊý¾Ý±¾ÉíÒ²·´¹ýÀ´´Ù½øÁ˸ü´óÐÍÍøÂçµÄ³öÏÖ¡£Éî¶ÈѧϰÑо¿µÄÒ»´óÍ»ÆÆÊÇÐÂÐͼ¤»îº¯ÊýµÄ³öÏÖ£¬Óà ReLU º¯ÊýÌæ»»sigmoid º¯Êý¿ÉÒÔÔÚ·´Ïò´«²¥Öб£³Ö¿ìËÙµÄÌݶÈϽµ¹ý³Ì£¬sigmoid º¯ÊýÔÚÕýÎÞÇî´¦ºÍ¸ºÎÞÇî´¦»á³öÏÖÇ÷ÓÚÁãµÄµ¼Êý£¬ÕâÕýÊÇÌݶÈÏûʧµ¼ÖÂѵÁ·»ºÂýÉõÖÁʧ°ÜµÄÖ÷ÒªÔÒò¡£ÒªÑо¿Éî¶Èѧϰ£¬ÐèҪѧ»á¡¸idea¡ª´úÂ롪ʵÑ顪idea¡¹µÄÁ¼ÐÔÑ»·¡£
2. Logistic»Ø¹é

×óÉÏ£º logistic »Ø¹éÖ÷ÒªÓÃÓÚ¶þ·ÖÀàÎÊÌ⣬ÈçͼÖÐËùʾ£¬logistic »Ø¹é¿ÉÒÔÇó½âÒ»ÕÅͼÏñÊDz»ÊÇèµÄÎÊÌ⣬ÆäÖÐͼÏñÊÇÊäÈ루x£©£¬Ã¨£¨1£©»ò·Ç裨0£©ÊÇÊä³ö¡£ÎÒÃÇ¿ÉÒÔ½« logistic »Ø¹é¿´³É½«Á½×éÊý¾Ýµã·ÖÀëµÄÎÊÌ⣬Èç¹û½öÓÐÏßÐԻع飨¼¤»îº¯ÊýΪÏßÐÔ£©£¬Ôò¶ÔÓÚ·ÇÏßÐԱ߽çµÄÊý¾Ýµã£¨ÀýÈ磬һ×éÊý¾Ýµã±»ÁíÒ»×é°üΧ£©ÊÇÎÞ·¨ÓÐЧ·ÖÀëµÄ£¬Òò´ËÔÚÕâÀïÐèÒªÓ÷ÇÏßÐÔ¼¤»îº¯ÊýÌæ»»ÏßÐÔ¼¤»îº¯Êý¡£ÔÚÕâ¸ö°¸ÀýÖУ¬ÎÒÃÇʹÓõÄÊÇ sigmoid ¼¤»îº¯Êý£¬ËüÊÇÖµÓòΪ£¨0, 1£©µÄƽ»¬º¯Êý£¬¿ÉÒÔʹÉñ¾ÍøÂçµÄÊä³öµÃµ½Á¬Ðø¡¢¹éÒ»£¨¸ÅÂÊÖµ£©µÄ½á¹û£¬ÀýÈçµ±Êä³ö½ÚµãΪ£¨0.2, 0.8£©Ê±£¬Åж¨¸ÃͼÏñÊÇ·Ç裨0£©¡£
×óÏ£º Éñ¾ÍøÂçµÄѵÁ·Ä¿±êÊÇÈ·¶¨×îºÏÊʵÄÈ¨ÖØ w ºÍÆ«ÖÃÏî b£¬ÄÇÕâ¸ö¹ý³ÌÊÇÔõôÑùµÄÄØ£¿ Õâ¸ö·ÖÀàÆäʵ¾ÍÊÇÒ»¸öÓÅ»¯ÎÊÌ⣬ÓÅ»¯¹ý³ÌµÄÄ¿µÄÊÇʹԤ²âÖµ y hat ºÍÕæÊµÖµ y Ö®¼äµÄ²î¾à×îС£¬ÐÎʽÉÏ¿ÉÒÔͨ¹ýѰÕÒÄ¿±êº¯ÊýµÄ×îСֵÀ´ÊµÏÖ¡£ËùÒÔÎÒÃÇÊ×ÏÈÈ·¶¨Ä¿±êº¯Êý£¨Ëðʧº¯Êý¡¢´ú¼Ûº¯Êý£©µÄÐÎʽ£¬È»ºóÓÃÌݶÈϽµÖ𲽸üРw¡¢b£¬µ±Ëðʧº¯Êý´ïµ½×îСֵ»òÕß×㹻Сʱ£¬ÎÒÃǾÍÄÜ»ñµÃºÜºÃµÄÔ¤²â½á¹û¡£
ÓÒÉÏ£º Ëðʧº¯ÊýÖµÔÚ²ÎÊýÇúÃæÉϱ仯µÄ¼òͼ£¬Ê¹ÓÃÌݶȿÉÒÔÕÒµ½×î¿ìµÄϽµÂ·¾¶£¬Ñ§Ï°ÂʵĴóС¿ÉÒÔ¾ö¶¨ÊÕÁ²µÄËٶȺÍ×îÖÕ½á¹û¡£Ñ§Ï°Âʽϴóʱ£¬³õÆÚÊÕÁ²ºÜ¿ì£¬²»Ò×Í£ÁôÔÚ¾Ö²¿¼«Ð¡Öµ£¬µ«ºóÆÚÄÑÒÔÊÕÁ²µ½Îȶ¨µÄÖµ£»Ñ§Ï°ÂʽÏСʱ£¬Çé¿ö¸ÕºÃÏà·´¡£Ò»°ã¶øÑÔ£¬ÎÒÃÇÏ£ÍûѵÁ·³õÆÚѧϰÂʽϴ󣬺óÆÚѧϰÂʽÏС£¬Ö®ºó»á½éÉܱ仯ѧϰÂʵÄѵÁ··½·¨¡£
ÓÒÏ£º ×ܽáÕû¸öѵÁ·¹ý³Ì£¬´ÓÊäÈë½Úµã x ¿ªÊ¼£¬Í¨¹ýǰÏò´«²¥µÃµ½Ô¤²âÊä³ö y hat£¬Óà y hat ºÍ y µÃµ½Ëðʧº¯ÊýÖµ£¬¿ªÊ¼Ö´Ðз´Ïò´«²¥£¬¸üРw ºÍ b£¬Öظ´µü´ú¸Ã¹ý³Ì£¬Ö±µ½ÊÕÁ²¡£
3. dz²ãÍøÂçµÄÌØµã

×óÉÏ£º dz²ãÍøÂç¼´Òþ²Ø²ãÊý½ÏÉÙ£¬ÈçͼËùʾ£¬ÕâÀï½öÓÐÒ»¸öÒþ²Ø²ã¡£
×óÏ£º ÕâÀï½éÉÜÁ˲»Í¬¼¤»îº¯ÊýµÄÌØµã£º
-
sigmoid£º sigmoid º¯Êý³£ÓÃÓÚ¶þ·Ö·ÖÀàÎÊÌ⣬»òÕß¶à·ÖÀàÎÊÌâµÄ×îºóÒ»²ã£¬Ö÷ÒªÊÇÓÉÓÚÆä¹éÒ»»¯ÌØÐÔ¡£sigmoid º¯ÊýÔÚÁ½²à»á³öÏÖÌݶÈÇ÷ÓÚÁãµÄÇé¿ö£¬»áµ¼ÖÂѵÁ·»ºÂý¡£
-
tanh£º Ïà¶ÔÓÚ sigmoid£¬tanh º¯ÊýµÄÓŵãÊÇÌݶÈÖµ¸ü´ó£¬¿ÉÒÔʹѵÁ·Ëٶȱä¿ì¡£
-
ReLU£º ¿ÉÒÔÀí½âΪãÐÖµ¼¤»î£¨spiking model µÄÌØÀý£¬ÀàËÆÉúÎïÉñ¾µÄ¹¤×÷·½Ê½£©£¬¸Ãº¯ÊýºÜ³£Ó㬻ù±¾ÊÇĬÈÏÑ¡ÔñµÄ¼¤»îº¯Êý£¬ÓŵãÊDz»»áµ¼ÖÂѵÁ·»ºÂýµÄÎÊÌ⣬²¢ÇÒÓÉÓÚ¼¤»îֵΪÁãµÄ½Úµã²»»á²ÎÓë·´Ïò´«²¥£¬¸Ãº¯Êý»¹ÓÐÏ¡Êè»¯ÍøÂçµÄЧ¹û¡£
- Leaky ReLU£º ±ÜÃâÁËÁ㼤»îÖµµÄ½á¹û£¬Ê¹µÃ·´Ïò´«²¥¹ý³ÌʼÖÕÖ´ÐУ¬µ«ÔÚʵ¼ùÖкÜÉÙÓá£
ÓÒÉÏ£º ΪʲôҪʹÓü¤»îº¯ÊýÄØ£¿¸ü׼ȷµØËµÊÇ£¬ÎªÊ²Ã´ÒªÊ¹Ó÷ÇÏßÐÔ¼¤»îº¯ÊýÄØ£¿ ÉÏͼÖеÄʵÀý¿ÉÒÔ¿´³ö£¬Ã»Óм¤»îº¯ÊýµÄÉñ¾ÍøÂç¾¹ýÁ½²ãµÄ´«²¥£¬×îÖյõ½µÄ½á¹ûºÍµ¥²ãµÄÏßÐÔÔËËãÊÇÒ»ÑùµÄ£¬Ò²¾ÍÊÇ˵£¬Ã»ÓÐʹÓ÷ÇÏßÐÔ¼¤»îº¯ÊýµÄ»°£¬ÎÞÂÛ¶àÉÙ²ãµÄÉñ¾ÍøÂç¶¼µÈ¼ÛÓÚµ¥²ãÉñ¾ÍøÂ磨²»°üº¬ÊäÈë²ã£©¡£ ÓÒÏ£º ÈçºÎ³õʼ»¯²ÎÊý w¡¢b µÄÖµ£¿ µ±½«ËùÓвÎÊý³õʼ»¯ÎªÁãµÄʱºò£¬»áʹËùÓеĽڵã±äµÃÏàͬ£¬ÔÚѵÁ·¹ý³ÌÖÐÖ»ÄÜѧµ½ÏàͬµÄÌØÕ÷£¬¶øÎÞ·¨Ñ§µ½¶à²ã¼¶¡¢¶àÑù»¯µÄÌØÕ÷¡£½â¾ö°ì·¨ÊÇËæ»ú³õʼ»¯ËùÓвÎÊý£¬µ«½öÐèÉÙÁ¿µÄ·½²î¾ÍÐУ¬Òò´ËʹÓà Rand£¨0.01£©½øÐгõʼ»¯£¬ÆäÖÐ 0.01 Ò²Êdz¬²ÎÊýÖ®Ò»¡£
4. Éî¶ÈÉñ¾ÍøÂçµÄÌØµã

×óÉÏ£º Éñ¾ÍøÂçµÄ²ÎÊý»¯ÈÝÁ¿Ëæ²ãÊýÔö¼Ó¶øÖ¸ÊýʽµØÔö³¤£¬¼´Ä³Ð©Éî¶ÈÉñ¾ÍøÂçÄܽâ¾öµÄÎÊÌ⣬dz²ãÉñ¾ÍøÂçÐèÒªÏà¶ÔµÄÖ¸ÊýÁ¿¼¶µÄ¼ÆËã²ÅÄܽâ¾ö¡£
×óÏ£º CNN µÄÉî¶ÈÍøÂç¿ÉÒÔ½«µ×²ãµÄ¼òµ¥ÌØÕ÷Öð²ã×éºÏ³ÉÔ½À´Ô½¸´ÔÓµÄÌØÕ÷£¬Éî¶ÈÔ½´ó£¬ÆäÄÜ·ÖÀàµÄͼÏñµÄ¸´ÔӶȺͶàÑùÐÔ¾ÍÔ½´ó¡£RNN µÄÉî¶ÈÍøÂçÒ²ÊÇͬÑùµÄµÀÀí£¬¿ÉÒÔ½«ÓïÒô·Ö½âΪÒôËØ£¬ÔÙÖð½¥×éºÏ³É×Öĸ¡¢µ¥´Ê¡¢¾ä×Ó£¬Ö´Ðи´ÔÓµÄÓïÒôµ½Îı¾ÈÎÎñ¡£
Óұߣº Éî¶ÈÍøÂçµÄÌØµãÊÇÐèÒª´óÁ¿µÄѵÁ·Êý¾ÝºÍ¼ÆËã×ÊÔ´£¬ÆäÖÐÉæ¼°´óÁ¿µÄ¾ØÕóÔËË㣬¿ÉÒÔÔÚ GPU Éϲ¢ÐÐÖ´ÐУ¬»¹°üº¬ÁË´óÁ¿µÄ³¬²ÎÊý£¬ÀýÈçѧϰÂÊ¡¢µü´ú´ÎÊý¡¢Òþ²Ø²ãÊý¡¢¼¤»îº¯ÊýÑ¡Ôñ¡¢Ñ§Ï°Âʵ÷Õû·½°¸¡¢Åú³ß´ç´óС¡¢ÕýÔò»¯·½·¨µÈ¡£
5. Æ«²îÓë·½²î
ÄÇô²¿ÊðÄãµÄ»úÆ÷ѧϰģÐÍÐèҪעÒâЩʲô£¿ÏÂͼչʾÁ˹¹½¨ ML Ó¦ÓÃËùÐèÒªµÄÊý¾Ý¼¯·Ö¸î¡¢Æ«²îÓë·½²îµÈÎÊÌâ¡£

ÈçÉÏËùʾ£¬¾µä»úÆ÷ѧϰºÍÉî¶ÈѧϰģÐÍËùÐèÒªµÄÑù±¾ÊýÓзdz£´óµÄ²î±ð£¬Éî¶ÈѧϰµÄÑù±¾ÊýÊǾµä ML µÄ³ÉǧÉÏÍò±¶¡£Òò´ËѵÁ·¼¯¡¢¿ª·¢¼¯ºÍ²âÊÔ¼¯µÄ·ÖÅäÒ²ÓкܴóµÄÇø±ð£¬µ±È»ÎÒÃǼÙÉèÕâЩ²»Í¬µÄÊý¾Ý¼¯¶¼·þ´Óͬ·Ö²¼¡£
Æ«²îÓë·½²îÎÊÌâͬÑùÊÇ»úÆ÷ѧϰģÐÍÖг£¼ûµÄÌôÕ½£¬ÉÏͼÒÀ´ÎչʾÁËÓɏ߯«²î´øÀ´µÄÇ·ÄâºÏºÍÓɸ߷½²î´øÀ´µÄ¹ýÄâºÏ¡£Ò»°ã¶øÑÔ£¬½â¾ö¸ßÆ«²îµÄÎÊÌâÊÇÑ¡Ôñ¸ü¸´ÔÓµÄÍøÂç»ò²»Í¬µÄÉñ¾ÍøÂç¼Ü¹¹£¬¶ø½â¾ö¸ß·½²îµÄÎÊÌâ¿ÉÒÔÌí¼ÓÕýÔò»¯¡¢¼õÉÙÄ£ÐÍÈßÓà»òʹÓøü¶àµÄÊý¾Ý½øÐÐѵÁ·¡£
µ±È»£¬»úÆ÷ѧϰģÐÍÐèҪעÒâµÄÎÊÌâÔ¶²»Ö¹ÕâЩ£¬µ«ÔÚÅäÖÃÎÒÃÇµÄ ML Ó¦ÓÃÖУ¬ËüÃÇÊÇ×î»ù´¡ºÍ×îÖØÒªµÄ²¿·Ö¡£ÆäËüÈçÊý¾ÝÔ¤´¦Àí¡¢Êý¾Ý¹éÒ»»¯¡¢³¬²ÎÊýµÄÑ¡ÔñµÈ¶¼ÔÚºóÃæµÄÐÅϢͼÖÐÓÐËùÌåÏÖ¡£
6. ÕýÔò»¯
ÕýÔò»¯Êǽâ¾ö¸ß·½²î»òÄ£Ð͹ýÄâºÏµÄÖ÷ÒªÊֶΣ¬¹ýÈ¥ÊýÄ꣬Ñо¿ÕßÌá³öºÍ¿ª·¢Á˶àÖÖÊʺϻúÆ÷ѧϰËã·¨µÄÕýÔò»¯·½·¨£¬ÈçÊý¾ÝÔöÇ¿¡¢L2 ÕýÔò»¯£¨È¨ÖØË¥¼õ£©¡¢L1 ÕýÔò»¯¡¢Dropout¡¢Drop Connect¡¢Ëæ»ú³Ø»¯ºÍÌáǰÖÕÖ¹µÈ¡£

ÈçÉÏͼ×óÁÐËùʾ£¬L1 ºÍ L2 ÕýÔò»¯Ò²ÊÇÊÇ»úÆ÷ѧϰÖÐʹÓÃ×î¹ã·ºµÄÕýÔò»¯·½·¨¡£L1 ÕýÔò»¯ÏòÄ¿±êº¯ÊýÌí¼ÓÕýÔò»¯ÏÒÔ¼õÉÙ²ÎÊýµÄ¾ø¶ÔÖµ×ܺͣ»¶ø L2 ÕýÔò»¯ÖУ¬Ìí¼ÓÕýÔò»¯ÏîµÄÄ¿µÄÔÚÓÚ¼õÉÙ²ÎÊýƽ·½µÄ×ܺ͡£¸ù¾Ý֮ǰµÄÑо¿£¬L1 ÕýÔò»¯Öеĺܶà²ÎÊýÏòÁ¿ÊÇÏ¡ÊèÏòÁ¿£¬ÒòΪºÜ¶àÄ£Ð͵¼Ö²ÎÊýÇ÷½üÓÚ 0£¬Òò´ËËü³£ÓÃÓÚÌØÕ÷Ñ¡ÔñÉèÖÃÖС£´ËÍ⣬²ÎÊý·¶Êý³Í·£ L2 ÕýÔò»¯ÄÜÈÃÉî¶ÈѧϰËã·¨¡¸¸ÐÖª¡¹µ½¾ßÓнϸ߷½²îµÄÊäÈë x£¬Òò´ËÓëÊä³öÄ¿±êµÄз½²î½ÏС£¨Ïà¶ÔÔö¼Ó·½²î£©µÄÌØÕ÷È¨ÖØ½«»áÊÕËõ¡£
ÔÚÖмäÁÐÖУ¬ÉÏͼչʾÁË Dropout ¼¼Êõ£¬¼´ÔÝʱ¶ªÆúÒ»²¿·ÖÉñ¾Ôª¼°ÆäÁ¬½ÓµÄ·½·¨¡£Ëæ»ú¶ªÆúÉñ¾Ôª¿ÉÒÔ·ÀÖ¹¹ýÄâºÏ£¬Í¬Ê±Ö¸Êý¼¶¡¢¸ßЧµØÁ¬½Ó²»Í¬ÍøÂç¼Ü¹¹¡£Ò»°ãʹÓÃÁË Dropout ¼¼ÊõµÄÉñ¾ÍøÂç»áÉ趨һ¸ö±£ÁôÂÊ p£¬È»ºóÿһ¸öÉñ¾ÔªÔÚÒ»¸öÅúÁ¿µÄѵÁ·ÖÐÒÔ¸ÅÂÊ 1-p Ëæ»úÑ¡ÔñÊÇ·ñÈ¥µô¡£ÔÚ×îºó½øÐÐÍÆ¶ÏʱËùÓÐÉñ¾Ôª¶¼ÐèÒª±£Áô£¬Òò¶øÓиü¸ßµÄ׼ȷ¶È¡£
Bagging ÊÇͨ¹ý½áºÏ¶à¸öÄ£ÐͽµµÍ·º»¯Îó²îµÄ¼¼Êõ£¬Ö÷ÒªµÄ×ö·¨ÊÇ·Ö±ðѵÁ·¼¸¸ö²»Í¬µÄÄ£ÐÍ£¬È»ºóÈÃËùÓÐÄ£Ðͱí¾ö²âÊÔÑùÀýµÄÊä³ö¡£¶ø Dropout ¿ÉÒÔ±»ÈÏΪÊǼ¯³ÉÁË´óÁ¿Éî²ãÉñ¾ÍøÂçµÄ Bagging ·½·¨£¬Òò´ËËüÌṩÁËÒ»ÖÖÁ®¼ÛµÄ Bagging ¼¯³É½üËÆ·½·¨£¬Äܹ»ÑµÁ·ºÍÆÀ¹ÀÖµÊý¾ÝÊýÁ¿µÄÉñ¾ÍøÂç¡£
×îºó£¬ÉÏͼ»¹ÃèÊöÁËÊý¾ÝÔöÇ¿ÓëÌáǰÖÕÖ¹µÈÕýÔò»¯·½·¨¡£Êý¾ÝÔöǿͨ¹ýÏòѵÁ·Êý¾ÝÌí¼Óת»»»òÈŶ¯À´È˹¤Ôö¼ÓѵÁ·Êý¾Ý¼¯¡£Êý¾ÝÔöÇ¿¼¼ÊõÈçˮƽ»ò´¹Ö±·×ªÍ¼Ïñ¡¢²Ã¼ô¡¢É«²Ê±ä»»¡¢À©Õ¹ºÍÐýתͨ³£Ó¦ÓÃÔÚÊÓ¾õ±íÏóºÍͼÏñ·ÖÀàÖС£¶øÌáǰÖÕֹͨ³£ÓÃÓÚ·ÀֹѵÁ·Öйý¶È±í´ïµÄÄ£ÐÍ·º»¯ÐÔÄܲÈç¹ûµü´ú´ÎÊýÌ«ÉÙ£¬Ëã·¨ÈÝÒ×Ç·ÄâºÏ£¨·½²î½ÏС£¬Æ«²î½Ï´ó£©£¬¶øµü´ú´ÎÊýÌ«¶à£¬Ëã·¨ÈÝÒ×¹ýÄâºÏ£¨·½²î½Ï´ó£¬Æ«²î½ÏС£©¡£Òò´Ë£¬ÌáǰÖÕֹͨ¹ýÈ·¶¨µü´ú´ÎÊý½â¾öÕâ¸öÎÊÌâ¡£
7. ×îÓÅ»¯
×îÓÅ»¯ÊÇ»úÆ÷ѧϰģÐÍÖзdz£·Ç³£ÖØÒªµÄÄ£¿é£¬Ëü²»½öÖ÷µ¼ÁËÕû¸öѵÁ·¹ý³Ì£¬Í¬Ê±»¹¾ö¶¨ÁË×îºóÄ£ÐÍÐÔÄܵĺûµºÍÊÕÁ²ÐèÒªµÄʱ³¤¡£ÒÔÏÂÁ½ÕÅÐÅϢͼ¶¼Õ¹Ê¾ÁË×îÓÅ»¯·½·¨ÐèÒª¹Ø×¢µÄ֪ʶµã£¬°üÀ¨×îÓÅ»¯µÄÔ¤±¸ºÍ¾ßÌåµÄ×îÓÅ»¯·½·¨¡£

ÒÔÉÏչʾÁË×îÓÅ»¯³£³£³öÏÖµÄÎÊÌâºÍËùÐèÒªµÄ²Ù×÷¡£Ê×ÏÈÔÚÖ´ÐÐ×îÓÅ»¯Ç°£¬ÎÒÃÇÐèÒª¹éÒ»»¯ÊäÈëÊý¾Ý£¬¶øÇÒ¿ª·¢¼¯Óë²âÊÔ¼¯¹éÒ»»¯µÄ³£Êý£¨¾ùÖµÓë·½²î£©ÓëѵÁ·¼¯ÊÇÏàͬµÄ¡£ÉÏͼҲչʾÁ˹éÒ»»¯µÄÔÒò£¬ÒòΪÈç¹ûÌØÕ÷Ö®¼äµÄÁ¿¼¶Ïà²îÌ«´ó£¬ÄÇôËðʧº¯ÊýµÄ±íÃæ¾ÍÊÇÒ»ÕÅÏÁ³¤µÄÍÖÔ²ÐΣ¬¶øÌݶÈϽµ»ò×îËÙϽµ·¨»áÒòΪ¡¸¾â³Ý¡¹ÏÖÏó¶øºÜÄÑÊÕÁ²£¬Òò´Ë¹éÒ»»¯ÎªÔ²ÐÎÓÐÖúÓÚ¼õÉÙϽµ·½ÏòµÄÕðµ´¡£
ºóÃæµÄÌݶÈÏûʧÓëÌݶȱ¬Õ¨ÎÊÌâÒ²ÊÇÊ®·Ö³£¼ûµÄÏÖÏ󡣡¸ÌݶÈÏûʧ¡¹Ö¸µÄÊÇËæ×ÅÍøÂçÉî¶ÈÔö¼Ó£¬²ÎÊýµÄÌݶȷ¶ÊýÖ¸Êýʽ¼õСµÄÏÖÏó¡£ÌݶȺÜС£¬Òâζ×ŲÎÊýµÄ±ä»¯ºÜ»ºÂý£¬´Ó¶øÊ¹µÃѧϰ¹ý³ÌÍ£ÖÍ¡£Ìݶȱ¬Õ¨Ö¸Éñ¾ÍøÂçѵÁ·¹ý³ÌÖдóµÄÎó²îÌݶȲ»¶ÏÀÛ»ý£¬µ¼ÖÂÄ£ÐÍÈ¨ÖØ³öÏֺܴóµÄ¸üУ¬ÔÚ¼«¶ËÇé¿öÏ£¬È¨ÖصÄÖµ±äµÃ·Ç³£´óÒÔÖÁÓÚ³öÏÖ NaN Öµ¡£
ÌݶȼìÑéÏÖÔÚ¿ÉÄÜÓõıȽÏÉÙ£¬ÒòΪÎÒÃÇÔÚ TensorFlow »òÆäËü¿ò¼ÜÉÏÖ´ÐÐ×îÓÅ»¯Ëã·¨Ö»ÐèÒªµ÷ÓÃÓÅ»¯Æ÷¾ÍÐС£ÌݶȼìÑéÒ»°ãÊÇʹÓÃÊýÖµµÄ·½·¨¼ÆËã½üËÆµÄµ¼Êý²¢´«²¥£¬Òò´ËËüÄܼìÑéÎÒÃÇ»ùÓÚ½âÎöʽËã³öÀ´µÄÌݶÈÊÇ·ñÕýÈ·¡£
ÏÂÃæ¾ÍÊǾßÌåµÄ×îÓÅ»¯Ëã·¨ÁË£¬°üÀ¨×î»ù±¾µÄСÅúÁ¿Ëæ»úÌݶÈϽµ¡¢´ø¶¯Á¿µÄËæ»úÌݶÈϽµºÍ RMSProp µÈÊÊÓ¦ÐÔѧϰÂÊËã·¨¡£

СÅúÁ¿Ëæ»úÌݶÈϽµ£¨Í¨³£ SGD Ö¸µÄ¾ÍÊÇÕâÖÖ£©Ê¹ÓÃÒ»¸öÅúÁ¿µÄÊý¾Ý¸üвÎÊý£¬Òò´Ë´ó´ó½µµÍÁËÒ»´Îµü´úËùÐèµÄ¼ÆËãÁ¿¡£ÕâÖÖ·½·¨½µµÍÁ˸üвÎÊýµÄ·½²î£¬Ê¹µÃÊÕÁ²¹ý³Ì¸üΪÎȶ¨£»ËüÒ²ÄÜÀûÓÃÁ÷ÐÐÉî¶Èѧϰ¿ò¼ÜÖи߶ÈÓÅ»¯µÄ¾ØÕóÔËËãÆ÷£¬´Ó¶ø¸ßЧµØÇó³öÿ¸öСÅúÊý¾ÝµÄÌݶȡ£Í¨³£Ò»¸öСÅúÊý¾Ýº¬ÓеÄÑù±¾ÊýÁ¿ÔÚ 50 ÖÁ 256 Ö®¼ä£¬µ«¶ÔÓÚ²»Í¬µÄÓÃ;Ҳ»áÓÐËù±ä»¯¡£
¶¯Á¿²ßÂÔÖ¼ÔÚ¼ÓËÙ SGD µÄѧϰ¹ý³Ì£¬ÌرðÊÇÔÚ¾ßÓнϸßÇúÂʵÄÇé¿öÏ¡£Ò»°ã¶øÑÔ£¬¶¯Á¿Ëã·¨ÀûÓÃÏÈǰÌݶȵÄÖ¸ÊýË¥¼õ»¬¶¯Æ½¾ùÖµÔڸ÷½ÏòÉϽøÐÐÐÞÕý£¬´Ó¶ø¸üºÃµØÀûÓÃÀúÊ·ÌݶȵÄÐÅÏ¢¡£¸ÃËã·¨ÒýÈëÁ˱äÁ¿ v ×÷Ϊ²ÎÊýÔÚ²ÎÊý¿Õ¼äÖгÖÐøÒÆ¶¯µÄËÙ¶ÈÏòÁ¿£¬ËÙ¶ÈÒ»°ã¿ÉÒÔÉèÖÃΪ¸ºÌݶȵÄÖ¸ÊýË¥¼õ»¬¶¯Æ½¾ùÖµ¡£
ÉÏͼºóÃæËùÊöµÄ RMSProp ºÍ Adam µÈÊÊÓ¦ÐÔѧϰÂÊËã·¨ÊÇĿǰÎÒÃÇ×î³£ÓõÄ×îÓÅ»¯·½·¨¡£RMSProp Ëã·¨£¨Hinton£¬2012£©ÐÞ¸Ä AdaGrad ÒÔÔÚ·Ç͹Çé¿öϱíÏÖ¸üºÃ£¬Ëü¸Ä±äÌݶÈÀÛ»ýΪָÊý¼ÓȨµÄÒÆ¶¯Æ½¾ùÖµ£¬´Ó¶ø¶ªÆú¾àÀë½ÏÔ¶µÄÀúÊ·ÌݶÈÐÅÏ¢¡£RMSProp ÊÇ Hinton ÔÚ¹«¿ª¿ÎÉÏÌá³öµÄ×îÓÅ»¯Ëã·¨£¬ÆäʵËü¿ÉÒÔÊÓΪ AdaDelta µÄÌØÀý¡£µ«Êµ¼ùÖ¤Ã÷ RMSProp Óзdz£ºÃµÄÐÔÄÜ£¬ËüĿǰÔÚÉî¶ÈѧϰÖÐÓзdz£¹ã·ºµÄÓ¦ÓᣠAdam Ë㷨ͬʱ»ñµÃÁË AdaGrad ºÍ RMSProp Ëã·¨µÄÓŵ㡣
Adam ²»½öÈç RMSProp Ëã·¨ÄÇÑù»ùÓÚÒ»½×¾Ø¾ùÖµ¼ÆËãÊÊÓ¦ÐÔ²ÎÊýѧϰÂÊ£¬Ëüͬʱ»¹³ä·ÖÀûÓÃÁËÌݶȵĶþ½×¾Ø¾ùÖµ£¨¼´ÓÐÆ«·½²î/uncentered variance£©¡£
8. ³¬²ÎÊý
ÒÔÏÂÊǽéÉܳ¬²ÎÊýµÄÐÅϢͼ£¬ËüÔÚÉñ¾ÍøÂçÖÐÕ¼¾ÝÁËÖØÒªµÄ×÷Óã¬ÒòΪËüÃÇ¿ÉÒÔÖ±½ÓÌáÉýÄ£Ð͵ÄÐÔÄÜ¡£

ÖÚËùÖÜ֪ѧϰÂÊ¡¢Éñ¾ÍøÂçÒþ²Øµ¥ÔªÊý¡¢ÅúÁ¿´óС¡¢²ã¼¶ÊýºÍÕýÔò»¯ÏµÊýµÈ³¬²ÎÊý¿ÉÒÔÖ±½ÓÓ°ÏìÄ£Ð͵ÄÐÔÄÜ£¬¶øÔõôµ÷¾ÍÏԵ÷dz£ÖØÒª¡£Ä¿Ç°×î³£¼ûµÄ»¹ÊÇÊÖ¶¯µ÷²Î£¬¿ª·¢Õß»á¸ù¾Ý×ÔÉí½¨Ä£¾ÑéÑ¡Ôñ¡¸ºÏÀí¡¹µÄ³¬²ÎÊý£¬È»ºóÔÙ¸ù¾ÝÄ£ÐÍÐÔÄÜ×öһЩСµÄµ÷Õû¡£¶ø×Ô¶¯»¯µ÷²ÎÈçËæ»ú¹ý³Ì»ò±´Ò¶Ë¹ÓÅ»¯µÈÈÔÐèÒª·Ç³£´óµÄ¼ÆËãÁ¿£¬ÇÒЧÂʱȽϵ͡£²»¹ý½üÀ´¹ØÓÚʹÓÃÇ¿»¯Ñ§Ï°¡¢ÒÅ´«Ëã·¨ºÍÉñ¾ÍøÂçµÈ·½·¨ËÑË÷³¬²ÎÊýÓкܴóµÄ½ø²½£¬Ñо¿Õß¶¼ÔÚѰÕÒÒ»ÖÖ¸ßЧ¶ø×¼È·µÄ·½·¨¡£ ĿǰµÄ³¬²ÎÊýËÑË÷·½·¨ÓУº
- ÒÀ¿¿¾Ñ飺 ñöÌý×Ô¼ºµÄÖ±¾õ£¬ÉèÖøоõÉÏÓ¦¸Ã¶ÔµÄ²ÎÊýÈ»ºó¿´¿´ËüÊÇ·ñ¹¤×÷£¬²»¶Ï³¢ÊÔÖ±µ½ÀÛÅ¿¡£
- Íø¸ñËÑË÷£º ÈüÆËã»ú³¢ÊÔһЩÔÚÒ»¶¨·¶Î§ÄÚ¾ùÔÈ·Ö²¼µÄÊýÖµ¡£
- Ëæ»úËÑË÷£º ÈüÆËã»ú³¢ÊÔÒ»Ð©Ëæ»úÖµ£¬¿´¿´ËüÃÇÊÇ·ñºÃÓá£
- ±´Ò¶Ë¹ÓÅ»¯£º ʹÓÃÀàËÆ MATLAB bayesopt µÄ¹¤¾ß×Ô¶¯Ñ¡È¡×î¼Ñ²ÎÊý¡ª¡ª½á¹û·¢ÏÖ±´Ò¶Ë¹ÓÅ»¯µÄ³¬²ÎÊý±ÈÄã×Ô¼ºµÄ»úÆ÷ѧϰËã·¨»¹Òª¶à£¬ÀÛ¾õ²»°®£¬»Øµ½ÒÀ¿¿¾ÑéºÍÍø¸ñËÑË÷·½·¨ÉÏÈ¥¡£
ÒòΪƪ·ùÓÐÏÞ£¬ºóÃæµÄչʾ½«Ö»¼òÒª½éÉÜÐÅϢͼ£¬ÏàÐÅËüÃǶԸ÷λ¶ÁÕß¶¼Ê®·ÖÓаïÖú¡£
9. ½á¹¹»¯»úÆ÷ѧϰ¹ý³Ì

ÎÒÃÇÐèÒª°´¹ý³Ì»ò½á¹¹À´É趨ÎÒÃǵĻúÆ÷ѧϰϵͳ£¬Ê×ÏÈÐèÒªÉ趨ģÐÍÒª´ïµ½µÄÄ¿±ê£¬ÀýÈçËüµÄÔ¤ÆÚÐÔÄÜÊǶàÉÙ¡¢¶ÈÁ¿·½·¨ÊÇʲôµÈ¡£È»ºó·Ö¸îѵÁ·¡¢¿ª·¢ºÍ²âÊÔ¼¯£¬²¢Ô¤ÆÚ¿ÉÄܵ½´ïµÄÓÅ»¯Ë®Æ½¡£ËæºóÔÙ¹¹½¨Ä£ÐͲ¢ÑµÁ·£¬ÔÚ¿ª·¢¼¯ºÍ²âÊÔ¼¯Íê³ÉÑéÖ¤ºó¾Í¿ÉÒÔÓÃÓÚÍÆ¶ÏÁË¡£
10. Îó²î·ÖÎö

ÔÚÍê³ÉѵÁ·ºó£¬ÎÒÃÇ¿ÉÒÔ·ÖÎöÎó²îµÄÀ´Ô´´Ó¶ø¸Ä½øÐÔÄÜ£¬°üÀ¨·¢ÏÖ´íÎóµÄ±ê×¢¡¢²»ÕýÈ·µÄËðʧº¯ÊýµÈ¡£
11. ѵÁ·¼¯¡¢¿ª·¢¼¯Óë²âÊÔ¼¯

ÉÏͼչʾÁËÈý¸ö·Ö¸îÊý¾Ý¼¯¼°Æä±íÏÖËùÐèҪעÒâµÄµØ·½£¬Ò²¾ÍÊÇ˵Èç¹ûËüÃǼäÓв»Í¬µÄÕýÈ·ÂÊ£¬ÄÇôÎÒÃǸÃÈçºÎÐÞÕýÕâЩ¡¸²î±ð¡¹¡£ÀýÈçѵÁ·¼¯µÄÕýÈ·ÂÊÃ÷ÏÔ¸ßÓÚÑéÖ¤¼¯Óë²âÊÔ¼¯±íÃ÷Ä£Ð͹ýÄâºÏ£¬Èý¸öÊý¾Ý¼¯µÄÕýÈ·Âʶ¼Ã÷ÏÔµÍÓڿɽÓÊÜˮƽ¿ÉÄÜÊÇÒòΪǷÄâºÏ¡£
12. ÆäËüѧϰ·½·¨

»úÆ÷ѧϰºÍÉî¶Èѧϰµ±È»²»Ö¹¼à¶½Ñ§Ï°·½·¨£¬»¹ÓÐÈçÇ¨ÒÆÑ§Ï°¡¢¶àÈÎÎñѧϰºÍ¶Ëµ½¶ËµÄѧϰµÈ¡£
¶þ¡¢¾í»ýÍøÂç
13. ¾í»ýÉñ¾ÍøÂç»ù´¡

¼ÆËã»úÊÓ¾õÈÎÎñÉæ¼°µÄÊý¾ÝÌåÁ¿ÊÇÌØ±ð´óµÄ£¬Ò»ÕÅͼÏñ¾ÍÓÐÉÏǧ¸öÊý¾Ýµã£¬¸ü±ðÌá¸ß·Ö±æÂÊͼÏñºÍÊÓÆµÁË¡£ÕâʱÓÃÈ«Á¬½ÓÍøÂçµÄ»°£¬²ÎÊýÊýÁ¿Ì«´ó£¬Òò¶ø¸ÄÓþí»ýÉñ¾ÍøÂ磨CNN£©£¬²ÎÊýÊýÁ¿¿ÉÒÔ¼«´óµØ¼õС¡£CNN µÄ¹¤×÷ÔÀí¾ÍÏñÓüì²âÌØ¶¨ÌØÕ÷µÄ¹ýÂËÆ÷ɨÃèÕûÕÅͼÏñ£¬½øÐÐÌØÕ÷ÌáÈ¡£¬²¢Öð²ã×éºÏ³ÉÔ½À´Ô½¸´ÔÓµÄÌØÕ÷¡£ÕâÖÖ¡¸É¨Ã衹µÄ¹¤×÷·½Ê½Ê¹ÆäÓкܺõIJÎÊý¹²ÏíÌØÐÔ£¬´Ó¶øÄܼì²â²»Í¬Î»ÖõÄÏàͬĿ±ê£¨Æ½ÒƶԳƣ©¡£
¾í»ýºË¶ÔÓ¦µÄ¼ì²âÌØÕ÷¿ÉÒÔ´ÓÆä²ÎÊý·Ö²¼¼òµ¥µØÅжϣ¬ÀýÈç£¬È¨ÖØ´Ó×óµ½ÓÒ±äСµÄ¾í»ýºË¿ÉÒÔ¼ì²âµ½ºÚ°×ÊúÌõÎÆµÄ±ß½ç£¬²¢ÏÔʾΪÖмäÁÁ£¬Á½±ß°µµÄÌØÕ÷ͼ£¬¾ßÌåµÄÏà¶ÔÁÁ°µ½á¹ûÈ¡¾öÓÚͼÏñÏñËØ·Ö²¼ºÍ¾í»ýºËµÄÏà¶Ô¹ØÏµ¡£¾í»ýºËÈ¨ÖØ¿ÉÒÔÖ±½ÓÓ²±àÂ룬µ«ÎªÁËÈÃÏàͬµÄ¼Ü¹¹ÊÊÓ¦²»Í¬µÄÈÎÎñ£¬Í¨¹ýѵÁ·µÃµ½¾í»ýºËÈ¨ÖØÊǸüºÃµÄ°ì·¨¡£
¾í»ýÔËËãµÄÖ÷Òª²ÎÊý£º

padding£º Ö±½ÓµÄ¾í»ýÔËËã»áʹµÃµ½µÄÌØÕ÷ͼԽÀ´Ô½Ð¡£¬padding ²Ù×÷»áÔÚͼÏñÖÜΧÌí¼Ó 0 ÏñËØÖµµÄ±ßÔµ£¬Ê¹¾í»ýºóµÃµ½µÄÌØÕ÷ͼ´óСºÍÔͼÏñ£¨³¤¿í£¬²»°üÀ¨Í¨µÀÊý£©Ïàͬ¡£ ³£ÓõÄÁ½¸öÑ¡ÏîÊÇ£º¡ºVALID¡»£¬²»Ö´ÐÐ padding£»¡ºSAME¡»£¬Ê¹Êä³öÌØÕ÷ͼµÄ³¤¿íºÍÔͼÏñÏàͬ¡£ stride£º Á½´Î¾í»ý²Ù×÷Ö®¼äµÄ²½³¤´óС¡£ Ò»¸ö¾í»ý²ãÉÏ¿ÉÒÔÓжà¸ö¾í»ýºË£¬Ã¿¸ö¾í»ýºËÔËËãµÃµ½µÄ½á¹ûÊÇÒ»¸öͨµÀ£¬Ã¿¸öͨµÀµÄÌØÕ÷ͼµÄ³¤¿íÏàͬ£¬¿ÉÒԶѵþÆðÀ´¹¹³É¶àͨµÀÌØÕ÷ͼ£¬×÷ΪÏÂÒ»¸ö¾í»ý²ãµÄÊäÈë¡£
Éî¶È¾í»ýÉñ¾ÍøÂçµÄ¼Ü¹¹£º

Éî¶È¾í»ýÉñ¾ÍøÂçµÄ¼Ü¹¹Ö÷ÒªÒÔ¾í»ý²ã¡¢³Ø»¯²ãµÄ¶à¼¶¶Ñµþ£¬×îºóÊÇÈ«Á¬½Ó²ãÖ´ÐзÖÀà¡£³Ø»¯²ãµÄÖ÷Òª×÷ÓÃÊǼõÉÙÌØÕ÷ͼ³ß´ç£¬½ø¶ø¼õÉÙ²ÎÊýÊýÁ¿£¬¼ÓËÙÔËË㣬ʹÆäÄ¿±ê¼ì²â±íÏÖ¸ü¼Ó³°ô¡£
14. ¾µä¾í»ýÉñ¾ÍøÂç

- LeNet¡¤5£ºÊÖдʶ±ð·ÖÀàÍøÂ磬ÕâÊǵÚÒ»¸ö¾í»ýÉñ¾ÍøÂ磬ÓÉ Yann LeCun Ìá³ö¡£
- AlexNet£ºÍ¼Ïñ·ÖÀàÍøÂ磬Ê×´ÎÔÚ CNN ÒýÈë ReLU ¼¤»îº¯Êý¡£
- VGG-16£ºÍ¼Ïñ·ÖÀàÍøÂ磬Éî¶È½Ï´ó¡£
15. ÌØÊâ¾í»ýÉñ¾ÍøÂç

- ResNet£ºÒýÈë²Ð²îÁ¬½Ó£¬»º½âÌݶÈÏûʧºÍÌݶȱ¬Õ¨ÎÊÌ⣬¿ÉÒÔѵÁ··Ç³£ÉîµÄÍøÂç¡£
- Network in Network£ºÊ¹Óà 1x1 ¾í»ýºË£¬¿ÉÒÔ½«¾í»ýÔËËã±ä³ÉÀàËÆÓÚÈ«Á¬½ÓÍøÂçµÄÐÎʽ£¬»¹¿ÉÒÔ¼õÉÙÌØÕ÷ͼµÄͨµÀÊý£¬´Ó¶ø¼õÉÙ²ÎÊýÊýÁ¿¡£
- Inception Network£ºÊ¹ÓÃÁ˶àÖֳߴç¾í»ýºËµÄ²¢ÐвÙ×÷£¬Ôٶѵþ³É¶à¸öͨµÀ£¬¿ÉÒÔ²¶×½¶àÖÖ¹æÄ£µÄÌØÕ÷£¬µ«È±µãÊǼÆËãÁ¿Ì«´ó£¬¿ÉÒÔͨ¹ý 1x1 ¾í»ý¼õÉÙͨµÀÊý¡£
16. ʵ¼ù½¨Òé

- ʹÓÿªÔ´ÊµÏÖ£º´ÓÁ㿪ʼʵÏÖʱ·Ç³£À§Äѵģ¬ÀûÓñðÈ˵ÄʵÏÖ¿ÉÒÔ¿ìËÙ̽Ë÷¸ü¸´ÔÓÓÐȤµÄÈÎÎñ¡£
- Êý¾ÝÔöÇ¿£ºÍ¨¹ý¶ÔÔͼÏñ½øÐоµÏñ¡¢Ëæ»ú²Ã¼ô¡¢Ðýת¡¢ÑÕÉ«±ä»¯µÈ²Ù×÷£¬Ôö¼ÓѵÁ·Êý¾ÝÁ¿ºÍ¶àÑùÐÔ¡£
- Ç¨ÒÆÑ§Ï°£ºÕë¶Ôµ±Ç°ÈÎÎñµÄѵÁ·Êý¾ÝÌ«ÉÙʱ£¬¿ÉÒÔ½«³ä·ÖѵÁ·¹ýµÄÄ£ÐÍÓÃÉÙÁ¿Êý¾Ý΢µ÷»ñµÃ×ã¹»ºÃµÄÐÔÄÜ¡£
- »ù×¼²âÊԺ;ºÈüÖбíÏÖÁ¼ºÃµÄ¾÷ÇÏ£ºÊ¹ÓÃÄ£Ðͼ¯³É£¬Ê¹ÓöàÄ£ÐÍÊä³öµÄƽ¾ù½á¹û£»ÔÚ²âÊԽ׶Σ¬½«Í¼Ïñ²Ã¼ô³É¶à¸ö¸±±¾·Ö±ð²âÊÔ£¬²¢½«²âÊÔ½á¹ûȡƽ¾ù¡£
17. Ä¿±ê¼ì²âËã·¨

Ä¿±ê¼ì²â¼´Ê¹Óñ߽ç¿ò¼ì²âͼÏñÖÐÎïÌåµÄλÖã¬Faster R-CNN¡¢R-FCN ºÍ SSD ÊÇÈýÖÖĿǰ×îÓÅÇÒÓ¦ÓÃ×î¹ã·ºµÄÄ¿±ê¼ì²âÄ£ÐÍ£¬ÉÏͼҲչʾÁË YOLO µÄ»ù±¾¹ý³Ì¡£
18. ÈËÁ³Ê¶±ð

ÈËÁ³Ê¶±ðÓÐÁ½´óÀàÓ¦ÓãºÈËÁ³ÑéÖ¤£¨¶þ·Ö·ÖÀࣩ ºÍÈËÁ³Ê¶±ð£¨¶àÈË·ÖÀࣩ¡£ µ±Ñù±¾Á¿²»×ãʱ£¬»òÕß²»¶ÏÓÐÐÂÑù±¾¼ÓÈëʱ£¬ÐèҪʹÓà one-shot learning£¬½â¾ö°ì·¨ÊÇѧϰÏàËÆÐÔº¯Êý£¬¼´È·¶¨Á½ÕÅͼÏñµÄÏàËÆÐÔ¡£±ÈÈçÔÚ Siamese Network ÖÐѧϰÈËÁ³Ê¶±ðʱ£¬¾ÍÊÇÀûÓÃÁ½¸öÍøÂçµÄÊä³ö£¬¼õÉÙͬһ¸öÈ˵ÄÁ½¸öÊä³öµÄ²î±ð£¬Ôö´ó²»Í¬È˵ÄÁ½¸öÊä³öÖ®¼äµÄ²î±ð¡£
19. ·ç¸ñÇ¨ÒÆ

·ç¸ñÇ¨ÒÆÊÇÒ»¸öÈÈÃÅ»°Ì⣬Ëü»áÔÚÊÓ¾õÉϸøÈ˶úĿһеĸоõ¡£ÀýÈçÄãÓÐÒ»¸±Í¼£¬È»ºó½«ÁíÒ»·ùͼµÄ·ç¸ñÌØÕ÷Ó¦Óõ½Õâ·ùͼÉÏ£¬±ÈÈçÓÃÒ»Î»ÖøÃû»¼Ò»òijһ¸±Ãû»µÄ·ç¸ñÀ´ÐÞ¸ÄÄãµÄͼÏñ£¬Òò´ËÎÒÃÇ¿ÉÒÔ»ñµÃ¶ÀÌØ·ç¸ñµÄ×÷Æ·¡£
Èý¡¢Ñ»·ÍøÂç
20. Ñ»·Éñ¾ÍøÂç»ù´¡

ÈçÉÏËùʾ£¬ÃüÃûʵÌåʶ±ðµÈÐòÁÐÎÊÌâÔÚÏÖʵÉú»îÖÐÕ¼Á˺ܴóµÄ±ÈÀý£¬¶øÒþÂí¶û¿É·òÁ´µÈ´«Í³»úÆ÷ѧϰËã·¨Ö»ÄÜ×÷³öºÜÇ¿µÄ¼ÙÉè¶ø´¦Àí²¿·ÖÐòÁÐÎÊÌâ¡£µ«½üÀ´Ñ»·Éñ¾ÍøÂçÔÚÕâЩÎÊÌâÉÏÓзdz£´óµÄÍ»ÆÆ£¬RNN Òþ²Ø×´Ì¬µÄ½á¹¹ÒÔÑ»·ÐεÄÐÎʽ³É¼ÇÒ䣬ÿһʱ¿ÌµÄÒþ²Ø²ãµÄ״̬ȡ¾öÓÚËüµÄ¹ýȥ״̬£¬ÕâÖֽṹʹµÃ RNN ¿ÉÒÔ±£´æ¡¢¼ÇסºÍ´¦Àí³¤Ê±ÆÚµÄ¹ýÈ¥¸´ÔÓÐźš£ Ñ»·Éñ¾ÍøÂ磨RNN£©Äܹ»´ÓÐòÁкÍʱÐòÊý¾ÝÖÐÑ§Ï°ÌØÕ÷ºÍ³¤ÆÚÒÀÀµ¹ØÏµ¡£RNN ¾ß±¸·ÇÏßÐÔµ¥ÔªµÄ¶Ñµþ£¬ÆäÖе¥ÔªÖ®¼äÖÁÉÙÓÐÒ»¸öÁ¬½ÓÐγÉÓÐÏòÑ»·¡£ÑµÁ·ºÃµÄ RNN ¿ÉÒÔ½¨Ä£Èκζ¯Ì¬ÏµÍ³£»µ«ÊÇ£¬ÑµÁ· RNN Ö÷ÒªÊܵ½Ñ§Ï°³¤ÆÚÒÀÀµÐÔÎÊÌâµÄÓ°Ïì¡£
ÒÔÏÂչʾÁË RNN µÄÓ¦Óá¢ÎÊÌâÒÔ¼°±äÌåµÈ£º

Ñ»·Éñ¾ÍøÂçÔÚÓïÑÔ½¨Ä£µÈÐòÁÐÎÊÌâÉÏÓзdz£Ç¿´óµÄÁ¦Á¿£¬µ«Í¬Ê±ËüÒ²´æÔÚºÜÑÏÖØµÄÌݶÈÏûʧÎÊÌâ¡£Òò´ËÏñ LSTM ºÍ GRU µÈ»ùÓÚÃÅ¿ØµÄ RNN Óзdz£´óµÄDZÁ¦£¬ËüÃÇʹÓÃÃſػúÖÆ±£Áô»òÒÅÍüÇ°ÃæÊ±¼ä²½µÄÐÅÏ¢£¬²¢ÐγɼÇÒäÒÔÌṩ¸øµ±Ç°µÄ¼ÆËã¹ý³Ì¡£
21. NLP ÖеĴʱíÕ÷

´ÊǶÈëÔÚ×ÔÈ»ÓïÑÔ´¦ÀíÖзdz£ÖØÒª£¬ÒòΪ²»ÂÛÖ´ÐÐÔõÑùµÄÈÎÎñ£¬½«´Ê±íÕ÷³öÀ´¶¼ÊDZØÐëµÄ¡£ÉÏͼչʾÁË´ÊǶÈëµÄ·½·¨£¬ÎÒÃÇ¿ÉÒÔ½«´Ê»ã¿âÓ³Éäµ½Ò»¸ö 200 »ò 300 άµÄÏòÁ¿£¬´Ó¶ø´ó´ó¼õÉÙ±íÕ÷´ÊµÄ¿Õ¼ä¡£´ËÍ⣬ÕâÖִʱíÕ÷µÄ·½·¨»¹Äܱíʾ´ÊµÄÓïÒ壬ÒòΪ´ÊÒåÏà½üµÄ´ÊÔÚǶÈë¿Õ¼äÖоàÀëÏà½ü¡£
³ýÁËÒÔÉÏËùÊöµÄ Skip Grams£¬ÒÔÏ»¹Õ¹Ê¾ÁËѧϰ´ÊǶÈëµÄ³£¼û·½·¨£º

GloVe ´ÊÏòÁ¿ÊǺܳ£¼ûµÄ´ÊÏòÁ¿Ñ§Ï°·½·¨£¬Ëüѧµ½µÄ´Ê±íÕ÷¿É½øÒ»²½ÓÃÓÚÓï¾ä·ÖÀàµÈÈÎÎñ¡£
22. ÐòÁе½ÐòÁÐ

ÐòÁе½ÐòÁеķ½·¨Ê¹ÓÃ×î¶àµÄ¾ÍÊDZàÂëÆ÷½âÂëÆ÷¿ò¼Ü£¬ÆäËü»¹ÓÐÊøËÑË÷µÈÄ£¿éµÄ½éÉÜ¡£ ±àÂëÆ÷½âÂëÆ÷¼Ü¹¹¼ÓÉÏ×¢ÒâÁ¦»úÖÆ¿ÉÒÔ½â¾ö·Ç³£¶àµÄ×ÔÈ»ÓïÑÔ´¦ÀíÎÊÌ⣬ÒÔϽéÉÜÁË BLEU ·ÖÖµºÍ×¢ÒâÁ¦»úÖÆ¡£ËüÃÇÔÚ»úÆ÷·ÒëµÄ¼Ü¹¹ºÍÆÀ¹ÀÖж¼ÊDz»ÄÜȱÉٵIJ¿·Ö¡£

ÒÔÉÏÊÇËùÓйØÓÚÎâ¶÷´ïÉî¶ÈѧϰרÏî¿Î³ÌµÄÐÅϢͼ£¬ÓÉÓÚËüÃǰüº¬µÄÐÅÏ¢½Ï¶à£¬ÎÒÃÇÖ»½éÉÜÁËÒ»²¿·Ö£¬»¹ÓкܶàÄÚÈÝÖ»ÊǼòµ¥µÄÒ»±Ê´ø¹ý.
|