±à¼ÍƼö: |
±¾ÎÄÖ÷Òª¸ø´ó¼Ò·ÖÏíÁËLSTM£¬´Ó¸ÐÖªÆ÷¿ªÊ¼£¬°ÑÕâ¸öÁ÷³ÌÖеÄÖ÷Ҫ֪ʶµãչʾ³öÀ´£¬Ï£ÍûÄܸø´ó¼Ò´øÀ´Ò»Ð©°ïÖú¡£
±¾ÎÄÀ´×ÔÓÚËѺüÍø£¬ÓÉ»ðÁú¹ûÈí¼þAlice±à¼¡¢ÍƼö¡£
|
|
Ä¿µÄÊǽ«LSTMÓÃÔڷִʺʹÊÐÔ±ê×¢ÈÎÎñ£¬ÕâһƪµÄÄ¿µÄÊÇLSTM£¬µ«´Ó¸ÐÖªÆ÷¿ªÊ¼Ð´Æð£¬Ï£ÍûÄܰÑÕâ¸öÁ÷³ÌÖеÄÖ÷Ҫ֪ʶµãչʾ³öÀ´¡£ÓÉÓÚˮƽÓÐÏÞ£¬ËùÒÔÉæ¼°´óÁ¿¹«Ê½µÄµØ·½¶¼»áÊÇ´ÓÎÒ¿´¹ýµÄ×ÊÁÏÖнØÍ¼¹ýÀ´£¬ÎÒ»áÔÚÎÄÄ©·Å³öÎÄÕµÄÁ´½Ó£¬¹©²Î¿¼¡£
¸ÐÖªÆ÷¡ª¡ª»ù´¡µÄÈ«Á¬½ÓÍøÂ硪¡ªÏßÐÔµ¥Ôªµ½ÏßÐÔÄ£ÐÍ¡ª¡ªÌݶÈϽµ¡ª¡ªÉñ¾ÍøÂçºÍ·´Ïò´«²¥Ëã·¨¡ª¡ªÑ»·Éñ¾ÍøÂ硪¡ªLSTM¡ª¡ªLSTM-CRF
1.¸ÐÖªÆ÷£¨Perception£©
¡°¸ÐÖªÆ÷¡±Ò»´Ê³ö×ÔÓÚ20ÊÀ¼Í50Äê´úÖÐÆÚµ½60Äê´úÖÐÆÚÈËÃǶÔÒ»ÖÖ·ÖÀàѧϰ»úÄ£Ð͵ijƺô£¬ËüÊÇÊôÓÚÓйض¯ÎïºÍ»úÆ÷ѧϰµÄ·ÂÉúѧÁìÓòÖеÄÎÊÌâ¡£µ±Ê±µÄһЩÑо¿ÕßÈÏΪ¸ÐÖªÆ÷ÊÇÒ»ÖÖѧϰ»úµÄÇ¿ÓÐÁ¦Ä£ÐÍ£¬ºóÀ´·¢ÏÖ¹À¼Æ¹ý¸ßÁË£¬µ«·¢Õ¹¸ÐÖªÆ÷µÄһЩÏà¹Ø¸ÅÄîÈÔÈ»ÑØÓÃÏÂÀ´¡£
¸ÐÖªÆ÷Ë㷨ʵÖÊÉÏÊÇÒ»ÖÖÉÍ·£¹ý³Ì£º
¨C¶ÔÕýÈ··ÖÀàµÄģʽÔò¡°ÉÍ¡±£¬Êµ¼ÊÉÏÊÇ¡°²»·£¡±£¬¼´È¨ÏòÁ¿²»±ä¡£
¨C¶Ô´íÎó·ÖÀàµÄģʽÔò¡°·£¡±£¬Ê¹w(k)¼ÓÉÏÒ»¸öÕý±ÈÓÚxkµÄ·ÖÁ¿¡£
¨Cµ±ÓÃÈ«²¿Ä£Ê½Ñù±¾ÑµÁ·¹ýÒ»ÂÖÒÔºó£¬Ö»ÒªÓÐÒ»¸öģʽÊÇÅбð´íÎóµÄ£¬ÔòÐèÒª½øÐÐÏÂÒ»ÂÖµü´ú£¬¼´ÓÃÈ«²¿Ä£Ê½Ñù±¾ÔÙѵÁ·Ò»´Î¡£
¨CÈç´Ë²»¶Ï·´¸´Ö±µ½È«²¿Ä£Ê½Ñù±¾½øÐÐѵÁ·¶¼Äܵõ½ÕýÈ·µÄ·ÖÀà½á¹ûΪֹ¡£

¿ÉÒÔÓøÐÖªÆ÷ʵÏÖand¡¢orÕâЩ¼òµ¥µÄ²¼¶ûÔËË㣬¸ÐÖªÆ÷»¹¿ÉÒÔÄâºÏÈκεÄÏßÐÔº¯Êý£¬ÈκÎÏßÐÔ·ÖÀà»òÏßÐԻعéÎÊÌâ¶¼¿ÉÒÔÓøÐÖªÆ÷À´½â¾ö¡£²¼¶ûÔËËã¿ÉÒÔ¿´×÷ÊǶþ·ÖÀàÎÊÌ⣬¼´¸ø¶¨Ò»¸öÊäÈ룬Êä³ö0£¨ÊôÓÚ·ÖÀà0£©»ò1£¨ÊôÓÚ·ÖÀà1£©¡£µ«ÊǸÐÖªÆ÷²»ÄÜʵÏÖÒì»òÔËË㣬Òì»òÔËËã²»ÊÇÏßÐԵģ¬ÄãÎÞ·¨ÓÃÒ»ÌõÖ±Ïß°Ñ·ÖÀà0ºÍ·ÖÀà1·Ö¿ª¡£
¸ÐÖªÆ÷µÄѵÁ·
×ܵÄÀ´ËµÊÇÏÈËæ»ú¸ø¸öȨֵ£¬È»ºóÀûÓÃѵÁ·¼¯·´¸´ÑµÁ·È¨Öµ£¬×îºóµÃµ½Äܹ»ÕýÈ··ÖÀàËùÓÐÑùÀýµÄȨÏòÁ¿¡£
¾ßÌåËã·¨¹ý³ÌÈçÏ£º
wÊÇÈ¨ÖØ£¬bÊÇÆ«ÖÃÏtÊÇʵ¼ÊÖµ£¬yÊÇÔ¤²âÖµ
1.³õʼ»¯È¨ÏòÁ¿w=(w0,w1,¡,wn)£¬½«È¨ÏòÁ¿µÄÿ¸öÖµ¸³Ò»¸öËæ»úÖµ»òÕß¶¼¸³ÖµÎª0
2.¶ÔÓÚÿ¸öѵÁ·ÑùÀý£¬Ê×ÏȼÆËãÆäÔ¤²âÖµ£¬Êµ¼ÊÖµ¼õÈ¥Ô¤²âÖµÓëѧϰÂÊÏà³Ë£¬ÔÙ¸ù¾ÝÉÏ·½¹«Ê½À´µ÷ÕûÈ¨ÖØ£¬Ã»´¦ÀíÒ»¸öÑù±¾¾Íµ÷ÕûÒ»´ÎÈ¨ÖØÖµ£¬¾¹ý¶àÂÖµü´úºó£¨¼´È«²¿µÄѵÁ·Êý¾Ý±»·´¸´´¦Àí¶àÂÖ£©£¬¾Í¿ÉÒÔѵÁ·³ö¸ÐÖªÆ÷µÄÈ¨ÖØ£¬Ê¹Ö®ÊµÏÖÄ¿±êº¯Êý¡£

2.ÏßÐÔµ¥Ôªµ½ÏßÐÔÄ£ÐͺÍÌݶÈϽµ
ÉÏÎĽéÉܵĸÐÖªÆ÷Ëã·¨ËüµÄ½×Ô¾º¯ÊýÊä³öÊÇ0»ò1£¬ËûÖ»ÄÜ´¦Àí·ÖÀàÎÊÌ⣬²»ÄÜ´¦ÀíÏßÐÔ²»¿É·ÖµÄÊý¾Ý£¬Ò²¾ÍÊDz»ÄÜÔÚÏßÐÔ²»¿É·ÖµÄÊý¾ÝÉÏÊÕÁ²£¬ÎªÁ˽â¾öÕâ¸öÎÊÌ⣬ÎÒÃÇʹÓÃÒ»¸ö¿Éµ¼µÄÏßÐÔº¯ÊýÀ´Ìæ´ú¸ÐÖªÆ÷µÄ½×Ô¾º¯Êý£¬ÕâÖÖ¸ÐÖªÆ÷¾Í½Ð×öÏßÐÔµ¥Ôª¡£ÏßÐÔµ¥ÔªÔÚÃæ¶ÔÏßÐÔ²»¿É·ÖµÄÊý¾Ý¼¯Ê±£¬»áÊÕÁ²µ½Ò»¸ö×î¼ÑµÄ½üËÆÉÏ¡£
ÕâÑùʹÓÃÏßÐÔµ¥ÔªÌæ´ú¸ÐÖªÆ÷µÄ½×Ô¾º¯Êýºó£¬ÏßÐÔµ¥Ôª½«»á·µ»ØÒ»¸öʵÊýÖµ¶ø²»ÊÇ0»ò1£¬Òò´Ë˵ÏßÐÔµ¥ÔªÓÃÀ´½â¾ö»Ø¹éÎÊÌâ¶ø²»ÊÇ·ÖÀàÎÊÌâ¡£
ÏßÐÔÄ£ÐÍ
f(x)=¦Ø1x1+¦Ø2x2+...+¦Ødxd+b;(bΪƫÖõ¥Ôª)Õâ¾ÍÊÇÒ»¸öÏßÐÔÄ£ÐÍ»ù±¾µÄ±í´ïʽ£¬Ã¿¸öÊôÐÔx¶¼ÓÐÒ»¸ö×Ô¼ºµÄÈ¨ÖØw£¬ÎÒÃÇÓÃÏòÁ¿ÐÎʽ±íʾ£º
f(x)=¦ØTx+b;ÆäÖЦØ=(¦Ø1;¦Ø2;...;¦Ød),¦ØºÍbÊÇѧϰµÃµ½µÄ£¬È·¶¨ºóÄ£Ð;ÍÈ·¶¨ÁË¡£
½ÓÏÂÀ´ÎÒÃÇÒªÖªµÀÕâ¸öÄ£Ð͸ÃÔõôѵÁ·£¬Ò²¾ÍÊDzÎÊýw¶¼¸Ãȥʲôֵ£¬ÕâÀïÒýÈë¼à¶½Ñ§Ï°ºÍÎ޼ලѧϰ£¬Î޼ලѧϰÊÇÖ»ÓÐxûÓÐy£¬È«¿¿Ä£ÐÍ×ܽá³öxµÄ¹æÂÉ¡£
¶ø¼à¶½Ñ§Ï°ÊÇ˵ÎÒÃǼÈÓÐxÓÖÓÐy£¬ÎÒÃÇÏÈÌṩ´óÁ¿µÄѵÁ·Ñù±¾£¨¼ÈÓÐxÓÖÓÐy£©£¬ÎÒÃÇÓÃÕâÑùµÄÊý¾ÝȥѵÁ·Ä£ÐÍ£¬ÈÃËû´ÓÒÑÖªµÄÊý¾ÝÖÐѧϰµ½ÆäÖÐxÓëyµÄ¹ØÏµ£¬¾ÍÊÇÈ·¶¨wµÄÖµ£¬×îºóÈ·¶¨ÕûÌåÄ£ÐÍ¡£
½ÓÏÂÀ´ÎÒÃÇ¿¼ÂǼලѧϰµÄѵÁ·Ëã·¨¡ª¡ªÌݶÈϽµ¡£
µ±Ç°µÄÏßÐÔÄ£ÐÍÖÐÔÚÒÑÖªÊý¾ÝÖÐÓÉxÇóµÃy1£¬ÕâÀïµÄy1ÊÇÄ£Ð͸ø³öµÄÔ¤²âÖµ£¬ÎÒÃÇ»¹ÓÐxµÄʵ¼ÊÖµy£¬ÕâÀïyºÍy1ÎÒÃÇÏ£ÍûÔ½½Ó½üÔ½ºÃ£¬ÎÒÃÇÓÃy1ºÍyµÄ²îµÄƽ·½µÄ1/2À´±íʾËûÃǵĽӽü³Ì¶È£º








С½á
Ò»¸ö»úÆ÷ѧϰËã·¨ÍùÍùÖ»ÐèÒªÁ½²¿·Ö£º
1.Ä£ÐÍ´ÓÊäÈëÌØÕ÷xÔ¤²âÊäÈëyµÄÄǸöº¯ÊýH£¨x£©
2.Ä¿±êº¯ÊýÈ¥×îС£¨×î´ó£©ÖµÊ±Ëù¶ÔÓ¦µÄ²ÎÊýÖµ£¬¾ÍÊÇÄ£Ð͵IJÎÊýµÄ×îÓÅÖµ£¬ºÜ¶àʱºòÎÒÃÇÖ»ÄÜ»ñµÃÄ¿±êº¯ÊýµÄ¾Ö²¿×îС£¨×î´ó£©Öµ£¬Òò´ËÒ²Ö»Äܵõ½Ä£ÐͲÎÊýµÄ¾Ö²¿×îÓÅÖµ
½ÓÏÂÀ´£¬ÓÃÓÅ»¯Ë㷨ȥÇóȡĿ±êº¯ÊýµÄ×îС£¨×î´ó£©Öµ£¬ÌݶÈϽµËã·¨¾ÍÊÇÒ»¸öÓÅ»¯Ëã·¨£¬Õë¶Ôͬһ¸öÄ¿±êº¯Êý£¬²»Í¬µÄÓÅ»¯Ëã·¨»áÍÆµ¼³ö²»Í¬µÄѵÁ·¹æÔò¡£
ÔÚ»úÆ÷ѧϰÖУ¬ÍùÍùËã·¨²¢²»Êǹؼü£¬ÕæÕýµÄ¹Ø¼üÖ®´¦ÔÚÓÚÑ¡ÌØÕ÷£¬Ñ¡ÌØÕ÷ÐèÒªÎÒÃÇÈËÀà¶ÔÎÊÌâµÄÉî¿ÌÀí½â¡¢¾ÑéºÍ˼¿¼£¬¶øÉñ¾ÍøÂçËã·¨µÄÒ»¸öÓÅÊÆ£¬¾ÍÔÚÓÚËüÄܹ»×Ô¶¯Ñ§Ï°µ½Ó¦¸ÃÌáÈ¡Ê²Ã´ÌØÕ÷£¬´Ó¶øÊ¹Ëã·¨²»ÔÙÄÇôÒÀÀµÈËÀà¡£
Éñ¾ÍøÂçºÍ·´Ïò´«²¥Ëã·¨Éñ¾Ôª
Éñ¾ÔªºÍ¸ÐÖªÆ÷±¾ÖÊÉÏÊÇÒ»ÑùµÄ£¬Ö»²»¹ýÎÒÃÇ˵¸ÐÖªÆ÷µÄʱºò£¬ËüµÄ¼¤»îº¯ÊýÊǽ×Ô¾º¯Êý£»¶øµ±ÎÒÃÇ˵Éñ¾ÔªÊ±£¬¼¤»îº¯ÊýÍùÍùÑ¡ÔñΪsigmoidº¯Êý»òtanhº¯Êý¡£ÈçÏÂͼËùʾ£º



ԲȦ±íʾÉñ¾Ôª£¬+1½Úµã±íʾƫÖýڵ㣬Ҳ¾ÍÊǽؾàÏ×î×ó±ßµÄÒ»²ãÊÇÊäÈë²ã£¬×îÓÒµÄÒ»²ã½Ð×öÊä³ö²ã£¬ÖмäËùÓеĽڵã½Ð×öÒþ²Ø²ã£¬Í¬Ò»²ãµÄÉñ¾ÔªÃ»ÓÐÁ´½Ó£¬µÚN²ãµÄÿ¸öÉñ¾ÔªºÍµÚN-1²ãµÄËùÓÐÉñ¾ÔªÏàÁ¬(Õâ¾ÍÊÇfull
connectedµÄº¬Òå)£¬µÚN-1²ãÉñ¾ÔªµÄÊä³ö¾ÍÊǵÚN²ãÉñ¾ÔªµÄÊäÈ룬ÿ¸öÁ¬½Ó¶¼ÓÐÒ»¸öȨֵ¡£
ÉÏÃæÕâЩ¹æÔò¶¨ÒåÁËÈ«Á¬½ÓÉñ¾ÍøÂçµÄ½á¹¹¡£ÊÂʵÉÏ»¹´æÔںܶàÆäËü½á¹¹µÄÉñ¾ÍøÂ磬±ÈÈç¾í»ýÉñ¾ÍøÂç(CNN)¡¢Ñ»·Éñ¾ÍøÂç(RNN)£¬ËûÃǶ¼¾ßÓв»Í¬µÄÁ¬½Ó¹æÔò¡£
Éñ¾ÍøÂçµÄÊä³ö
Éñ¾ÍøÂçʵ¼ÊÉϾÍÊÇÒ»¸öÊäÈëÏòÁ¿xµ½Êä³öÏòÁ¿yµÄº¯Êý£¬¼´£º



·´Ïò´«²¥Ëã·¨
ÏÖÔÚ£¬ÎÒÃÇÐèÒªÖªµÀÒ»¸öÉñ¾ÍøÂçµÄÿ¸öÁ¬½ÓÉϵÄȨֵÊÇÈçºÎµÃµ½µÄ¡£ÎÒÃÇ¿ÉÒÔ˵Éñ¾ÍøÂçÊÇÒ»¸öÄ£ÐÍ£¬ÄÇôÕâЩȨֵ¾ÍÊÇÄ£Ð͵IJÎÊý£¬Ò²¾ÍÊÇÄ£ÐÍҪѧϰµÄ¶«Î÷¡£È»¶ø£¬Ò»¸öÉñ¾ÍøÂçµÄÁ¬½Ó·½Ê½¡¢ÍøÂçµÄ²ãÊý¡¢Ã¿²ãµÄ½ÚµãÊýÕâЩ²ÎÊý£¬Ôò²»ÊÇѧϰ³öÀ´µÄ£¬¶øÊÇÈËΪÊÂÏÈÉèÖõġ£¶ÔÓÚÕâЩÈËΪÉèÖõIJÎÊý£¬ÎÒÃdzÆÖ®Îª³¬²ÎÊý(Hyper-Parameters)¡£
°´ÕÕ»úÆ÷ѧϰµÄͨÓÃÌ×·£¬ÎÒÃÇÏÈÈ·¶¨Éñ¾ÍøÂçµÄÄ¿±êº¯Êý£¬È»ºóÓÃËæ»úÌݶÈϽµÓÅ»¯Ë㷨ȥÇóÄ¿±êº¯Êý×îСֵʱµÄ²ÎÊýÖµ¡£
ÎÒÃÇÈ¡ÍøÂçËùÓÐÊä³ö²ã½ÚµãµÄÎó²îƽ·½ºÍ×÷ΪĿ±êº¯Êý£º





ÖÁ´Ë£¬ÎÒÃÇÒÑ¾ÍÆµ¼³öÁË·´Ïò´«²¥Ëã·¨¡£ÐèҪעÒâµÄÊÇ£¬ÎÒÃǸոÕÍÆµ¼³öµÄѵÁ·¹æÔòÊǸù¾Ý¼¤»îº¯ÊýÊÇsigmoidº¯Êý¡¢Æ½·½ºÍÎó²î¡¢È«Á¬½ÓÍøÂç¡¢Ëæ»úÌݶÈϽµÓÅ»¯Ëã·¨¡£Èç¹û¼¤»îº¯Êý²»Í¬¡¢Îó²î¼ÆË㷽ʽ²»Í¬¡¢ÍøÂçÁ¬½Ó½á¹¹²»Í¬¡¢ÓÅ»¯Ëã·¨²»Í¬£¬Ôò¾ßÌåµÄѵÁ·¹æÔòÒ²»á²»Ò»Ñù¡£µ«ÊÇÎÞÂÛÔõÑù£¬ÑµÁ·¹æÔòµÄÍÆµ¼·½Ê½¶¼ÊÇÒ»ÑùµÄ£¬Ó¦ÓÃÁ´Ê½Çóµ¼·¨Ôò½øÐÐÍÆµ¼¼´¿É¡£
Ñ»·Éñ¾ÍøÂç
ÏÂͼÊÇÒ»¸ö¼òµ¥µÄÑ»·Éñ¾ÍøÂçÈ磬ËüÓÉÊäÈë²ã¡¢Ò»¸öÒþ²Ø²ãºÍÒ»¸öÊä³ö²ã×é³É£º

Ñ»·Éñ¾ÍøÂçµÄÒþ²Ø²ãµÄÖµs²»½ö½öÈ¡¾öÓÚµ±Ç°Õâ´ÎµÄÊäÈëx£¬»¹È¡¾öÓÚÉÏÒ»´ÎÒþ²Ø²ãµÄÖµs¡£È¨ÖؾØÕó W¾ÍÊÇÒþ²Ø²ãÉÏÒ»´ÎµÄÖµ×÷ΪÕâÒ»´ÎµÄÊäÈëµÄÈ¨ÖØ¡£
Èç¹ûÎÒÃǰÑÉÏÃæµÄͼչ¿ª£¬Ñ»·Éñ¾ÍøÂçÒ²¿ÉÒÔ»³ÉÏÂÃæÕâ¸öÑù×Ó£º


»·Éñ¾ÍøÂçµÄÒþ²Ø²ã²»½öÈ¡¾öÓÚµ±Ç°µÄÊäÈëx£¬»¹È¡¾öÓÚÉÏÒ»¸öʱ¿ÌÒþ²Ø²ãµÄÊä³ö£¬Õâ¸ö´¦ÀíÄ¿µÄÊÇΪÁ˽â¾öʱ¼äÐòÁÐÎÊÌ⣬±ÈÈç·Ö´Ê¡¢´ÊÐÔ±ê×¢ÕâЩÓïÑÔÄ£ÐÍ£¬Ò»¾ä»°²»½öÈ¡¾öÓÚµ±Ç°µÄÊäÈ룬»¹ÓëǰºóµÄÊý¾ÝÓйØÏµ£¬µ«Ñ»·Éñ¾ÍøÂçÖ»Óëǰһ¿ÌµÄÊäÈ뽨Á¢ÁËÁªÏµ£¬ÏÂÒ»¿ÌµÄÊý¾ÝûÓн¨Á¢ÁªÏµ£¬ËùÒÔÎÒÃÇ»¹ÐèҪ˫ÏòµÄÑ»·Éñ¾ÍøÂ磬³ä·Ö¿¼ÂÇÐòÁеÄǰºóʱ¿Ì£¬
Ë«ÏòÑ»·Éñ¾ÍøÂç


Ñ»·Éñ¾ÍøÂçµÄѵÁ·ÊǺܸ´Ôӵ쬵«ËüµÄ»ù´¡»¹ÊÇ·´Ïò´«²¥£¬ÒòΪÎÒ²»×ö¼¼Êõ¿ª·¢£¬ËùÒÔÕâÆªÎÄÕ²»Éæ¼°Ë«ÏòÑ»·Éñ¾ÍøÂçµÄѵÁ·Ëã·¨¡£
LSTM
Ë«ÏòµÄÑ»·Éñ¾ÍøÂçѵÁ·µÄ¾ßÌå¼¼Êõ²»Éæ¼°£¬ËüµÄȱµãÊǺÜÄÑ´¦Àí³¤¾àÀëµÄÒÀÀµ£¬Òþ²Ø²ãÌ«Éîºó£¬ÍøÂç¾Í»áËðʧ³¤¾àÀëµÄÐÅÏ¢£¬ÑµÁ·¹ý³ÌÖÐÈÝÒ׳öÏÖÌݶÈÏûʧºÍÌݶȱ¬Õ¨ÎÊÌ⣬ËùÒÔÒýÈëÁËLSTM¡£
³¤¶Ìʱ¼ÇÒäÍøÂçµÄ˼·±È½Ï¼òµ¥¡£ÔʼRNNµÄÒþ²Ø²ãÖ»ÓÐÒ»¸ö״̬£¬¼´h£¬Ëü¶ÔÓÚ¶ÌÆÚµÄÊäÈë·Ç³£Ãô¸Ð¡£ÄÇô£¬¼ÙÈçÎÒÃÇÔÙÔö¼ÓÒ»¸ö״̬£¬¼´c£¬ÈÃËüÀ´±£´æ³¤ÆÚµÄ״̬£¬ÄÇôÎÊÌâ²»¾Í½â¾öÁËô£¿ÈçÏÂͼËùʾ£º

ÉÏͼ½ö½öÊÇÒ»¸öʾÒâͼ£¬ÎÒÃÇ¿ÉÒÔ¿´³ö£¬ÔÚtʱ¿Ì£¬LSTMµÄÊäÈëÓÐÈý¸ö£ºµ±Ç°Ê±¿ÌÍøÂçµÄÊäÈëÖµx¡¢ÉÏһʱ¿ÌLSTMµÄÊä³öÖµH¡¢ÒÔ¼°ÉÏһʱ¿ÌµÄµ¥Ôª×´Ì¬£»LSTMµÄÊä³öÓÐÁ½¸ö£ºµ±Ç°Ê±¿ÌLSTMÊä³öÖµh¡¢ºÍµ±Ç°Ê±¿ÌµÄµ¥Ôª×´Ì¬c¡£
LSTMµÄ¹Ø¼ü£¬¾ÍÊÇÔõÑù¿ØÖƳ¤ÆÚ״̬c¡£ÔÚÕâÀLSTMµÄ˼·ÊÇʹÓÃÈý¸ö¿ØÖÆ¿ª¹Ø¡£µÚÒ»¸ö¿ª¹Ø£¬¸ºÔð¿ØÖƼÌÐø±£´æ³¤ÆÚ״̬c£»µÚ¶þ¸ö¿ª¹Ø£¬¸ºÔð¿ØÖưѼ´Ê±×´Ì¬ÊäÈëµ½³¤ÆÚ״̬c£»µÚÈý¸ö¿ª¹Ø£¬¸ºÔð¿ØÖÆÊÇ·ñ°Ñ³¤ÆÚ״̬c×÷Ϊµ±Ç°µÄLSTMµÄÊä³ö¡£Èý¸ö¿ª¹ØµÄ×÷ÓÃÈçÏÂͼËùʾ£º








ÒÔÉϾÍÊÇLSTMµÄǰÏò¼ÆËã¡£
·´Ïò´«²¥Í¬Ñù²»»áÉæ¼°¡£
|