ÖÇÄÜÈË»ú½»»¥ÁìÓòµÄ½éÉÜ
ÐÐÒµ·ÖÀ༰ĿǰµÄÓ¦ÓÃ×´¿ö
ÔÚÈ«ÇòÈ˹¤ÖÇÄÜÁìÓò²»¶Ï·¢Õ¹µÄ½ñÌ죬°üÀ¨Google¡¢Facebook¡¢Microsoft¡¢Amazon¡¢AppleµÈ»¥ÁªÍø¹«Ë¾Ïà¼ÌÍÆ³öÁË×Ô¼ºµÄÖÇÄÜ˽ÈËÖúÀíºÍ»úÆ÷ÈËÆ½Ì¨¡£ÖÇÄÜÈË»ú½»»¥Í¨¹ýÄâÈË»¯µÄ½»»¥ÌåÑéÖð²½ÔÚÖÇÄܿͷþ¡¢ÈÎÎñÖúÀí¡¢ÖÇÄܼҾӡ¢ÖÇÄÜÓ²¼þ¡¢»¥¶¯ÁÄÌìµÈÁìÓò·¢»Ó¾Þ´óµÄ×÷ÓúͼÛÖµ¡£Òò´Ë£¬¸÷´ó¹«Ë¾¶¼½«ÖÇÄÜÁÄÌì»úÆ÷ÈË×÷ΪδÀ´Èë¿Ú¼¶±ðµÄÓ¦ÓöԴý¡£½ñÌìËæ×ÅÊг¡µÄ½øÒ»²½·¢Õ¹£¬ÁÄÌì»úÆ÷È˰´ÕÕ²úÆ·ºÍ·þÎñµÄÀàÐÍÖ÷Òª¿É·ÖΪ£º¿Í·þ¡¢ÓéÀÖ¡¢ÖúÀí¡¢½ÌÓý¡¢·þÎñµÈÀàÐÍ¡£
ͼ1½ØÈ¡Á˲¿·ÖÁÄÌì»úÆ÷ÈË¡£

ͼ1 Chatbot»ã×Ü
°¢ÀïСÃÛÔÚµçÉÌÁìÓòµÄ×´¿ö
2015Äê7Ô£¬°¢ÀïÍÆ³öÁË×Ô¼ºµÄÖÇÄÜ˽ÈËÖúÀí¡ª¡ª°¢ÀïСÃÛ£¬Ò»¸öÎ§ÈÆ×ŵç×ÓÉÌÎñÁìÓòÖеķþÎñ¡¢µ¼¹ºÒÔ¼°ÈÎÎñÖúÀíΪºËÐĵÄÖÇÄÜÈË»ú½»»¥²úÆ·¡£Í¨¹ýµç×ÓÉÌÎñÁìÓòÓëÖÇÄÜÈË»ú½»»¥ÁìÓòµÄ½áºÏ£¬´øÀ´´«Í³·þÎñÐÐҵģʽµÄ±ä»¯ÓëÌåÑéµÄÌáÉý¡£ÔÚÈ¥ÄêµÄ˫ʮһÆÚ¼ä£¬°¢ÀïСÃÛÕûÌåÖÇÄÜ·þÎñÁ¿´ïµ½643Íò£¬ÆäÖÐÖÇÄܽâ¾öÂÊ´ïµ½95%£¬ÖÇÄÜ·þÎñÔÚÕû¸ö·þÎñÁ¿£¨×Ü·þÎñÁ¿=ÖÇÄÜ·þÎñÁ¿+ÔÚÏßÈ˹¤·þÎñÁ¿+µç»°·þÎñÁ¿£©Õ¼±ÈÒ²´ïµ½95%£¬³ÉΪÁË˫ʮһÆÚ¼ä·þÎñµÄ¾ø¶ÔÖ÷Á¦¡£
µçÉÌÁìÓòϰ¢ÀïСÃ۵ļ¼Êõʵ¼ù
¼¼Êõoverview
ÖÇÄÜÈË»ú½»»¥ÏµÍ³£¬Ë׳ƣºChatbotϵͳ»òÕßbotϵͳ£¬Í¼2ÊÇÈË»ú½»»¥µÄÁ÷³Ìͼ¡£

ͼ2 ÈË»ú½»»¥µÄÁ÷³Ì
ºËÐÄÊÇNLU£¨×ÔÈ»ÓïÑÔÀí½â£©£¬Í¨¹ý¶Ô»°ÏµÍ³´¦Àí£¬×îºóͨ¹ý×ÔÈ»ÓïÑÔÉú³ÉµÄ·½Ê½¸ø³ö´ð°¸¡£Ò»¶ÎÓïÑÔÈçºÎÀí½â¶ÔÓÚ¼ÆËã»úÀ´ËµÊǷdz£ÓÐÄѶȵģ¬ÀýÈ磺¡°Æ»¹û¡±Õâ¸ö´Ê¾Í¾ß±¸ÖÁÉÙÁ½¸öº¬Ò壬һ¸öÊÇË®¹ûÊôÐԵġ°Æ»¹û¡±£¬»¹ÓÐÒ»¸öÊÇÖªÃû»¥ÁªÍø¹«Ë¾ÊôÐԵġ°Æ»¹û¡±¡£
ÒâͼÓëÆ¥Åä·Ö²ãµÄ¼¼Êõ¼Ü¹¹Ìåϵ
ÔÚ°¢ÀïСÃÛÕâÑùµÄµç×ÓÉÌÎñÁìÓò³¡¾°ÖУ¬¶Ô½ÓµÄÓпͷþ¡¢ÖúÀí¡¢ÁÄÌ켸´óÀà»úÆ÷ÈË¡£ÕâЩ»úÆ÷ÈË£¬ÓÉÓÚ±¾ÉíµÄÄ¿±ê²»Í¬£¬¾Íµ¼Ö²»ÄÜÓÃͬһÌ×¼¼Êõ¿ò¼ÜÀ´½â¾ö¡£Òò´Ë£¬ÏȲÉÓ÷ÖÁìÓò·Ö²ã·Ö³¡¾°µÄ·½Ê½½øÐмܹ¹³éÏó£¬È»ºóÔÙ¸ù¾Ý²»Í¬µÄ·Ö²ãºÍ·Ö³¡¾°²ÉÓò»Í¬µÄ»úÆ÷ѧϰ·½·¨½øÐм¼ÊõÉè¼Æ¡£Ê×ÏÈÎÒÃǽ«¶Ô»°ÏµÍ³´Ó·Ö³ÉÁ½²ã£º
1.Òâͼʶ±ð²ã£ºÊ¶±ðÓïÑÔµÄÕæÊµÒâͼ£¬½«Òâͼ½øÐзÖÀಢ½øÐÐÒâͼÊôÐÔ³éÈ¡¡£Òâͼ¾ö¶¨Á˺óÐøµÄÁìÓòʶ±ðÁ÷³Ì£¬Òò´ËÒâͼ²ãÊÇÒ»¸ö½áºÏÉÏÏÂÎÄÊý¾ÝÄ£ÐÍÓëÁìÓòÊý¾ÝÄ£ÐͲ»¶Ï¶ÔÒâͼ½øÐÐÃ÷È·ºÍÍÆÀíµÄ¹ý³Ì£»
2.ÎÊ´ðÆ¥Åä²ã£º¶ÔÎÊÌâ½øÐÐÆ¥Åäʶ±ð¼°Éú³É´ð°¸µÄ¹ý³Ì¡£ÔÚ°¢ÀïСÃ۵ĶԻ°ÌåϵÖÐÎÒÃǰ´ÕÕÒµÎñ³¡¾°½øÐÐÁËÈýÖÖµäÐÍÎÊÌâÀàÐ͵Ļ®·Ö£¬²¢ÇÒÒÀ¾ÝÈýÖÖÀàÐÍ£¬²ÉÓò»Í¬µÄÆ¥ÅäÁ÷³ÌºÍ·½·¨£º
1.ÎÊ´ðÐÍ£ºÀýÈç¡°ÃÜÂëÍü¼ÇÔõô°ì£¿¡±¡ú ²ÉÓûùÓÚ֪ʶͼÆ×¹¹½¨+¼ìË÷Ä£ÐÍÆ¥Å䷽ʽ£»
2.ÈÎÎñÐÍ£ºÀýÈç¡°ÎÒÏë¶©Ò»ÕÅÃ÷Ìì´Óº¼Öݵ½±±¾©µÄ»úƱ¡±¡ú Òâͼ¾ö²ß+slots
fillingµÄÆ¥ÅäÒÔ¼°»ùÓÚÉî¶ÈÇ¿»¯Ñ§Ï°µÄ·½Ê½£»
3.ÓïÁÄÐÍ£ºÀýÈç¡°ÎÒÐÄÇé²»ºÃ¡±¡ú ¼ìË÷Ä£ÐÍÓëDeep LearningÏà½áºÏµÄ·½Ê½¡£
ͼ3±íʾÁ˰¢ÀïСÃÛµÄÒâͼºÍÆ¥Åä·Ö²ãµÄ¼¼Êõ¼Ü¹¹¡£

ͼ3 °¢ÀïСÃÛµÄÒâͼºÍÆ¥Åä·Ö²ãµÄ¼¼Êõ¼Ü¹¹
Òâͼʶ±ð½éÉÜ£º½áºÏÓû§ÐÐΪDeep LearningÄ£Ð͵Äʵ¼ù
ͨ³£½«Òâͼʶ±ð³éÏó³É»úÆ÷ѧϰÖеķÖÀàÎÊÌ⣬ÔÚ°¢ÀïСÃ۵ļ¼Êõ·½°¸ÖгýÁË´«Í³µÄÎı¾ÌØÕ÷Ö®Í⣬¿¼Âǵ½±¾ÉíÔÚ¶Ô»°ÁìÓòÖдæÔÚÓïÒåÒâͼ²»ÍêÕûµÄÇé¿ö£¬ÎÒÃÇÒ²¼ÓÈëÁËÓÃʵʱ¡¢ÀëÏßÓû§±¾ÉíµÄÐÐΪ¼°Óû§±¾ÉíÏà¹ØµÄÌØÕ÷£¬Í¨¹ýÉî¶Èѧϰ·½°¸¹¹½¨Ä£ÐÍ£¬¶ÔÓû§Òâͼ½øÐÐÔ¤²â,
¾ßÌåÈçͼ4¡£

ͼ4 ½áºÏÓû§ÐÐΪµÄÉî¶ÈѧϰÒâͼ·ÖÀà
ÔÚ»ùÓÚÉî¶ÈѧϰµÄ·ÖÀàÔ¤²âÄ£ÐÍÉÏ£¬ÎÒÃÇÓÐÁ½ÖÖ¾ßÌåµÄÑ¡ÐÍ·½°¸£ºÒ»ÖÖÊǶà·ÖÀàÄ£ÐÍ£¬Ò»ÖÖÊǶþ·ÖÀàÄ£ÐÍ¡£¶à·ÖÀàÄ£Ð͵ÄÓŵãÊÇÐÔÄܿ죬µ«ÊǶÔÓÚÐèÒªÀ©Õ¹·ÖÀàÁìÓòÊÇÕû¸öÄ£ÐÍÐèÒªÖØÐÂѵÁ·£»¶ø¶þ·ÖÀàÄ£Ð͵ÄÓŵã¾ÍÊÇÀ©Õ¹ÁìÓò³¡¾°Ê±ÔÀ´µÄÄ£ÐͶ¼¿ÉÒÔ¸´Ó㬿ÉÒÔÆ½Ì¨½øÐÐÀ©Õ¹£¬È±µãÒ²ºÜÃ÷ÏÔÐèÒª²»¶Ï½øÐжþ·Ö£¬ÕûÌåÐÔÄÜÉϲ»Èç¶à·ÖÀàºÃ£¬Òò´ËÔÚ¾ßÌåµÄ³¡¾°ºÍÊý¾ÝÁ¿ÉÏ¿ÉÒÔ×ö²»Í¬µÄÑ¡ÐÍ¡£
СÃÛÓÃDL×öÒâͼ·ÖÀàµÄÕûÌå¼¼Êõ˼·Êǽ«ÐÐΪÒò×ÓÓëÎı¾ÌØÕ÷·Ö±ð½øÐÐEmbedding´¦Àí£¬Í¨¹ýÏòÁ¿µþ¼ÓÖ®ºóÔÙ½øÐжà·ÖÀà»òÕß¶þ·ÖÀà´¦Àí¡£ÕâÀïµÄÎı¾ÌØÕ÷ά¶È¿ÉÒÔÑ¡Ôñͨ¹ý´«Í³µÄbag
of wordsµÄ·½·¨£¬Ò²¿ÉʹÓÃDeep LearningµÄ·½·¨½øÐÐÏòÁ¿»¯£¬¾ßÌåÈçͼ5¡£

ͼ5 ½áºÏÓû§ÐÐΪµÄÉî¶ÈѧϰÒâͼ·ÖÀàµÄÍøÂç½á¹¹
Æ¥ÅäÄ£ÐÍoverview£º½éÉÜÐÐÒµÈý´óÆ¥ÅäÄ£ÐÍ
ĿǰÖ÷Á÷µÄÖÇÄÜÆ¥Åä¼¼Êõ·ÖΪÈçÏÂÈýÖÖ·½·¨£º
1.»ùÓÚÄ£°åÆ¥Å䣨Rule-Based£©
2.»ùÓÚ¼ìË÷Ä£ÐÍ£¨Retrieval Model£©
3.»ùÓÚÉî¶ÈѧϰģÐÍ£¨Deep Learning£©
ÔÚ°¢ÀïСÃ۵ļ¼Êõ³¡¾°Ï£¬ÎÒÃDzÉÓÃÁË»ùÓÚÄ£°åÆ¥Å䣬¼ìË÷Ä£ÐÍÒÔ¼°Éî¶ÈѧϰģÐÍΪ»ù´¡µÄ·½·¨ÔÐÍÀ´½øÐзֳ¡¾°£¨ÎÊ´ðÐÍ¡¢ÈÎÎñÐÍ¡¢ÓïÁÄÐÍ£©µÄ»á»°ÏµÍ³¹¹½¨¡£
°¢ÀïСÃÛµÄÈý´óÁìÓò³¡¾°µÄ¼¼Êõʵ¼ù
ÖÇÄܵ¼¹º£º»ùÓÚÔöǿѧϰµÄÖÇÄܵ¼¹º
ÖÇÄܵ¼¹ºÖ÷Ҫͨ¹ýÖ§³ÖºÍÓû§µÄ¶àÂÖ½»»¥£¬²»¶ÏµÄÀí½âºÍÃ÷È·Óû§µÄÒâͼ¡£²¢ÔÚ´Ë»ù´¡ÉÏÀûÓÃÉî¶ÈÇ¿»¯Ñ§Ï°²»¶ÏµØÓÅ»¯µ¼¹ºµÄ½»»¥¹ý³Ì¡£Í¼6չʾÁËÖÇÄܵ¼¹ºµÄ¼¼Êõ¼Ü¹¹Í¼¡£

ͼ6 ÖÇÄܵ¼¹ºµÄ¼Ü¹¹Í¼
ÕâÀïÁ½¸öºËÐĵÄÎÊÌ⣺
ÔÚ¶àÂÖ½»»¥ÖÐÀí½âÓû§µÄÒâͼ¡£
¸ù¾ÝÓû§µÄÒâͼ½á¹û£¬ÓÅ»¯ÅÅÐòµÄ½á¹ûºÍ½»»¥µÄ¹ý³Ì¡£
ÏÂÃæÖ÷Òª½éÉܵ¼¹ºÒâͼÀí½â¡¢ÒÔ¼°Éî¶ÈÔöǿѧϰµÄ½»»¥²ßÂÔÓÅ»¯¡£
1.ÖÇÄܵ¼¹ºµÄÒâͼÀí½âºÍÒâͼ¹ÜÀí
ÖÇÄܵ¼¹ºÏµÄÒâͼÀí½âÖ÷ÒªÊÇʶ±ðÓû§ÏëÒª¹ºÂòµÄÉÌÆ·ÒÔ¼°ÉÌÆ·¶ÔÓ¦µÄÊôÐÔ£¬Ïà¶ÔÓÚ´«Í³µÄÒâͼÀí½â£¬Ò²´øÀ´ÁËËĸöеÄÌôÕ½£º
µÚÒ»£ºÓû§Æ«ÏòÓڶ̾äµÄ±í´ï¡£Òò´Ë£¬Ê¶±ðÓû§µÄÒâͼ£¬Òª½áºÏÓû§µÄ¶àÂֻỰºÍÒâͼµÄ±ß½ç¡£
µÚ¶þ£ºÔÚ¶àÂÖ½»»¥ÖÐÓû§»á²»¶ÏÌí¼Ó»òÐÞ¸ÄÒâͼµÄ×ÓÒâͼ£¬ÐèҪά»¤Ò»·Ýµ±Ç°Ê¶±ðµÄÒâͼ¼¯ºÏ¡£
µÚÈý£ºÉÌÆ·Òâͼ֮¼ä´æÔÚ×Å»¥³â£¬ÏàËÆ£¬ÉÏÏÂλµÈ¹ØÏµ¡£²»Í¬µÄ¹ØÏµ¶ÔÓ¦µÄÒâͼ¹ÜÀíÒ²²»Í¬¡£
µÚËÄ£ºÊôÐÔÒâͼ´æÔÚ׏éÀàºÍ»¥³âµÄÎÊÌâ¡£
Õë¶Ô¶ÌÓï±í´ï£¬ÎÒÃÇͨ¹ýÆ·Àà¹ÜÀíºÍÊôÐÔ¹ÜÀíά»¤ÁËÒ»¸öÒâͼ¶Ñ£¬´Ó¶ø½ÏºÃµØ½â¾öÁ˶ÌÓï±íʾ£¬Òâͼ±ß½çºÍ¾ßÌåµÄÒâͼÇл»ºÍÐÞ¸ÄÂß¼¡£Í¬Ê±£¬Õë¶Ô½Ï´óµÄÉÌÆ·¿âÎÊÌ⣬ÎÒÃDzÉÓÃ֪ʶͼÆ×½áºÏÓïÒåË÷ÒýµÄ·½Ê½£¬Ê¹µÃÉÌÆ·µÄʶ±ð±äµÃ·Ç³£¸ßЧ¡£ÏÂÃæÎÒÃÇ·Ö±ð½éÉÜÆ·Àà¹ÜÀíºÍÊôÐÔ¹ÜÀí¡£
2.»ùÓÚ֪ʶͼÆ×ºÍÓïÒåË÷ÒýµÄÆ·Àà¹ÜÀí
ÖÇÄܵ¼¹º³¡¾°ÏÂµÄÆ·Àà¹ÜÀí·ÖΪƷÀàʶ±ð£¬ÒÔ¼°Æ·ÀàµÄ¹ØÏµ¼ÆË㣬ͼ7ÊÇÆ·Àà¹ØÏµµÄ¼Ü¹¹Í¼¡£

ͼ7 Æ·Àà¹ÜÀí¼Ü¹¹Í¼
3.Æ·Ààʶ±ð
²ÉÓÃÁË»ùÓÚ֪ʶͼÆ×µÄʶ±ð·½°¸ºÍ»ùÓÚÓïÒåË÷Òý¼°dssmµÄÅбðÄ£ÐÍ¡£
1.»ùÓÚÉÌÆ·ÖªÊ¶Í¼Æ×µÄʶ±ð·½°¸£º»ùÓÚ֪ʶͼÆ×¸´ÔӵĽṹ»¯ÄÜÁ¦£¬×öÉÌÆ·µÄÀàĿʶ±ð£¬ÊÇÉÌÆ·Ê¶±ðµÄ»ù´¡¡£
2.»ùÓÚÓïÒåË÷Òý¼°dssmÉÌÆ·Ê¶±ðÄ£Ð͵ķ½°¸£ºÖªÊ¶Í¼Æ×µÄʶ±ð·½°¸µÄÓÅÊÆÊÇÔÚÓÚ׼ȷÂʸߣ¬µ«ÊDz»Äܸ²¸ÇËùÓеÄcase¡£Òò´Ë£¬ÎÒÃÇÌá³öÁËÒ»ÖÖ»ùÓÚÓïÒåË÷ÒýºÍdssm½áºÏµÄÉÌÆ·Ê¶±ð·½°¸¶µµ×¡£

ͼ8 »ùÓÚÓïÒåË÷ÒýºÍdssmµÄÉÌÆ·Ê¶±ð·½°¸
4.ÓïÒåË÷ÒýµÄ¹¹Ôì
ͨ³£ÓïÒåË÷ÒýµÄ¹¹ÔìÓлùÓÚ±¾ÌåµÄ·½Ê½£¬»ùÓÚLSIµÄ·½Ê½¡£ÎÒÃÇÓÃÁËÒ»ÖÖ½áºÏËÑË÷µã»÷Êý¾ÝºÍ´ÊÏòÁ¿µÄ·½Ê½¹¹ÔìµÄÓïÒåË÷Òý¡£Ö÷Òª°üÀ¨ÏÂÃæ¼¸²½£º
µÚÒ»²½£ºÀûÓÃËÑË÷µã»÷ÐÐΪ£¬ÌáÈ¡·Ö´Êµ½ÀàÄ¿µÄºòÑ¡£»
µÚ¶þ²½£º»ùÓÚ´ÊÏòÁ¿£¬¼ÆËã·Ö´ÊºÍºòÑ¡ÀàÄ¿µÄÏàËÆÐÔ£¬¶ÔË÷ÒýÖØÅÅÐò¡£
5.»ùÓÚdssmµÄÉÌÆ·Ê¶±ð
dssmÊÇ΢ÈíÌá³öµÄÒ»ÖÖÓÃÓÚqueryºÍdocÆ¥ÅäµÄÓмලµÄÉî¶ÈÓïÒ寥ÅäÍøÂ磬Äܹ»½ÏºÃµØ½â¾ö´Ê»ãºè¹µµÄÎÊÌ⣬²¶×½¾ä×ÓµÄÄÚÔÚÓïÒå¡£±¾ÎÄÒÔdssm×÷Ϊ»ù´¡£¬¹¹½¨ÁËqueryºÍºòÑ¡ÀàÄ¿µÄÏàËÆ¶È¼ÆËãÄ£ÐÍ¡£È¡µÃÁ˽ϺõÄЧ¹û£¬Ä£Ð͵ÄaccÔÚ²âÊÔ¼¯ÉÏÓÐ92%×óÓÒ¡£

ͼ9 dssmÄ£Ð͵ÄÍøÂç½á¹¹Í¼
Ñù±¾µÄ¹¹Ô죺ѵÁ·µÄÕýÑù±¾ÊÇͨ¹ýËÑË÷ÈÕÖ¾ÖеÄËÑË÷queryºÍµã»÷ÀàÄ¿¹¹ÔìµÄ¡£¸ºÑù±¾ÔòÊÇͨ¹ýÀûÓÃqueryºÍµã»÷µÄÀàÄ¿×÷ΪÖÖ×Ó£¬¼ìË÷³öÀ´Ò»Ð©ÏàËÆµÄÀàÄ¿£¬½«²»ÔÚÕýÑù±¾ÖеÄÀàÄ¿×÷Ϊ¸ºÑù±¾£¬Õý¸ºÑù±¾µÄ±ÈÀý1:1¡£
6.Æ·Àà¹ØÏµ¼ÆËã
Æ·Àà¹ØÏµµÄ¼ÆËãÖ÷ÒªÓÃÓÚÖÇÄܵ¼¹ºµÄÒâͼ¹ÜÀíÖУ¬ÕâÀïÖ÷Òª¿¼Âǵļ¸ÖÖ¹ØÏµÊÇÉÏÏÂλ¹ØÏµºÍÏàËÆ¹ØÏµ¡£¾Ù¸öÀý×Ó£¬Óû§µÄµÚÒ»¸öÒâͼÊÇÒªÂòÒ·þ£¬µ±ºóÃæµÄÒâͼ˵ҪÂòË®±µÄʱºò£¬Ö®Ç°Ò·þËù´øÓеÄÊôÐԾͲ»Ó¦¸Ã±»¼Ì³Ð¸øË®±¡£Ïà·´£¬Èç¹ûÕâ¸öʱºòÓû§ËµµÄÊÇÒª¿ã×Ó£¬ÓÉÓÚ¿ã×ÓÊÇÒ·þµÄÏÂλ´Ê£¬Ôò֮ǰÔÚÒ·þÉϵÄÊôÐÔ¾ÍÓ¦¸Ã±»¼Ì³ÐÏÂÀ´¡£
ÉÏÏÂλ¹ØÏµµÄ¼ÆËãÁ½ÖÖ·½°¸£º
²ÉÓûùÓÚ֪ʶͼÆ×µÄ¹ØÏµÔËËã¡£
ͨ¹ýÓû§µÄËÑË÷queryµÄÌáÈ¡¡£
ÏàËÆÐÔ¼ÆËãµÄÁ½ÖÖ·½°¸£º
1.»ùÓÚÏàͬµÄÉÏλ´Ê¡£±È·½ËµÐ¡Ã×£¬»ªÎªµÄÉÏλ´Ê¶¼ÊÇÊÖ»ú£¬ÔòËûÃÇÏàËÆ¡£
2.»ùÓÚfast-textµÄÆ·Àà´ÊµÄembeddingµÄÓïÒåÏàËÆ¶È¡£
7.»ùÓÚ֪ʶͼÆ×ºÍÏàËÆ¶È¼ÆËãµÄÊôÐÔ¹ÜÀí

ͼ10 ÊôÐÔ¹ÜÀí¼Ü¹¹Í¼
ÕûÌåÉÏÊôÐÔ¹ÜÀí°üÀ¨ÊôÐÔʶ±ðºÍÊôÐÔ¹ØÏµ¼ÆËãÁ½¸öºËÐÄÄ£¿é£¬Ë¼Â·ºÍÆ·Àà¹ÜÀí½ÏΪÏàËÆ¡£ÕâÀï¾Í²»ÔÙÏêϸ½éÉÜÁË¡£
Éî¶ÈÇ¿»¯Ñ§Ï°µÄ̽Ë÷¼°³¢ÊÔ
Ç¿»¯Ñ§Ï°ÊÇagent´Ó»·¾³µ½ÐÐΪµÄÓ³Éäѧϰ£¬Ä¿±êÊǽ±ÀøÐźţ¨Ç¿»¯Ðźţ©º¯ÊýÖµ×î´ó£¬ÓÉ»·¾³Ìṩǿ»¯ÐÅºÅÆÀ¼Û²úÉú¶¯×÷µÄºÃ»µ¡£agentͨ¹ý²»¶ÏµÄ̽Ë÷ÍⲿµÄ»·¾³£¬À´µÃµ½Ò»¸ö×îÓŵľö²ß²ßÂÔ£¬ÊʺÏÓÚÐòÁоö²ßÎÊÌ⡣ͼ11ÊÇÒ»¸öÇ¿»¯Ñ§Ï°µÄModelºÍ»·¾³½»»¥µÄչʾ¡£

ͼ11 ENV-ModelµÄ½»»¥Í¼
Éî¶ÈÇ¿»¯Ñ§Ï°ÊǽáºÏÁËÉî¶ÈѧϰµÄÇ¿»¯Ñ§Ï°£¬Ö÷ÒªÀûÓÃÉî¶Èѧϰǿ´óµÄ·ÇÏßÐÔ±í´ïÄÜÁ¦£¬À´±íʾagentÃæ¶ÔµÄstateºÍstateÉϾö²ßÂß¼¡£
ĿǰÎÒÃÇÓÃDRLÖ÷ÒªÀ´ÓÅ»¯ÎÒÃǵĽ»»¥²ßÂÔ¡£Òò´Ë£¬ÎÒÃǵÄÉ趨ÊÇ£¬Óû§ÊÇÇ¿»¯Ñ§Ï°ÖеÄENV£¬¶ø»úÆ÷ÊÇModel¡£actionÊDZ¾ÂÖÊÇ·ñ³öÖ÷¶¯·´ÎʵĽ»»¥£¬»¹ÊÇÖ±½Ó³öËÑË÷½á¹û¡£
1.״̬£¨state£©µÄÉè¼Æ£º
ÕâÀï״̬µÄÉè¼ÆÖ÷Òª¿¼ÂÇ£¬Óû§µÄ¶àÂÖÒâͼ¡¢Óû§µÄÈËȺ»®·Ö¡¢ÒÔ¼°Ã¿Ò»ÂÖ½»»¥µÄ²úÆ·µÄÐÅÏ¢×÷Ϊµ±Ç°µÄ»úÆ÷¸ÐÖªµ½µÄ״̬¡£
state = ( intent1, query1, price1, is_click, query_item_sim,
¡, power, user_inter, age)
ÆäÖÐintent1±íÃ÷µÄÊÇÓû§µ±Ç°µÄÒâͼ£¬query1±íʾµÄÓû§µÄÔʼquery¡£price1±íʾµ±Ç°Õ¹ÏÖ¸øÓû§µÄÉÌÆ·µÄ¾ù¼Û£¬is_click±íʾ±¾ÂÖ½»»¥ÊÇ·ñ·¢Éúµã»÷£¬query_item_sim±íʾqueryºÍitemµÄÏàËÆ¶È¡£power±íʾÊÇÓû§µÄ¹ºÂòÁ¦£¬user_inter±íʾÓû§µÄÐËȤ£¬age
±íʾÓû§µÄÄêÁä¡£
2.rewardµÄÉè¼Æ£º
ÓÉÓÚ×îÖÕºâÁ¿µÄÊÇÓû§µÄ³É½»ºÍµã»÷ÂʺͶԻ°µÄÂÖÊý¡£Òò´ËrewardµÄÉè¼ÆÖ÷Òª°üÀ¨ÏÂÃæÈý¸ö·½Ã棺
1.Óû§µÄµã»÷µÄrewardÉèÖóÉ1
2.³É½»ÉèÖóÉ[ 1 + math.log(price + 1.0) ]
3.ÆäÓàµÄÉèÖóÉ0.1
3.DRLµÄ·½°¸µÄÑ¡ÐÍ£º
ÕâÀï¾ßÌåµÄ·½°¸£¬Ö÷Òª²ÉÓÃÁËDQN£¬policy-gradientºÍA3CµÄÈýÖÖ·½°¸¡£
ÖÇÄÜ·þÎñ£º»ùÓÚ֪ʶͼÆ×¹¹½¨Óë¼ìË÷Ä£Ð͵ļ¼Êõʵ¼ù
ÖÇÄÜ·þÎñµÄÌØµã£ºÓÐÁìÓò֪ʶµÄ¸ÅÄÇÒ֪ʶ֮¼äµÄ¹ØÁªÐԸߣ¬²¢ÇÒ¶Ô¾«×¼¶ÈÒªÇó±È½Ï¸ß¡£
»ùÓÚÎÊ´ðÐͳ¡¾°µÄÌØµã£¬ÎÒÃÇÔÚ¼¼ÊõÑ¡ÐÍÉϲÉÓÃÁË֪ʶͼÆ×¹¹½¨+¼ìË÷Ä£ÐÍÏà½áºÏµÄ·½Ê½À´½øÐкËÐÄÆ¥ÅäÄ£Ð͵ÄÉè¼Æ¡£
֪ʶͼÆ×µÄ¹¹½¨´ÓÁ½¸ö½Ç¶ÈÀ´½øÐгéÏó£¬Ò»¸öÊÇʵÌåά¶ÈµÄÍÚ¾ò£¬Ò»¸öÊǶ̾äά¶È½øÐÐÍÚ¾ò£¬Í¨¹ýÔÚÌÔ±¦Æ½Ì¨ÉÏ»ýÀ۵ĴóÁ¿Êý¾ÝÒÔ¼°»¥ÁªÍøÊý¾Ý£¬ÒÔÖ÷ÌâÄ£Ð͵ķ½Ê½½øÐÐÍÚ¾ò¡¢±ê×¢ÓëÇåÏ´£¬ÔÙͨ¹ýÔ¤É趨ºÃµÄ¹ØÏµ½øÐÐʵÌåÖ®¼ä¹ØÏµµÄ¶¨Òå×îÖÕÐγÉ֪ʶͼÆ×¡£»ù±¾µÄÍÚ¾ò¿ò¼ÜÁ÷³ÌÈçͼ12¡£ÍÚ¾ò¹¹½¨µÄ֪ʶͼÆ×ʾÀýÈçͼ13¡£

ͼ12 ֪ʶͼÆ×µÄʵÌåºÍ¶ÌÓïÍÚ¾òÁ÷³Ì

ͼ13 ¾ßÌåµÄ֪ʶͼÆ×µÄʾÀý
»ùÓÚ֪ʶͼÆ×µÄÆ¥Åäģʽ¾ß±¸ÒÔÏÂÁ½¸öÓŵ㣺
1.ÔÚ¶Ô»°½á¹¹ºÍÁ÷³ÌµÄÉè¼ÆÖÐÖ§³ÖʵÌå¼äµÄÉÏÏÂÎĻỰʶ±ðÓëÍÆÀí£»
2.ͨ³£ÔÚÒ»°ãÐÍÎÊ´ðµÄ׼ȷÂÊÏà¶Ô±È½Ï¸ß£¨µ±È»£¬¾ß±¸ÍÆÀíÐͳ¡¾°µÄÐèÒªÌØÊâµÄÉè¼Æ£¬»áÓÐЩ¸´ÔÓ£©¡£
ͬÑùÒ²ÓÐÃ÷ÏÔµÄȱµã£º
1.Ä£Ð͹¹½¨³õÆÚ¿ÉÄÜ»á´æÔÚÊý¾ÝËÉÉ¢ºÍ¸²¸ÇÂÊÎÊÌ⣬µ¼ÖÂÆ¥ÅäµÄ¸²¸ÇÂÊȱʧ£»
2.¶ÔÓÚ֪ʶͼÆ×ÔöÁ¿Î¬»¤Ïà±È´«Í³µÄQA Pair¶Ô֪ʶά»¤Éϵijɱ¾»á¸ü´óһЩ£»
Òò´ËÍŶÓÔÚ°¢ÀïСÃÛµÄÎÊ´ðÐÍÉè¼ÆÖУ¬»¹ÊÇÈÚÈëÁË´«Í³µÄ»ùÓÚ¼ìË÷Ä£Ð͵ĶԻ°Æ¥Åä¡£
ÆäÔÚÏß»ù±¾Á÷³Ì·ÖΪ£º
1.ÌáÎÊÔ¤´¦Àí£º·Ö´Ê¡¢Ö¸´úÏû½â¡¢¾À´íµÈ»ù±¾Îı¾´¦ÀíÁ÷³Ì£»
2.¼ÆË㣺ͨ¹ýQuery½áºÏÉÏÏÂÎÄÄ£ÐÍÓëºòÑ¡Êý¾Ý½øÐмÆË㣬ÎÒÃDzÉÓÃÎı¾Ö®¼äµÄ¾àÀë¼ÆË㷽ʽ£¨ÓàÏÒÏàËÆ¶È¡¢±à¼¾àÀ룩ÒÔ¼°·ÖÀàÄ£ÐÍÏà½áºÏµÄ·½Ê½½øÐмÆË㣻
3.×îÖÕ¸ù¾Ý·µ»ØµÄºòÑ¡¼¯´ò·ÖãÐÖµ½øÐÐ×îÖյIJúÆ·Á÷³ÌÉè¼Æ¡£
ÀëÏßÁ÷³Ì·ÖΪ£º
1.֪ʶÊý¾ÝµÄË÷Òý»¯£»
2.ÀëÏßÎı¾Ä£Ð͵Ĺ¹½¨£ºÀýÈçTerm-Weight¼ÆËãµÈ¡£
¼ìË÷Ä£ÐÍÕûÌåÁ÷³ÌÈçͼ14¡£

ͼ14 ¼ìË÷Ä£Ð͵ÄÁ÷³Ìͼ
ÖÇÄÜÁÄÌ죺»ùÓÚ¼ìË÷Ä£ÐͺÍÉî¶ÈѧϰģÐÍÏà½áºÏµÄÁÄÌìÓ¦ÓÃ
ÖÇÄÜÁÄÌìµÄÌØµã£º·ÇÃæÏòÄ¿±ê£¬ÓïÒåÒâͼ²»Ã÷È·£¬Í¨³£ÆÚ´ýµÄÊÇÓïÒåÏà¹ØÐԺͽ¥½øÐÔ£¬¶Ô׼ȷÂÊÒªÇóÏà¶Ô½ÏµÍ¡£
ÃæÏòopen domainµÄÁÄÌì»úÆ÷ÈËĿǰÎÞÂÛÔÚѧÊõ½ç»¹ÊÇÔÚ¹¤Òµ½ç¶¼ÊÇÒ»´óÄÑÌ⣬ͨ³£ÔÚĿǰÕâ¸ö½×¶ÎÓÐÁ½ÖÖ·½Ê½À´×ö¶Ô»°Éè¼Æ£º
Ò»ÖÖÊÇѧÊõ½ç·Ç³£»ð±¬µÄDeep LearningÉú³ÉÄ£ÐÍ·½Ê½£¬Í¨¹ýEncoder-DecoderÄ£ÐÍͨ¹ýLSTMµÄ·½Ê½½øÐÐSequence
to SequenceÉú³É£¬Èçͼ15¡£

ͼ15 Seq2SeqÍøÂç½á¹¹Í¼
1.Generation Model£¨Éú³ÉÄ£ÐÍ£©£º
Óŵ㣺ͨ¹ýÉî²ãÓïÒ巽ʽ½øÐдð°¸Éú³É£¬´ð°¸²»ÊÜÓïÁÏ¿â¹æÄ£ÏÞÖÆ£»
ȱµã£ºÄ£Ð͵ĿɽâÊÍÐÔ²»Ç¿£¬ÇÒÄÑÒÔ±£Ö¤Ò»ÖÂÐԺͺÏÀíÐԻشð¡£
ÁíÍâÒ»ÖÖ·½Ê½ÊÇͨ¹ý´«Í³µÄ¼ìË÷Ä£Ð͵ķ½Ê½À´¹¹½¨ÓïÁĵÄÎÊ´ðÆ¥Åä¡£
2.Retrieval Model£¨¼ìË÷Ä£ÐÍ£©£º
Óŵ㣺´ð°¸ÔÚÔ¤ÉèµÄÓïÁÏ¿âÖУ¬¿É¿Ø£¬Æ¥ÅäÄ£ÐÍÏà¶Ô¼òµ¥£¬¿É½âÊÍÐÔÇ¿£»
ȱµã£ºÔÚÒ»¶¨³Ì¶ÈÉÏȱ·¦Ò»Ð©ÓïÒåÐÔ£¬ÇÒÓй̶¨ÓïÁÏ¿âµÄ¾ÖÏÞÐÔ¡£
Òò´ËÔÚ°¢ÀïСÃÛµÄÁÄÌìÒýÇæÖУ¬½áºÏÁ½Õ߸÷×ÔµÄÓÅÊÆ£¬½«Á½¸öÄ£ÐͽøÐÐÁËÈÚºÏÐγÉÁ˰¢ÀïСÃÛÁÄÌìÒýÇæµÄºËÐÄ¡£ÏÈͨ¹ý´«Í³µÄ¼ìË÷Ä£ÐͼìË÷³öºòÑ¡¼¯Êý¾Ý£¬È»ºóͨ¹ýSeq2Seq
Model¶ÔºòÑ¡¼¯½øÐÐRerank£¬ÖØÅÅÐòºó³¬¹ýÖÆ¶¨µÄãÐÖµ¾Í½øÐÐÊä³ö£¬²»µ½ãÐÖµ¾Íͨ¹ýSeq2Seq
Model½øÐдð°¸Éú³É£¬ÕûÌåÁ÷³ÌÈçͼ16¡£

ͼ16 СÃÛµÄÏÐÁÄÄ£¿é
δÀ´¼¼ÊõµÄ·¢Õ¹ÓëÕ¹Íû
ĿǰµÄÈ˹¤ÖÇÄÜÁìÓòÈÔÈ»´¦ÔÚÈõÈ˹¤ÖÇÄܽ׶Σ¬ÌرðÊÇ´Ó¸ÐÖªµ½ÈÏÖªÁìÓòÐèÒªÌáÉýµÄ¿Õ¼ä»¹·Ç³£´ó¡£ÖÇÄÜÈË»ú½»»¥ÔÚÃæÏòÄ¿±êµÄÁìÓòÒѾ¿ÉÒÔÓëʵ¼Ê¹¤Òµ³¡¾°½ôÃܽáºÏ²¢²úÉú¾Þ´ó¼ÛÖµ£¬Ëæ×ÅÈ˹¤ÖÇÄܼ¼ÊõµÄ²»¶Ï·¢Õ¹£¬Î´À´ÖÇÄÜÈË»ú½»»¥ÁìÓòµÄ·¢Õ¹»¹½«»áÓв»¶ÏµÄÌáÉý£¬¶ÔÓÚδÀ´¼¼ÊõµÄ·¢Õ¹ÎÒÃÇÖµµÃÆÚ´ýºÍÕ¹Íû¡£
1.Êý¾ÝµÄ²»¶Ï»ýÀÛ£¬ÒÔ¼°ÁìÓò֪ʶͼÆ×µÄ²»¶ÏÍêÉÆÓë¹¹½¨½«²»¶ÏÖúÍÆÖÇÄÜÈË»ú½»»¥µÄ²»¶ÏÌáÉý¡£
2.ÃæÏòÈÎÎñµÄ´¹Ö±Ï¸·ÖÁìÓò£¬»úÆ÷È˵Ĺ¹½¨½«ÊÇÖ®ºó»úÆ÷È˲»¶Ï±¬·¢µÄÔö³¤µã£¬open
domainµÄ»¥¶¯»úÆ÷ÈËÔÚδÀ´Ò»¶Îʱ¼ä»¹ÐèÒª²»¶ÏÌáÉýÓëÃþË÷¡£
3.Ëæ×Å·Ö²¼Ê½¼ÆËãÄÜÁ¦µÄ²»¶ÏÌáÉý£¬Éî¶ÈѧϰÔÚϯ¾íÁËͼÏñ¡¢ÓïÒôµÈÁìÓòºó£¬ÔÚNLP£¨×ÔÈ»ÓïÑÔ´¦Àí£©ÁìÓò½«»á¼ÌÐø·¢Õ¹£¬ÔÚ¶Ô»°¡¢QAÁìÓòµÄѧÊõÑо¿½«»á³ÖÐø»îÔ¾¡£ |