±à¼ÍƼö: |
±¾ÎÄÖ÷ÒªÌÖÂÛ·ÖÀàÎÊÌ⣬Ҳ¾ÍÊÇ˵ÄãÏëÔ¤²âµÄ±äÁ¿ y ÊÇÒ»¸öÀëÉ¢µÄÖµ¡£ÎÒÃÇ»áʹÓÃÂß¼»Ø¹éËã·¨À´½â¾ö·ÖÀàÎÊÌâ¡£
±¾ÎÄÀ´×ÔÓÚ²©¿ÍÔ°£¬ÓÉ»ðÁú¹ûÈí¼þAlice±à¼¡¢ÍƼö¡£
|
|
1. Classification
֮ǰµÄÎÄÕÂÖУ¬ÎÒÃÇÌÖÂÛµÄÀ¬»øÓʼþ·ÖÀàʵ¼ÊÉϾÍÊÇÒ»¸ö·ÖÀàÎÊÌâ¡£ÀàËÆµÄÀý×Ó»¹Óкܶ࣬ÀýÈçÒ»¸öÔÚÏß½»Ò×ÍøÕ¾ÅжÏÒ»´Î½»Ò×ÊÇ·ñ´øÓÐÆÛÕ©ÐÔ£¨ÓÐЩÈË¿ÉÒÔʹÓÃ͵À´µÄÐÅÓÿ¨£¬Äã¶®µÄ£©¡£ÔÙÈ磬֮ǰÅжÏÒ»¸öÖ×ÁöÊÇÁ¼ÐԵϹÊǶñÐԵģ¬Ò²ÊÇÒ»¸ö·ÖÀàÎÊÌâ¡£
ÔÚÒÔÉϵÄÕâЩÀý×ÓÖУ¬ÎÒÃÇÏëÔ¤²âµÄÊÇÒ»¸ö¶þÖµµÄ±äÁ¿£¬»òÕßΪ0£¬»òÕßΪ1£»»òÕßÊÇÒ»·âÀ¬»øÓʼþ£¬»òÕß²»ÊÇ£»»òÕßÊÇ´øÓÐÆÛÕ©ÐԵĽ»Ò×£¬»òÕß²»ÊÇ£»»òÕßÊÇÒ»¸ö¶ñÐÔÖ×Áö£¬»òÕß²»ÊÇ¡£
ÎÒÃÇ¿ÉÒÔ½«Òò±äÁ¿£¨dependant variable£©¿ÉÄÜÊôÓÚµÄÁ½¸öÀà·Ö±ð³ÆÎª¸ºÏòÀࣨnegative
class£©ºÍÕýÏòÀࣨpositive class£©¡£¿ÉÒÔʹÓÃ0À´´ú±í¸ºÏòÀ࣬1À´´ú±íÕýÏòÀà¡£
ÏÖÔÚ£¬ÎÒÃǵķÖÀàÎÊÌâ½ö½ö¾ÖÏÞÔÚÁ½ÀàÉÏ£º0»òÕß1¡£Ö®ºóÎÒÃÇ»áÌÖÂÛ¶à·ÖÀàÎÊÌ⣬Ҳ¾ÍÊÇ˵£¬±äÁ¿ y ¿ÉÒÔÈ¡¶à¸öÖµ£¬ÀýÈç0£¬1£¬2£¬3¡£
ÄÇô£¬ÎÒÃÇÈçºÎÀ´½â¾öÒ»¸ö·ÖÀàÎÊÌâÄØ£¿À´¿´ÒÔÏÂÀý×Ó£º

ÏÖÔÚÓÐÕâÑùÒ»¸ö·ÖÀàÈÎÎñ£¬ÐèÒª¸ù¾ÝÖ×Áö´óСÀ´ÅжÏÖ×ÁöµÄÁ¼ÐÔÓë·ñ¡£ÑµÁ·¼¯ÈçÉÏͼËùʾ£¬ºáÖá´ú±íÖ×Áö´óС£¬×ÝÖá±íʾÖ×ÁöµÄÁ¼ÐÔÓë·ñ£¬×¢Ò⣬×ÝÖáÖ»ÓÐÁ½¸öȡֵ£¬1£¨´ú±í¶ñÐÔÖ×Áö£©ºÍ0£¨´ú±íÁ¼ÐÔÖ×Áö£©¡£
ͨ¹ý֮ǰµÄ²©ÎÄ£¬ÎÒÃÇÒѾ֪µÀ¶ÔÓÚÒÔÉÏÊý¾Ý¼¯Ê¹ÓÃÏßÐԻعéÀ´´¦Àí£¬Êµ¼ÊÉϾÍÊÇÓÃÒ»ÌõÖ±ÏßÈ¥ÄâºÏÕâЩÊý¾Ý¡£Òò´Ë£¬ÄãµÃµ½µÄ
Hypothesis ¿ÉÄÜÈçÏ£º

ÄÇô£¬Èç¹ûÄãÏë×ö³öÔ¤²â£¬Ò»ÖÖ¿ÉÐеķ½Ê½ÊÇÈçÏ£º

´ÓÒÔÉÏÕâ¸öÀý×ÓÀ´¿´£¬ËƺõÏßÐԻعéÒ²ÄܺܺõĽâ¾ö·ÖÀàÎÊÌâ¡£ÏÖÔÚ£¬ÎÒÃǶÔÒÔÉÏÎÊÌâÉÔ×÷һЩ¸Ä¶¯¡£
½«ºáÖáÏòÓÒÀ©Õ¹£¬²¢ÇÒÔö¼ÓÒ»¸öѵÁ·Ñù±¾£¬ÈçÏ£º

´Ëʱ£¬ÎÒÃÇʹÓÃÏßÐԻع飬»áµÃµ½Ò»ÌõеÄÖ±Ïߣº

´Ëʱ£¬ÎÒÃÇÔÙÓÃ0.5×÷ΪãÐÖµÀ´Ô¤²âÖ×ÁöµÄÁ¼ÐÔÓë·ñ£¬¾Í²»ºÏÊÊÁË¡£
2. Hypothesis Representation


3. Decision boundary



Ç¿µ÷һϣ¬¾ö²ß±ß½ç²»ÊÇѵÁ·¼¯µÄÊôÐÔ£¬¶øÊǼÙÉè±¾Éí¼°Æä²ÎÊýµÄÊôÐÔ¡£Ö»ÒªÎÒÃǸø¶¨Á˲ÎÊýÏòÁ¿¦È£¬¾ö²ß±ß½ç¾ÍÈ·¶¨ÁË¡£ÎÒÃDz»ÊÇÓÃѵÁ·¼¯À´¶¨ÒåµÄ¾ö²ß±ß½ç£¬ÎÒÃÇÓÃѵÁ·¼¯À´ÄâºÏ²ÎÊý¦È£¬ÒÔºóÎÒÃǽ«Ì¸ÂÛÈçºÎ×öµ½ÕâÒ»µã¡£µ«ÊÇ£¬Ò»µ©ÄãÓвÎÊý¦ÈËü¾ÍÈ·¶¨Á˾ö²ß±ß½ç¡£
4. Cost function
ÏÖÔÚÎÒÃÇÀ´ÌÖÂÛÈçºÎÄâºÏÂß¼»Ø¹éÖÐÄ£Ð͵IJÎÊý¦È¡£
¾ßÌåÀ´Ëµ£¬ÎÒÃÇÐèÒª¶¨Òåoptimization objective »òÕß cost function
À´ÄâºÏ²ÎÊý¦È£¬Õâ±ãÊǼලѧϰÎÊÌâÖеÄÂß¼»Ø¹éÄ£Ð͵ÄÄâºÏÎÊÌâ¡£

ÈçÉÏͼËùʾ£¬ÎÒÃÇÓÐÒ»¸öѵÁ·¼¯£¬ÀïÃæÓÐm¸öѵÁ·Ñù±¾£¬Í¬Ö®Ç°Ò»Ñù£¬ÎÒÃǵÄÿ¸öÑù±¾Ê¹ÓÃn+1άµÄÌØÕ÷ÏòÁ¿±íʾ£¨x0
= 1£©¡£²¢ÇÒÓÉÓÚÊÇ·ÖÀàÎÊÌ⣬ÎÒÃÇѵÁ·¼¯ÖеÄËùÓÐy£¬È¡Öµ²»ÊÇ0¾ÍÊÇ1¡£¼ÙÉ躯ÊýµÄ²ÎÊý¼´Îª¦È¡£ÄÇô£¬¶ÔÓÚÕâ¸ö¸ø¶¨µÄѵÁ·¼¯£¬ÎÒÃÇÈçºÎÄâºÏ²ÎÊý¦È£¨»òÕß˵ÊÇÑ¡Ôñ²ÎÊý¦È£©£¿
֮ǰ£¬ÎÒÃÇʹÓÃÏßÐԻعéÄ£ÐÍÀ´ÄâºÏ¼Ù˵²ÎÊý¦Èʱ£¬Ê¹ÓÃÁËÈçϵĴú¼Ûº¯Êý£¬ÎÒÃÇÉÔ×÷¸Ä±ä£¬½«ÔÏȵÄ1/2mÖеÄÔÏȵÄ1/2·Åµ½ÁËÇóºÍ·ûºÅÀïÃæÈ¥ÁË¡£

ÏÖÔÚÎÒÃÇʹÓÃÁíÒ»ÖÖ·½Ê½£¬À´Êéд´ú¼Ûº¯Êý£º

ÏÖÔÚ£¬ÎÒÃÇÄܸüÇå³þµÄ¿´µ½´ú¼Ûº¯ÊýÊÇÕâ¸öCostº¯Êý£¨´ú¼ÛÏÔÚѵÁ·¼¯·¶Î§ÉϵÄÇóºÍ£¬ÔÙÇó¾ùÖµ£¨³ËÒÔ1/m£©¡£
ÎÒÃÇÉÔ΢¼ò»¯Ò»ÏÂÕâ¸öʽ×Ó£¬È¥µôÕâЩÉϱê»áÏԵ÷½±ãһЩ£¬ËùÒÔCostº¯ÊýÖ±½Ó¶¨ÒåΪ£º

¶ÔÕâ¸ö´ú¼ÛÏCostº¯Êý£©µÄÀí½âÊÇÕâÑùµÄ£ºyÎÒËùÆÚÍûµÄÖµ£¬Í¨¹ýѧϰËã·¨Èç¹ûÏëÒª´ïµ½Õâ¸öÖµ£¬ÄÇô¼ÙÉèh(x)ËùÐèÒª¸¶³öµÄ´ú¼Û¼´ÎªÕâ¸ö´ú¼ÛÏî¡£Õâ¸öÏ£ÍûµÄÔ¤²âÖµÊÇh(x)£¬¶øÊµ¼ÊÖµÔòÊÇy£¬¸É´à£¬È«²¿È¥µôÄÇЩÉϱêºÃÁË¡£
ÏÔÈ»£¬ÔÚÏßÐԻعéÖУ¬´ú¼ÛÏCostº¯Êý£©»á±»¶¨ÒåΪ£º1/2³ËÒÔÔ¤²âÖµhºÍʵ¼ÊÖµ¹Û²âµÄ½á¹ûyµÄ²îµÄƽ·½¡£Õâ¸ö´ú¼ÛÖµ¿ÉÒԺܺõØÓÃÔÚÏßÐԻعéÀµ«ÊǶÔÓÚÂß¼»Ø¹éÈ´ÊDz»ºÏÊʵġ£
Èç¹ûÎÒÃÇ¿ÉÒÔ×îС»¯´ú¼Ûº¯ÊýJ(¦È)ÖеĴú¼ÛÏCostº¯Êý£©£¬ÄÇôÎÒÃǵÄÈ·¿ÉÒÔʹÓøôú¼ÛÏî¡£µ«Êµ¼ÊÉÏ£¬Èç¹ûÎÒÃÇʹÓøôú¼ÛÏÄÇô´ú¼Ûº¯ÊýJ(¦È)»á±ä³É¹ØÓÚ²ÎÊý¦ÈµÄ·Ç͹º¯Êý¡£Why£¿
¶ÔÓÚÂß¼»Ø¹éÀ´Ëµ£¬ÕâÀïµÄhº¯ÊýÊÇ·ÇÏßÐԵģº

¿ÉÒÔ˵£º 
ÊÇÒ»¸öºÜ¸´ÔӵķÇÏßÐÔº¯Êý£¬Òò´ËÈç¹ûÓÃhº¯ÊýÀ´¹¹ÔìÎÒÃÇÔÚÏßÐԻعéÖÐËùʹÓõĴú¼ÛÏCostº¯Êý£©£¬½Ó×ÅÔÙÓøôú¼ÛÏîÀ´¹¹Ôì´ú¼Ûº¯ÊýJ(¦È)¡£
ÄÇôJ(¦È)¿ÉÄÜÊÇÒ»¸öÕâÑùµÄº¯Êý£¬Óкܶà¾Ö²¿×îÓÅÖµ£º

ʵ¼ÊÉÏ£¬Õâ¾ÍÊÇÒ»¸ö·Ç͹º¯Êý¡£
²»ÄÑ·¢ÏÖ£¬Èç¹ûÄã°ÑÌݶÈϽµ·¨ÓÃÔÚÒ»¸öÕâÑùµÄº¯ÊýÉϵϰ£¬ÎÒÃDz¢²»Äܱ£Ö¤Ëü»áÊÕÁ²µ½È«¾Ö×îСֵ¡£
ÏÔÈ»£¬ÎÒÃÇÏ£ÍûÎÒÃǵĴú¼Ûº¯ÊýJ(¦È)ÊÇÒ»¸ö͹º¯Êý£¬Ò²¾ÍÊÇÒ»¸öµ¥¹Ðκ¯Êý£¬ÈçÏÂͼËùʾ£º

Èç¹û¶ÔËüʹÓÃÌݶÈϽµ·¨£¬ÄÇôÎÒÃÇ¿ÉÒÔ±£Ö¤ÌݶÈϽµ·¨»áÊÕÁ²µ½¸Ãº¯ÊýµÄÈ«¾Ö×îСֵ¡£
Òò´ËÎÒÃÇÔÚÂß¼»Ø¹éÖÐʹÓÃÕâ¸ö´ú¼ÛÏCostº¯Êý£©µÄÎÊÌâÔÚÓÚ·ÇÏßÐÔµÄsigmoidº¯ÊýµÄ³öÏÖµ¼ÖÂJ(¦È)³ÉΪһ¸ö·Ç͹º¯Êý¡£
ÎÒÃÇÐèÒª×öµÄÊÇ£¬ÁíÍâÕÒÒ»¸ö±¾ÉíÊÇ͹º¯ÊýµÄ´ú¼ÛÏCostº¯Êý£©£¬¿ÉÒÔÈÃÎÒÃÇʹÓÃÀàËÆÓÚÌݶÈϽµµÄËã·¨À´ÕÒµ½Ò»¸öÈ«¾Ö×îСֵ¡£ÒÔϾÍÊÇÒ»¸öÎÒÃǽ«ÒªÔÚÂß¼»Ø¹éÖÐʹÓõĴú¼ÛÏCostº¯Êý£©£º


5. Simplified cost function and gradient descent





×¢Ò⣬´Ëʱ¦ÈÊDZäÁ¿¡£ÎÒÃǵÄÄ¿±ê¾ÍÊÇÕÒ³öʹJ(¦È)×îСµÄ¦ÈÖµ¡£ |