½ÓÏÂÀ´ÎÒ»á¸ú´ó¼Ò·ÖÏíÒ»ÏÂ58´óÊý¾Ýƽ̨ÔÚ×î½üÒ»Äê°ëµÄʱ¼äÄÚ¼¼ÊõÑݽøµÄ¹ý³Ì¡£Ö÷ÒªÄÚÈÝ·ÖΪÈý·½Ã棺58´óÊý¾Ýƽ̨ĿǰµÄÕûÌå¼Ü¹¹ÊÇÔõôÑùµÄ£»×î½üÒ»Äê°ëµÄʱ¼äÄÚÎÒÃÇÃæÁÙµÄÎÊÌâ¡¢ÌôÕ½ÒÔ¼°¼¼ÊõÑݽø¹ý³Ì£»ÒÔ¼°Î´À´µÄ¹æ»®¡£

Ê×ÏÈ¿´Ò»ÏÂ58´óÊý¾Ýƽ̨¼Ü¹¹¡£´óµÄ·½ÃæÀ´Ëµ·ÖΪÈý²ã£ºÊý¾Ý»ù´¡Æ½Ì¨²ã¡¢Êý¾ÝÓ¦ÓÃÆ½Ì¨²ã¡¢Êý¾ÝÓ¦Óò㣬»¹ÓÐÁ½ÁÐ¼à¿ØÓ뱨¾¯ºÍƽ̨¹ÜÀí¡£
Êý¾Ý»ù´¡Æ½Ì¨²ãÓÖ·ÖΪËĸö×Ӳ㣺
1.½ÓÈë²ã£¬°üÀ¨ÁËCanal/Sqoop£¨Ö÷Òª½â¾öÊý¾Ý¿âÊý¾Ý½ÓÈëÎÊÌ⣩¡¢»¹ÓдóÁ¿µÄÊý¾Ý²ÉÓÃFlume½â¾ö·½°¸£»
2.´æ´¢²ã£¬µäÐ͵ÄϵͳHDFS£¨Îļþ´æ´¢£©¡¢HBase£¨KV´æ´¢£©¡¢Kafka£¨ÏûÏ¢»º´æ£©£»
3.ÔÙÍùÉϾÍÊǵ÷¶È²ã£¬Õâ¸ö²ã´ÎÉÏÎÒÃDzÉÓÃÁËYarnµÄͳһµ÷¶ÈÒÔ¼°KubernetesµÄ»ùÓÚÈÝÆ÷µÄ¹ÜÀíºÍµ÷¶ÈµÄ¼¼Êõ£»
4.ÔÙÍùÉÏÊǼÆËã²ã£¬°üº¬Á˵äÐ͵ÄËùÓмÆËãÄ£Ð͵ļÆËãÒýÇæ£¬°üº¬ÁËMR¡¢HIVE¡¢Storm¡¢Spark¡¢KylinÒÔ¼°Éî¶Èѧϰƽ̨±ÈÈçCaffe¡¢TensorflowµÈµÈ¡£
Êý¾ÝÓ¦ÓÃÆ½Ì¨Ö÷Òª°üÀ¨ÒÔϹ¦ÄÜ£º
1.ÔªÐÅÏ¢¹ÜÀí£¬»¹ÓÐÕë¶ÔËùÓмÆËãÒýÇæ¡¢¼ÆËãÒýÇæjobµÄ×÷Òµ¹ÜÀí£¬Ö®ºó¾ÍÊǽ»»¥·ÖÎö¡¢¶àά·ÖÎöÒÔ¼°Êý¾Ý¿ÉÊÓ»¯µÄ¹¦ÄÜ¡£
2.ÔÙÍùÉÏÊÇÖ§³Å58¼¯ÍŵÄÊý¾ÝÒµÎñ£¬±ÈÈç˵Á÷Á¿Í³¼Æ¡¢Óû§ÐÐΪ·ÖÎö¡¢Óû§»Ïñ¡¢ËÑË÷¡¢¹ã¸æµÈµÈ¡£
3.Õë¶ÔÒµÎñ¡¢Êý¾Ý¡¢·þÎñ¡¢Ó²¼þÒªÓÐÍ걸µÄ¼ì²âÓ뱨¾¯Ìåϵ¡£
4.ƽ̨¹ÜÀí·½Ãæ£¬ÐèÒª¶ÔÁ÷³Ì¡¢È¨ÏÞ¡¢Åä¶î¡¢Éý¼¶¡¢°æ±¾¡¢»úÆ÷ÒªÓкÜÈ«ÃæµÄ¹ÜÀíÆ½Ì¨¡£
Õâ¸ö¾ÍÊÇĿǰ58´óÊý¾Ýƽ̨µÄÕûÌå¼Ü¹¹Í¼¡£

Õâ¸öͼչʾµÄÊǼܹ¹Í¼ÖÐËù°üº¬µÄϵͳÊý¾ÝÁ÷¶¯µÄÇé¿ö¡£·ÖΪÁ½¸ö²¿·Ö£º
Ê×ÏÈÊÇʵʱÁ÷£¬¾ÍÊÇ»ÆÉ«¼ýÍ·±êʶµÄÕâ¸ö·¾¶¡£Êý¾Ýʵʱ²É¼¯¹ýÀ´Ö®ºóÊ×ÏÈ»á½øÈëµ½Kafkaƽ̨£¬ÏÈ×ö»º´æ¡£ÊµÊ±¼ÆËãÒýÇæ±ÈÈçSpark
streaming»òstorm»áʵʱµÄ´ÓKafkaÖÐÈ¡³öËüÃÇÏëÒª¼ÆËãµÄÊý¾Ý¡£¾¹ýʵʱµÄ´¦ÀíÖ®ºó½á¹û¿ÉÄÜ»áд»Øµ½Kafka»òÕßÊÇÐγÉ×îÖÕµÄÊý¾Ý´æµ½MySQL»òÕßHBase£¬Ìṩ¸øÒµÎñϵͳ£¬ÕâÊÇÒ»¸öʵʱ·¾¶¡£
¶ÔÓÚÀëÏß·¾¶£¬Í¨¹ý½ÓÈë²ãµÄ²É¼¯ºÍÊÕ¼¯£¬Êý¾Ý×îºó»áÂäµ½HDFSÉÏ£¬È»ºó¾¹ýSpark¡¢MRÅúÁ¿¼ÆËãÒýÇæ´¦ÀíÉõÖÁÊÇ»úÆ÷ѧϰÒýÇæµÄ´¦Àí¡£ÆäÖд󲿷ֵÄÊý¾ÝÒª½øÈ¥Êý¾Ý²Ö¿âÖУ¬ÔÚÊý¾Ý²Ö¿âÕⲿ·ÖÊÇÒª¾¹ýÊý¾Ý³éÈ¡¡¢ÇåÏ´¡¢¹ýÂË¡¢Ó³Éä¡¢ºÏ²¢»ã×Ü£¬×îºó¾ÛºÏ½¨Ä£µÈµÈ¼¸²¿·ÖµÄ´¦Àí£¬ÐγÉÊý¾Ý²Ö¿âµÄÊý¾Ý¡£È»ºóͨ¹ýHIVE¡¢Kylin¡¢SparkSQLÕâÖÖ½Ó¿Ú½«Êý¾ÝÌṩ¸ø¸÷¸öÒµÎñϵͳ»òÕßÎÒÃÇÄÚ²¿µÄÊý¾Ý²úÆ·£¬ÓÐÒ»²¿·Ö»¹»áÁ÷ÏòMySQL¡£ÒÔÉÏÊÇÊý¾ÝÔÚ´óÊý¾Ýƽ̨ÉϵÄÁ÷¶¯Çé¿ö¡£
ÔÚÊý¾ÝÁ÷Ö®Í⻹ÓÐÒ»Ì×¹ÜÀíÆ½Ì¨¡£°üÀ¨ÔªÐÅÏ¢¹ÜÀí£¨ÔÆ´°£©¡¢×÷Òµ¹ÜÀíÆ½Ì¨£¨58dp£©¡¢È¨ÏÞÉóÅúºÍÁ÷³Ì×Ô¶¯»¯¹ÜÀíÆ½Ì¨£¨NightFury£©¡£

ÎÒÃǵĹæÄ£¿ÉÄܲ»Ëã´ó£¬¸úBAT±ÈÆðÀ´ÓÐЩС£¬µ«ÊÇÒ²¹ýÁËһǧ̨£¬Ä¿Ç°ÓÐ1200̨µÄ»úÆ÷¡£ÎÒÃǵÄÊý¾Ý¹æÄ£Ä¿Ç°ÓÐ27PB£¬Ã¿ÌìÔöÁ¿ÓÐ50TB¡£×÷Òµ¹æÄ£Ã¿Ìì´ó¸ÅÓÐ80000¸öjob£¬ºËÐÄjob£¨²úÉú¹«Ë¾ºËÐÄÖ¸±êµÄjob£©ÓÐ20000¸ö£¬Ã¿Ìì80000¸öjobÒª´¦ÀíÊý¾ÝÁ¿ÊÇ2.5PB¡£
¼¼Êõƽ̨¼¼ÊõÑݽøÓëʵÏÖ
½ÓÏÂÀ´ÎÒ»áÖØµã½éÉÜÒ»ÏÂÔÚ×î½üÒ»Äê°ëʱ¼äÄÚÎÒÃÇ´óÊý¾Ýƽ̨µÄ¼¼ÊõÑݽø¹ý³Ì£¬¹²·ÖËĸö²¿·Ö£ºÎȶ¨ÐÔ¡¢Æ½Ì¨ÖÎÀí¡¢ÐÔÄÜÒÔ¼°Òì¹¹¼ÆËã¡£µÚÒ»¸ö²¿·Ö¹ØÓÚÎȶ¨ÐԵĸĽø£¬Îȶ¨ÐÔÊÇ×î»ù´¡µÄ¹¤×÷£¬ÎÒÃÇ×öÁ˱Ƚ϶àµÄ¹¤×÷¡£µÚ¶þ¸ö²¿·ÖÊÇÔÚÆ½Ì¨ÖÎÀí·½ÃæµÄÄÚÈÝ¡£µÚÈý¸ö·½ÃæÎÒÃÇÕë¶ÔÐÔÄÜÒ²×öÁËһЩÓÅ»¯¡£µÚËĸö·½Ã棬ÎÒÃÇÕë¶ÔÒì¹¹»·¾³£¬±ÈÈç˵»úÆ÷µÄÒì¹¹¡¢×÷ÒµµÄÒì¹¹£¬ÔÚÕâÖÖ»·¾³ÏÂÔõôºÏÀíµØÊ¹ÓÃ×ÊÔ´¡£
Îȶ¨ÐԸĽø
Ê×ÏÈ¿´Ò»ÏÂÎȶ¨ÐԵĸĽø¡£Õâ¿éÎÒ»á¾ÙһЩÀý×Ó½øÐÐ˵Ã÷¡£Îȶ¨ÐÔ°üº¬Á˼¸¸ö·½Ã棬ÆäÖеÚÒ»¸ö·½Ãæ¾ÍÊÇϵͳµÄ¿ÉÓÃÐÔ£¬´ó¼Ò¿ÉÒÔ²ÉÓÃÉçÇøÌṩµÄHDFS
HA¡¢Yarn HA£¬Storm HAÀ´½â¾ö¡£ÁíÍâÒ»¸ö·½ÃæÊǹØÓÚÀ©Õ¹ÐÔ£¬ÀýÈçFlume¡¢HDFS£¬Yarn£¬StormµÄÀ©Õ¹ÐÔ¡£ÕâÀïÖ÷Òª½éÉÜÏÂFlumeºÍHDFSµÄÀ©Õ¹ÐÔÏà¹ØµÄһЩ¿¼ÂÇ¡£´ËÍ⣬ÓÐÁË¿ÉÓÃÐÔºÍÀ©Õ¹ÐÔ£¬ÏµÍ³¾ÍÎȶ¨ÁËÂð£¿Êµ¼ÊÉϲ»ÊÇÕâÑù¡£ÒòΪ»¹ÓкܶàµÄÍ»·¢ÎÊÌâ¡£¼´Ê¹½â¾öÁË¿ÉÓÃÐÔºÍÀ©Õ¹ÐÔ£¬µ«Í»·¢ÎÊÌ⻹ÊÇ¿ÉÄÜ»áÔì³Éϵͳ²»¿ÉÓã¬ÀýÈçÓÉÓÚһЩÎÊÌâÔì³ÉÁ½Ì¨NameNodeÈ«²¿å´»ú¡£

Ê×ÏÈ¿´Ò»ÏÂFlumeµÄÀ©Õ¹ÐÔ¡£ÎÒÃÇÈËΪµÄ°ÑËü¶¨ÒåÁËÁ½²ã¡£Ò»¸öÊÇFlumeLocal£¨Ö÷Òª½â¾öһ̨»úÆ÷µÄÈÕÖ¾²É¼¯ÎÊÌ⣬¼ò³ÆLocal£©£¬Ò»¸öÊÇFlumeCenter£¨Ö÷Òª´ÓLocalÉÏÊÕ¼¯Êý¾Ý£¬È»ºó°ÑÊý¾Ýдµ½HDFSÉÏ£¬¼ò³ÆCenter£©£¬LocalºÍCenterÖ®¼äÊÇÓÐÒ»¸öHAµÄ¿¼Âǵ쬾ÍÊÇLocalÐèÒªÔÚÅäÖÃÎļþÀïÖ¸¶¨Á½¸öCenterȥдÈ룬һµ©Ò»¸öCenter³öÏÖÎÊÌ⣬Êý¾Ý¿ÉÒÔÂíÉÏ´ÓÁíÒ»¸öCenterÁ÷ÏòHDFS¡£´ËÍ⣬ÎÒÃÇ»¹¿ª·¢ÁËÒ»¸ö¸ß¿É¿¿µÄAgent¡£ÒµÎñϵͳÖлá°ÑÊý¾Ý²úÉúÈÕ־дµ½´ÅÅÌÉÏ£¬Agent±£Ö¤Êý¾Ý´Ó´ÅÅÌÉÏʵʱ¿É¿¿µÄÊÕ¼¯¸ø±¾µØµÄLocal£¬ÆäÖÐÎÒÃDzÉÓÃÁ˼ì²éµãµÄ¼¼ÊõÀ´½â¾öÊý¾Ý¿É¿¿ÐÔµÄÎÊÌâ¡£

ÕâÊÇFlumeµÄµäÐͼܹ¹¡£LocalÐèÒªÔÚÅäÖÃÎļþÀïÃæÖ¸¶¨ËÀÒªÁ¬µ½ÄöCenterÉÏ¡£Èç¹û˵10̨£¬¿ÉÄÜ»¹OK£¬100̨ҲOK£¬Èç¹ûÒ»Ç§Ì¨ÄØ£¿Èç¹û·¢ÏÖÁ½Ì¨Flume
CenterÒѾ´ïµ½»úÆ÷×ÊÔ´µÄÉÏÏÞ£¬ÈçºÎ×ö½ô¼±µÄÀ©ÈÝÄØ£¿ËùÒÔ´ÓÕâ¸ö½Ç¶È¿´FlumeµÄÀ©Õ¹ÐÔÊÇÓÐÎÊÌâµÄ¡£

ÎÒÃǵĽâ¾ö·½·¨ÊÇÔÚLocalºÍCenterÖмä¼ÓÁËÒ»¸öZooKeeper£¬Localͨ¹ýZK¶¯Ì¬·¢ÏÖCenter£¬¶¯Ì¬µÄ·¢ÏÖÏÂÓÎÓÐʲô£¬¾Í¿ÉÒÔ´ïµ½Center×Ô¶¯À©ÈݵÄÄ¿±êÁË¡£ÎÒÃǹ«Ë¾LocalÓÐÁ½Ç§¶ą̀£¬À©ÈÝһ̨Center½öÐèÒ»·ÖÖÓ£¬ÕâÖּܹ¹Êµ¼ÊÉÏ¿ÉÒÔÖ§³Ö´ïµ½Íǫ̀¹æÄ£µÄ£¬ÕâÊÇFlumeÀ©Õ¹ÐÔµÄһЩ¸Ä½ø¡£

½ÓÏÂÀ´¿´Ò»ÏÂHDFSÀ©Õ¹ÐÔµÄÎÊÌâ¡£ÉÏÃæÕâÕÅͼչʾÁËhdfs federationµÄ¼Ü¹¹£¬×ó²àÊÇÒ»¸öµ¥namespace¼Ü¹¹£¬¼´Õû¸öĿ¼Ê÷ÔÚÒ»¸önamespaceÖУ¬Õû¸ö¼¯ÈºµÄÎļþÊý¹æÄ£ÊÜÏÞÖÆÓÚµ¥»úÄÚ´æµÄÏÞÖÆ¡£federationµÄ˼ÏëÊǰÑĿ¼Ê÷²ð·Ö£¬Ðγɲ»Í¬µÄnamespace£¬²»Í¬namespaceÓɲ»Í¬namenode¹ÜÀí£¬ÕâÑù¾Í´òÆÆÁ˵¥»ú×ÊÔ´ÏÞÖÆ£¬´Ó¶ø´ïµ½ÁË¿ÉÀ©Õ¹µÄÄ¿±ê£¬ÈçÓÒ²àͼ¡£
µ«Õâ¸ö·½°¸ÓÐһЩÒþ²ØµÄÎÊÌ⣬²»ÖªµÀ´ó¼ÒÓÐûÓÐ×¢Òâµ½£¬±ÈÈçÕâÀïÿ¸öDatanode¶¼»áÓëËùÓеÄNameNodeÈ¥ÐÄÌø£¬Èç¹ûDataNodeÊýÁ¿ÉÏÍǫ̀£¬ÄÇô¾Í¿ÉÄÜ»á³öÏÖÁ½¸öÎÊÌ⣺µÚÒ»£¬´ÓÖ÷½ÚµãÖ®¼äµÄÐÄÌø¡¢¿é»ã±¨³ÉΪƿ¾±£¬µÚ¶þ£¬Èç¹ûµ¥¸ö²¿ÃŵÄÊý¾Ý¹æÄ£¹ý´óÄǸÃÔõô°ì£¿

Õë¶Ô´ÓÖ÷½ÚµãÖ®¼ä½»»¥µÄÎÊÌ⣬ÎÒÃÇ¿ÉÒÔ½øÐвð·Ö£¬¿ØÖÆÒ»¸öNameNode¹ÜÀíµÄDateNodeµÄÊýÁ¿£¬ÕâÑù¾Í¿ÉÒÔ±ÜÃâÖ÷´Ó½Úµã½»»¥¿ªÏú¹ý´óµÄÎÊÌâ¡£Õë¶Ôµ¥²¿ÃÅÊý¾Ý¹ý´óµÄ»°¿ÉÒÔÕë¶Ô²¿ÃÅÄÚÊý¾Ý½øÐнøÒ»²½Ï¸²ð£¬¾ÍOKÁË¡£»òÕß¿ÉÒÔ¿¼ÂǰٶÈ֮ǰÌṩµÄÒ»¸ö·½°¸£¬¼´°ÑĿ¼Ê÷ºÍinodeÐÅÏ¢½øÐгéÏó£¬È»ºó·Ö²ã¹ÜÀíºÍ´æ´¢¡£µ±È»ÎÒÃÇĿǰ²ÉÓÃÉçÇøfederationµÄ·½°¸¡£Èç¹ûºÃºÃ¹æ»®µÄ»°£¬Ò²ÊÇ¿ÉÒÔµ½Íǫ̀ÁË¡£
²»ÖªµÀ´ó¼ÒÓÐûÓÐÔÚ×Ô¼ºÔËÓª¼¯Èº¹ý³ÌÖÐÓöµ½¹ýһЩÎÊÌ⣬ÄãÃÇÊÇÔõô½â¾öµÄ£¬ÓÐЩÎÊÌâ¿ÉÄÜÏ൱µÄ¼¬ÊÖ¡£Í»·¢ÎÊÌâÊǷdz£½ô¼±¶øÇÒÖØÒªµÄ£¬ÐèÒªÔÚ¶Ìʱ¼äÄڸ㶨¡£½ÓÏÂÀ´ÎÒ»á·ÖÏíÈý¸öÀý×Ó¡£

µÚÒ»¸öÀý×ÓÊÇHDFSµÄActive NN»á²»¶¨ÆÚÒì³£Í˳ö£¬´¥·¢HAÇл»£¬Õâ¾ÍºÃÏñÒ»¸ö²»¶¨Ê±Õ¨µ¯Ò»Ñù¡£Õâ¸öͼչʾÁËHDFSµÄHAµÄ¼Ü¹¹Í¼£¬¿Í»§¶Ë½øÐбä¸ü²Ù×÷£¨Èç´´½¨Îļþ£©µÄ»°»á·¢³öÇëÇó¸ønamenode£¬namenodeÇëÇó´¦ÀíÍêÖ®ºó»á½øÐг־û¯¹¤×÷£¬»áÔÚ±¾µØ´ÅÅÌ´æÒ»·Ý£¬Í¬Ê±»áÔÚ¹²Ïí´æ´¢´æÒ»·Ý£¬¹²Ïí´æ´¢ÊÇΪÁËactiveºÍstandbyÖ®¼äͬ²½×´Ì¬µÄ£¬standby»áÖÜÆÚ´Ó¹²Ïí´æ´¢ÖÐÀÈ¡¸üеÄÊý¾ÝÓ¦Óõ½×Ô¼ºµÄÄÚ´æºÍĿ¼Ê÷µ±ÖУ¬ËùÓеÄDataNode¶¼ÊÇË«»ã±¨µÄ£¬ÕâÑùÁ½¸önamenode¶¼»áÓÐ×îеĿéÐÅÏ¢¡£×îÉÏÃæµÄÊÇÁ½¸öChecker£¬ÊÇΪÁËÖٲþ¿¾¹ËÊÇActiveµÄ¡£
»¹ÓÐÒ»¸ö¹ý³Ì£¬Standby NameNode»á¶¨ÆÚ×öcheckpoint¹¤×÷£¬È»ºóÔÚcheckpoint×öÍêÖ®ºó»á»Ø´«×îеÄfsimage¸øactive£¬×îÖÕ±£´æÔÚactiveµÄ´ÅÅÌÖУ¬Ä¬ÈÏÇé¿öÏÂÔڻش«¹ý³Ì»áÔì³É´óÁ¿µÄÍøÂçºÍ´ÅÅ̵ÄѹÁ¦£¬µ¼ÖÂactiveµÄ±¾µØ´ÅÅ̵ÄUtil´ïµ½100%£¬´ËʱÓû§±ä¸üÇëÇóÑӳپͻá±ä¸ß¡£Èç¹û´ÅÅ̵ÄUtil100%³ÖÐøÊ±¼äºÜ³¤¾Í»áµ¼ÖÂÓû§ÇëÇó³¬Ê±£¬ÉõÖÁChecherµÄ¼ì²âÇëÇóÒ²ÒòÅŶӹý³¤¶ø³¬Ê±£¬×îÖÕÈ»ºó´¥·¢CheckerÖÙ²ÃHAÇл»¡£
Çл»µÄ¹ý³ÌÖÐÔÚÉè¼ÆÉÏÓкÜÖØÒªÒ»µã¿¼ÂÇ£¬²»ÄÜͬʱÓÐÁ½¸öActive£¬ËùÒÔÒª³ÉΪÐÂActive NameNode£¬Òª°ÑÔÀ´µÄActive
NameNodeÍ£Ö¹µô¡£ÏÈ»áºÜÓѺõØÍ£Ö¹£¬Ê²Ã´ÊÇÓѺÃÄØ£¿¾ÍÊÇ·¢Ò»¸öRPC£¬Èç¹û³É¹¦Á˾ÍÊÇÓѺõģ¬Èç¹ûʧ°ÜÁË£¬¾Í»ássh¹ýÈ¥£¬°ÑÔÀ´active
namenode½ø³Ìkillµô£¬Õâ¾ÍÊÇActive NameNodeÒì³£Í˵ÄÔÒò¡£
µ±Õâ¸öÔÒòÁ˽âÁËÖ®ºó£¬ÆäʵҪ½â¾öÕâ¸öÎÊÌâÒ²·Ç³£¼òµ¥¡£
µÚÒ»µãÒª°ÑeditlogÓëfsimage±£´æµÄ±¾µØÄ¿Â¼·ÖÀëÅäÖã¬ÕâÖÖ·ÖÀëÊÇ´ÅÅÌÉϵķÖÀ룬ÎïÀí·ÖÀë¡£
µÚ¶þÊÇcheckpointÖ®ºófsimage»Ø´«ÏÞËÙ¡£°ÑeditlogÓëfsimageÁ½¸ö´ÅÅÌ·ÖÀ룬fsimage»Ø´«µÄioѹÁ¦²»»á¶Ô¿Í»§¶ËÇëÇóÔì³ÉÓ°Ï죬ÁíÍ⣬»Ø´«ÏÞËÙºó£¬Ò²ÄÜÏÞÖÆioѹÁ¦¡£ÕâÊDZȽϼ¬ÊÖµÄÎÊÌâ¡£ÔÒò¿´ÆðÀ´ºÜ¼òµ¥£¬µ«ÊÇ´ÓÏÖÏóÕÒµ½ÔÒò£¬Õâ¸ö¹ý³Ì²¢Ã»ÓÐÄÇôÈÝÒס£
µÚ¶þ¸ö°¸ÀýÒ²ÊÇÒ»Ñù£¬Active NNÓÖ³öÏÖÒì³£Í˳ö£¬²úÉúHAÇл»¡£Õâ´ÎºÍÍøÂçÁ¬½ÓÊýÓйأ¬ÕâÕÅͼÊÇActive
NameNodeµÄËùÔÚ»úÆ÷µÄÍøÂçÁ¬½ÓÊý£¬Æ½Ê±¶¼Í¦Õý³££¬20000µ½30000Ö®¼ä£¬ºöÈ»ÓÐÒ»¸öµãһϴòµ½60000¶à£¬È»ºó¾Í´òƽÁË£¬×îºó½µÏÂÀ´£¬½µÏÂÀ´µÄÔÒòºÜÃ÷ÏÔ£¬ÊÇ·þÎñ½ø³ÌÍËÁË¡£
Ϊʲô»á³öÏÖÕâ¸öÇé¿öÄØ£¿ÔÚºóÐø·ÖÎöµÄ¹ý³ÌÖÐÎÒÃÇ·¢ÏÖÁËÒ»¸öÏßË÷£¬ÔÚNameNodeÈÕÖ¾ÀﱨÁËÒ»¸ö¿ÕÖ¸ÕëµÄÒì³£¡£¾Í˳ÌÙÃþ¹Ï·¢ÏÖÁËÒ»¸öJDK1.7µÄBUG£¬²Î¼ûÉÏÃæÍ¼Æ¬Ëùʾ£¬ÔÚjava
select¿âº¯Êýµ÷¶È·¾¶¹ý³ÌÖÐ×îÖÕ»áµ÷ÓÃÕâ¸öº¯Êý£¨setUpdateEvents£©£¬´ó¼Ò¿ÉÒÔ¿´µ½£¬Èç¹ûfdµÄ¸öÊý³¬¹ýÁËMAX_UPDATE_ARRAY_SIZE£¨65535£©Õâ¸öÊýµÄ»°£¬½«»á×ßµ½else·¾¶£¬Õâ¸ö·¾¶ÔÚif½øÐв»µÈ±í´ïʽÅжÏʱ£¬½«»á³ö·¢¿ÕÖ¸ÕëÒì³£¡£
½ÓÏÂÀ´µÄÎÊÌâÊÇ£¬ÎªÊ²Ã´»á²úÉúÕâô¶àµÄÁ´½ÓÄØ£¿¾¹ý·ÖÎöÎÒÃÇ·¢ÏÖ£¬ÔÚÎÊÌâ³öÏÖµÄʱºò£¬´æÔÚÒ»´Î´óĿ¼µÄDU²Ù×÷£¬¶øDU»áËø×¡Õû¸önamespace£¬ÕâÑù¾Íµ¼ÖºóÐøµÄдÇëÇó±»×èÈû£¬×îÖÕµ¼ÖÂÇëÇóµÄ¶Ñ»ý£¬ÇëÇóµÄ¶Ñ»ýµ¼ÖÂÁËÁ¬½ÓÊý´óÁ¿¶Ñ»ý£¬Á¬½ÓÊý¶Ñ»ýµ½Ò»¶¨³Ì¶È¾Í´¥·¢JDK1.7µÄÕâ¸öBUG¡£Õâ¸öÎÊÌâµÄ½â¾ö£¬´ÓÁ½¸ö·½Ãæ¿´£¬Ê×ÏÈÎÒÃÇÏȰÑJDKÉý¼¶µ½1.8¡£Æä´Î£¬µ÷Õû²ÎÊýdfs.content-summary.limit£¬ÏÞÖÆdu²Ù×÷µÄ³ÖËøÊ±¼ä¡£¸Ã²ÎÊýĬÈϲÎÊýÊÇ0¡£ÎÒÃÇÏÖÔÚÊÇÉè³É10000ÁË£¬´ó¼Ò¿ÉÒԲο¼¡£ÕâÊǵڶþ¸ö·Ç³£¼¬ÊÖµÄÎÊÌâ¡£

µÚÈý¸ö°¸Àý¹ØÓÚYARNÖ÷½ÚµãµÄ£¬ÓÐÒ»ÌìÖÐÎ磬ÎÒÃÇÊÕµ½±¨¾¯£¬·¢ÏÖActive RMÒì³£½ø³ÌÍ˳ö£¬´¥·¢HAµÄÇл»£¬È»¶øÇл»ºóÒ»»áеÄActive
RM½ÚµãÒ²»áÒì³£Í˳ö£¬Õâ¾Í±È½Ï±¯¾ç£¬ÎÒÃÇÏȽøÐÐÁ˻ָ´¡£Ö®ºóÎÒÃÇ´Óµ±Ê±µÄÈÕÖ¾Öз¢ÏÖÁËÔÒò£ºÒ»¸öÓû§Ð´ÁËÒ»Íò¸öÎļþµ½·Ö²¼Ê½»º´æÀ·Ö²¼Ê½»º´æÀïÊý¾Ý»áͬ²½µ½ZKÉÏ£¬RM³Ö¾Ã»¯×÷ҵ״̬µ½ZKʱ³¬¹ýZnodeµ¥½Úµã×î´óÉÏÏÞ£¬Å׳öÒì³££¬×îÖÕµ¼ÖÂResourceManager½ø³ÌµÄÒì³£Í˳ö¡£ÆäʵÎÊÌâµÄ½â¾ö·½·¨Ò²·Ç³£¼òµ¥£¬ÎÒÃÇÔö¼ÓÁËÏÞÖÆÂß¼£¬¶ÔÓÚÐòÁл¯Êý¾ÝÁ¿´óÓÚZnode½Úµã´óСµÄJob£¬Ö±½ÓÅ×Òì³£´¥·¢JobµÄʧ°Ü¡£ÁíÍâÎÒÃÇ»¹Êʵ±ÌáÉýZnode½Úµã´óС¡£
ÒÔÉÏÊÇÔÚÎȶ¨ÐÔ·½ÃæµÄһЩ¹¤×÷£¬ÕâÈý¸ö°¸Àý¸ú´ó¼Ò·ÖÏíһϣ¬Èç¹ûÓÐÀàËÆµÄÎÊÌ⽨Òé´ó¼Ò¿ÉÒÔ³¢ÊÔһϣ¬ÕâЩ·½°¸ÊDZ»ÎÒÃÇÑéÖ¤OKµÄ¡£
ƽ̨ÖÎÀí
½ÓÏÂÀ´½éÉÜÒ»ÏÂÆ½Ì¨ÖÎÀíÕâ¿é¡£°üº¬¼¸¸öÎÊÌ⣬ÆäÖеÚÒ»ÎÊÌâÊǹØÓÚÊý¾ÝµÄ£¬Ò»·½Ã棬¾ÍÊÇ´ó¼Ò¿ª·¢ÁËÊý¾ÝÖ®ºó£¬¾³£ÕÒ²»µ½£¬Òª¿¿º°£¬±ÈÈç˵ÔÚȺÀﺰһÏÂʲôÊý¾ÝÔÚÄÄ£¬ËÄܸæËßÎÒһϣ¬Õâ¸öЧÂʺܵÍÏ¡£ÁíÍâÒ»·½ÃæÊÇ֮ǰµÄ¹ÜÀíÊý¾ÝÊǹ²ÏíµÄ£¬²»°²È«£¬ÈκÎÈ˶¼¿ÉÒÔ·ÃÎÊÆäËûÈ˵ÄÊý¾Ý¡£
µÚ¶þ¸öÎÊÌâÊǹØÓÚ×ÊÔ´£¬Ö®Ç°ÊÇ¡°´ó¹ø·¹¡±Ä£Ê½£¬´ó¼Ò¹²Ïí¼ÆËã×ÊÔ´£¬Ï໥¾ºÕù£¬ÕâÑù¡°ÄܳԵġ°¿Ï¶¨ÊǼ·¶Ò¡±²»ÄܳԵġ°£¬¾³£³öÏÖºËÐÄÈÎÎñ²»Äܰ´Ê±°´µãÍê³É£¬Àϰ忴²»µ½Êý¾Ý£¬ÕâµãºÜ¿ÉÅ¡£»¹ÓÐÊÇÕû¸ö¼¯Èº×ÊԴʹÓÃÇé¿öûÓиÐÖª£¬ÕâÑù¸ù±¾²»ÖªµÀ×ÊÔ´ÒªÔõô·ÖÅ䣬ÊÇ·ñ¹»Óá£
µÚÈý¸öÎÊÌâÊǹØÓÚ×÷ÒµµÄ£¬¿ª·¢ÈËÔ±¿ª·¢´óÁ¿µÄ×÷ÒµÖ®ºó£¬ÕâЩ×÷ÒµÒªÔõô¹ÜÀí£¬Êµ¼ÊÉÏËûÃÇ¿ÉÄܶ¼²»ÖªµÀ¡£»¹ÓоÍÊǹØÓÚ×÷ÒµÖ®¼äÒÀÀµ£¬¾³£Ò»¸öÖ¸±ê¼ÆËã³öÀ´Òª¾Àú¶à¸ö×÷Òµ£¬×÷ÒµÖ®¼äÒÀÀµÊÇÔõô¿¼Âǵ쬵¥´¿¿¿Ê±¼äÉϵÄÒÀÀµÊǷdz£´àÈõµÄ£¬Èç¹ûǰÆÚµÄjobÑÓ³Ù²úÉúÁË£¬ºóÐøµÄjob±ØÈ»Ê§°Ü¡£×îºóÒ»¸öÎÊÌâÊÇÊý¾Ý¿ª·¢ÈËÔ±µÄЧÂʲ»¸ß£¬ËùÐèÒª×öµÄ²½Öè¹ý¶à¡£

Õë¶ÔÕâËĸöÎÊÌâÎÒÃÇ×öÁËһЩ¸Ä½ø£¬Ê×ÏÈÊÇÊý¾ÝÓë×ÊÔ´ÖÎÀí¡£Êý¾Ý·½ÃæÒªÒýÈ밲ȫ²ßÂÔ¡¢ÔªÐÅÏ¢¹ÜÀíÓë»ù´¡Êý²Ö½¨Éè¡£ÎÒÃÇ×Ô¼º¿ª·¢ÁËÒ»Ì×°²È«¿ØÖƲßÂÔ£¬Ö÷ÒªÔö¼ÓÁ˰×Ãûµ¥ºÍȨÏÞ¿ØÖƲßÂÔ¡£Ò»¸öHDFSµÄÇëÇóµÄÁ÷³Ì£¬Ê×Ïȿͻ§¶Ë»áÏòNameNode·¢ÇëÇó£¬NameNode½Óµ½ÇëÇóÖ®ºóÊ×ÏÈÒª×öÁ¬½Ó½âÎö£¬¶ÁÈ¡³öÇëÇóÏà¹ØÄÚÈÝ×öÇëÇó´¦Àí£¬Ôٰѽá¹û·´À¡»ØÀ´£¬Ö®ºó¿Í»§¶ËÏòÏàÓ¦µÄDataNode½øÐÐдÈëÊý¾Ý»òÕß¶ÁÈ¡Êý¾Ý¡£´ÓÉÏÊöÁ÷³Ì¿ÉÒÔ¿´³ö£¬ËùÓÐHDFS²Ù×÷È«²¿Òª¾¹ýNameNodeÕâÒ»²ã¡£
ÄÇô°²È«²ßÂÔÖ»ÒªÔÚNameNodeµÄÁ½¸öµã×öÏ¿ØÖƼȿÉÍê³É£ºÔÚÁ¬½Ó½âÎöºó£¬ÎÒÃÇ»áÑéÖ¤ÇëÇó·½µÄIP£¬ÒÔ¼°Óû§ÊDz»ÊÇÔںϷ¨ÅäÖÃÏÂÃæµÄ¡£Èç¹ûÑé֤ʧ°Ü£¬Ôò¾Ü¾øÇëÇó¡£Èç¹ûÑé֤ͨ¹ý£¬ÎÒÃÇ»á½øÒ»²½ÔÚÇëÇó´¦Àí¹ý³ÌÖÐÑéÖ¤Óû§·ÃÎʵÄĿ¼ºÍÓû§ÔÚ·ñÔںϷ¨µÄÅäÖÃÏ¡£±ÈÈç˵Óû§AÏë·ÃÎÊÓû§BµÄÊý¾Ý£¬Èç¹ûûÔÚÔÊÐíµÄÇé¿öÏ»á°ÑÁ¬½Ó¹Øµô£¬Í¨¹ý¼òµ¥µÄ²ßÂÔµ÷Õû¾ÍÄÜ´ïµ½Áé»îµÄÊý¾ÝµÄ°²È«¿ØÖƺÍÊý¾Ý¹²ÏíµÄ·½Ê½¡£½ÓÏÂÀ´Õë¶ÔÊý¾ÝÕÒ²»µ½µÄÎÊÌ⣬ÎÒÃÇ¿ª·¢ÁËÈ«¹«Ë¾²ãÃæµÄ»ù´¡Êý¾Ý²Ö¿âÒÔ¼°Õë¶ÔÈ«¹«Ë¾²ãÃæÔªÊý¾Ý¹ÜÀíÆ½Ì¨¡£
ÕâÕÅͼչʾÁË»ù´¡Êý¾Ý²Ö¿â¸²¸Ç¶È£¬Ëü¸²¸ÇÁ˼¯ÍŸ÷¸ö¹«Ë¾£¬ÓÖ¸²¸ÇÁ˶à¸öƽ̨£¬±ÈÈç˵ÊÖ»ú¡¢App¶Ë¡¢PC¶Ë¡¢Î¢ÐŶ˵ȵȡ£Êý¾Ý²ã´Î£¬ÊÇÊý¾Ý²Ö¿â²ã¡¢Êý¾Ý¼¯Êв㻹ÊÇÊý¾ÝÓ¦Óò㣬ËùÊôÄĸöÊÂҵȺ£¬×îºóÕë¶ÔÊý¾Ý½øÐзÖÀà±êÇ©£¬±ÈÈç˵Ìû×ÓÊý¾Ý¡¢Óû§Êý¾ÝµÈµÈ¶¼¿ÉÒÔͨ¹ý±êÇ©µÄ·½Ê½À´ÕÒµ½¡£µ±ÏëÕÒ¾ßÌåÒ»·ÝÊý¾ÝµÄʱºò¿ÉÒÔͨ¹ýÕâ¸ö½çÃæ£¬µãһЩ±êÇ©£¬É¸Ñ¡³öһЩÊý¾Ý±í£¬ÉõÖÁÔÚËÑË÷¿òÀïÃæËÑÊý¾ÝµÄ¹Ø¼ü×Ö¡£µ±²éµ½Êý¾Ý±íµÄʱºò¿ÉÒÔÔÚÓҲఴť£¬½«ÏÔʾ³ö±í½á¹¹£¬»¹ÓбíÐÅÏ¢£¬±íÐÅÏ¢±íÃ÷ÁËÕâ¸ö±íÓжàÉÙÁУ¬Õâ¸ö±íµÄ¸ºÔðÈËÊÇʲô£¬»¹ÓйØÓÚÊý¾ÝÖÊÁ¿£¬±íµÄÊý¾ÝÁ¿µÄ±ä»¯Çé¿öµÈµÈ£¬Èç¹ûÄãÏëÉêÇë¿ÉÒÔµã»÷×îÓұߵÄȨÏÞ¿ªÍ¨¡£ÕûÌ忪ͨÁ÷³ÌÒ²ÊÇ×Ô¶¯»¯µÄ¡£ÕâÊÇÕë¶ÔÊý¾ÝÕÒ²»µ½µÄÎÊÌâ×öµÄһЩ¸Ä½ø¡£
Õë¶Ô×ÊÔ´ÎÊÌâÒª±ÜÃâ´ó¹ø·¹£¬±ØÐëÒªÒýÈëÕ˺ŸÅÄ×ÊÔ´°´ÕÕÕ˺ÅÔ¤ÁôÓë¸ôÀë¡£ÎÒÃÇ»®·ÖÁ˲»Í¬µÄÅä¶î£¬¸ù¾ÝÔ¤Ëã¡¢ÒµÎñÐèÇóÈ¥ÉêÇëÅä¶î£¬È»ºóÎÒÃǵ÷ÕûÅä¶î¡£Õë¶Ô¶ÓÁÐÕâ¿éÎÒÃÇ»®·Ö¶à¸ö¶ÓÁУ¬Ã¿¸öÒµÎñÏßÓÐ×Ô¼ºµÄ¶ÓÁУ¬²»Í¬ÒµÎñÏß²»ÄÜ¿ç¶ÓÁÐÌá½»ÈÎÎñ£¬Ã¿¸ö¶ÓÁл®·Ö³ö²»Í¬×ÊÔ´£¬×ÊÔ´Ö÷ÒªÊÇÕë¶ÔÒµÎñÏßÐèÇó¶ø¶¨µÄ¡£Í¨¹ýÕâЩ¸Ä½ø¿ÉÒÔ´ïµ½×ÊÔ´µÄ¸ôÀëÒÔ¼°ÊʶȵĹ²Ïí¡£
ÓÐÁËÕ˺ŵĸÅÄîÖ®ºóÎÒÃǾͿÉÒÔͳ¼ÆÃ¿¸öÒµÎñÏß×ÊԴʹÓÃÇé¿ö¡£ÎÒÃÇÿÌì¶¼»áÓб¨±í¡£ÏÔʾÁËÒµÎñÏߵļÆËãºÍ´æ´¢×ÊÔ´µÄʹÓÃÇé¿ö£¬ÉõÖÁÊÇJobµÄϸ½ÚÇé¿ö¡£
½ÓÏÂÀ´ÎÒ»á½éÉÜÒ»ÏÂÒµÎñÏß¿ª·¢Ð§ÂʵÍÏÂÎÊÌâµÄ¸Ä½ø£¬Êµ¼ÊÉÏÎÒÃÇÔÚÒ×ÓÃÐÔÉÏÒ²×öÁ˺ܶà¸Ä½ø¡£Ê×ÏÈÎÒÃÇ¿ª·¢ÁËÔÆ´°Æ½Ì¨£¬ËüÖ÷Òª½â¾öÁËÔªÐÅÏ¢²éÕÒ¡¢Êý¾Ý²éѯ¡¢¿ÉÊÇ»¯Õ¹Ê¾ºÍ¶àά·ÖÎöÕâЩÐèÇó¡£È»ºóÕë¶ÔÈÎÎñ¿ª·¢Õâ¿éÎÒÃÇ¿ª·¢ÁË58DP½â¾öÁËÔªÐÅÏ¢¿ª·¢¡¢×÷Òµ¹ÜÀíÓëͳ¼ÆµÈ¡£ÎÒÃÇÕë¶Ôʵʱ¶àά·ÖÎö¿ª·¢ÁË·ÉÁ÷£¬ÊµÊ±×÷Òµ¿ª·¢È«²¿ÅäÖû¯¡¢Í¬Ê±Ö§³Ö¶àÖÖͳ¼ÆËã×Ó¡¢×Ô¶¯Í¼±íÉú³ÉµÈµÈ¡£»¹ÓÐNightFury£¬Á÷³Ì×Ô¶¯»¯¹ÜÀíÆ½Ì¨¡£

ÕâÊÇÔÆ´°µÄ½çÃæ£¬ÉÏÃæÊÇÒ»¸öSQL²éѯ½çÃæ£¬ÏÂÃæÊÇ¿ÉÊÓ»¯²úÆ·½çÃæ£¬ÕâÊÇÎÒÃÇÊý¾Ý¿ÉÊÓ»¯µÄÒ»¸ö½á¹û¡£

È»ºó¹ØÓÚÈÎÎñ¿ª·¢µÄ»°£¬ÎÒÃÇÓÃ58DPÀ´×öÈÎÎñ¿ª·¢£¬¿ÉÒÔÖ§³ÖµÄ²»Í¬ÈÎÎñ£¬º¸ÇĿǰµÄËùÓÐÖ÷Á÷×÷ÒµÒÔ¼°×÷ÒµÒÀÀµµÈ¹ÜÀí¡£ÕâÊÇ58DPµÄÒ³Ãæ£¬¿ÉÒÔÉèÖûù±¾ÐÅÏ¢¡¢µ÷¶È¼°ÒÀÀµµÈ¡£

·ÉÁ÷ÊÇÖ§³ÖÖÜÆÚÐÔµÄͳ¼Æ¡¢È«ÌìÀÛ¼ÆÐÔµÄͳ¼Æ£¬´ó¼Ò¿ÉÒÔ¶¨Òåͳ¼Æ·½·¨¡¢¶¨ÒåÈÎÎñµÄһЩ»ù±¾ÐÅÏ¢£¬ÉèÖÃά¶È¡¢ÉèÖöÈÁ¿£¬ÉèÖÃÍêÖ®ºó¾ÍÕ¹ÏÖÁËͼÐΣ¬Ò²ÌṩÁ˸ú×òÌìµÄ¶Ô±ÈÇé¿ö¡£µ±ÔÚͼÀïµãÈκÎÒ»¸öµãµÄʱºò£¬¿ÉÒÔ¿´µ½²»Í¬Î¬¶È×éºÏÏÂÔÚÕâ¸öµãÉϵÄÊý¾Ý·Ö²¼£¬µã»÷Á½¸öµã¿ÉÒÔ¿´µ½²»Í¬Î¬¶ÈÏÂÁ½¸öµãµÄ·Ö²¼¶Ô±È¡£Õë¶ÔÀúÊ·Êý¾Ý¿ÉÒÔ½øÐжԱȣ¬ÎÒÃÇ¿ÉÒÔ°Ñʱ¼äÀµÄ¸ü³¤£¬¿ÉÒԲ鿴²»Í¬ÖܵÄʵʱͳ¼Æ½á¹û£¬¶ø²»ÊÇÒ»Ìì¡£

ÕâÊÇNightFuryµÄ½çÃæ£¬Õâ¾ÍÊÇÎÒÃÇÔËάµÄ×Ô¶¯»¯¹ÜÀíÆ½Ì¨£¬´ó¼Ò¿ÉÒÔ¿´µ½Óкܶà¸öÁ÷³ÌºÍȨÏ޵ĿªÍ¨ÉêÇ룬±íµ¥µÄÌîд¡¢¹¤µ¥ÉóÅú£¬ÉóÅúÖ®ºóµÄһЩÁ÷³ÌÈ«²¿ÊÇ×Ô¶¯»¯µÄ¡£
ÐÔÄÜ
ÐÔÄÜ·½Ã棬Ö÷Òª·ÖΪËĸö·½Ã棺
MR×÷ÒµÐÔÄÜ¡¢Êý¾ÝÊÕ¼¯ÐÔÄÜ¡¢SQL²éѯÐÔÄܺͶàά·ÖÎöµÄÐÔÄÜ¡£Õë¶ÔMR×÷ÒµÐÔÄÜ£¬ÎÒÃÇÒýÓöà×â»§¹¦ÄÜ£¬×ÊÔ´Ô¤Áô£¬ºËÐÄ×÷ÒµÖ´ÐÐÓб£ÕÏ¡£
µÚ¶þµãСÎļþºÏ²¢´¦Àí£¬¿ÉÒÔÌáÉýÈÎÎñÖ´ÐÐЧÂÊ£¬¼õÉÙµ÷¶È±¾ÉíµÄ¿ªÏú¡£
µÚÈýµãÎÒÃÇÕë¶ÔShuffle½×¶Î²ÎÊýÓÅ»¯£¬¿ÉÒÔʵÏÖ²¢·¢¶ÈÌáÉý£¬IOÏûºÄ½µµÍ¡£
¾¹ýÈý¸ö·½ÃæµÄ¸Ä½øÖ®ºó£¬ÎÒÃÇÕûÌåÈÎÎñµÄÔËÐÐʱ¼äʵ¼ÊÉÏÓÐÒ»±¶×óÓÒµÄÌáÉý¡£Êý¾Ý´«ÊäÓÅ»¯·½Ã棬ÎÒÃǾ¹ýÏûÏ¢ºÏ²¢¸Ä½øÊý¾Ý´«ÊäÐÔÄÜ£¬ÌáÉýÁË20±¶¡£ÔÚSQLÓÅ»¯·½ÃæÎÒÃÇÒýÓÃÄÚ´æÖ´ÐÐÒýÇæÓëÁд洢·½°¸µÄ½áºÏ£¬ÔÚͬµÈ×ÊÔ´Çé¿öÏÂÕë¶ÔÏßÉÏÒ»°Ù¶àÌõSQL½øÐвâÊÔ£¬×ÜÌåÐÔÄÜ´ó¸ÅÌáÉý80%¡£ÔÚ¶àά¼ÆËãÕâ¿é£¬ÎÒÃÇÒýÈëKylin£¬Õë¶Ô¶àάµÄ²éѯ95%ÒÔÉϲéѯÄÜ¿ØÖÆÔÚ2sÒÔÄÚ¡£

Òì¹¹¼ÆËã
Òì¹¹¼ÆËã·½ÃæÎÒÃÇÃæÁÙÁËÁ½¸öÖ÷ÒªÎÊÌ⣬һ¸öÊÇ×÷ÒµµÄÒì¹¹£¬ÎÒÃÇÓжàÖÖÀàÐ͵Ä×÷Òµ£¬±ÈÈç˵ʵʱ×÷ҵǿµ÷µÍʱÑÓ£¬¶øÀëÏß×÷ҵǿµ÷¸ßÍÌÍ£¬Õâ±¾Éí¾ÍÊÇì¶ÜµÄ£¬Ôõô½â¾öÕâ¸öì¶Ü¡£µÚ¶þ·½ÃæÊÇ»úÆ÷Òì¹¹£¬CPU¡¢ÄÚ´æ¡¢ÍøÂç¡¢´ÅÅÌÅäÖò»Í¬£¬ÕâÖÖÒì¹¹»·¾³ÓÖÒªÔõô°ì¡£

´ÓÉÏÃæÍ¼ÖпÉÒÔ¿´³ö£ºÈç¹ûʵʱ×÷ÒµµÄtaskºÍÅú´¦Àí×÷ÒµµÄtask±»µ÷¶Èµ½Ò»Ì¨»úÆ÷ÉÏÁË£¬Èç¹ûÅú´¦Àí×÷Òµ°Ñ×ÊÔ´Õ¼ÂúÁË£¨ÀýÈçÍøÂç´ø¿í£©£¬Ôòʵʱ×÷ÒµµÄtask±Ø½«ÊÕµ½Ó°Ïì¡£ËùÒÔ£¬ÐèÒª¶Ôʵʱ×÷ÒµºÍÅú´¦Àí×÷Òµ×ö¸ôÀë²ÅÐС£
×ö×ÊÔ´¸ôÀ룬ÎÒÃǵÄ˼·ÊDzÉÓñêÇ©»¯£¬¸øÃ¿¸öNodeManager¸³Ó費ͬ±êÇ©£¬±íʾ²»Í¬»úÆ÷±»·ÖÅäÁ˲»Í¬±êÇ©£»×ÊÔ´¶ÓÁÐÒ²¸³Ó費ͬ±êÇ©£¬È»ºóÔÚRMµ÷¶Èʱ£¬±£Ö¤Ïàͬ±êÇ©µÄ¶ÓÁÐÀïÈÝÆ÷×ÊÔ´±Ø´ÓÏàͬ±êÇ©µÄNodeManagerÉÏ·ÖÅäµÄ¡£ÕâÑù¾Í¿ÉÒÔͨ¹ý±êÇ©µÄ²»Í¬´ïµ½ÎïÀíÉϵÄ×ÊÔ´¸ôÀëÄ¿±ê¡£

ÕâÕÅͼÊÇʵÏÖͼ¡£Ê×ÏÈ¿ÉÒÔ¿´µ½NodeManager·Ö³ÉÁËÁ½¸ö¼¯ºÏ£¬Ò»¸öÊÇʵʱµÄ£¬Ò»¸öÊÇÀëÏߵ쬲»Í¬µÄ¶ÓÁÐÒ²±»¸³ÓèÁËʵʱ»òÀëÏߵıêÇ©£¬µ±Óû§Ìá½»Ò»¸öjobµÄʱºòËü¿ÉÒÔÖ¸¶¨Ò»¸ö¶ÓÁУ¬Ìá½»µ½ÀëÏß¶ÓÁÐÀï¾ÍÊÇÀëÏßÈÎÎñ£¬ResourceManager¾Í»á°ÑÕâ¸ö×÷ÒµËùÐèÒªµÄ×ÊÔ´·ÖÅäµ½ÀëÏß±êÇ©µÄNodeManagerÉÏ£¬ÕâÑù¾Í¿ÉÒÔ×öµ½ÎïÀí×ÊÔ´¸ôÀë¡£
δÀ´¹æ»®
ÒÔÉÏÖ÷ÒªÊǽéÉÜÁËÎÒÃÇ×î½üÒ»Äê°ë×öµÄһЩ¹¤×÷¡£½ÓÏÂÀ´ÎÒ»á½éÉÜÒ»ÏÂδÀ´µÄ¹æ»®¡£Ê×ÏȾÍÊÇÉî¶Èѧϰ¡£Õâ¸ö¸ÅÄî½ñÄê·Ç³£»ð±¬£¬ÉõÖÁÊÇÒª±¬Õ¨ÁË£¬Éî¶ÈѧϰÔÚ58Õâ¿éÐèÇóÒ²ÊÇÂùÇ¿Áҵġ£Ä¿Ç°Éî¶Èѧϰ¹¤¾ßÓÐÕâô¶à£¬caffe¡¢theano¡¢torchµÈµÈ·Ç³£¶à£¬Ôõô×öÕûºÏ£¬Ôõô½µµÍʹÓóɱ¾£¬ÕâÊǵÚÒ»¸öÎÊÌâ¡£µÚ¶þ¸öÎÊÌ⣬»úÆ÷ÊÇÓÐÏ޵ģ¬Ôõô¸ßЧÀûÓÃ×ÊÔ´£¬ÐèÒª°Ñ»úÆ÷·ÖÅäģʽ±ä³É×ÊÔ´·ÖÅäģʽ¡£»¹ÓйâÓе¥»úµÄ»úÆ÷ѧϰ»òÕßÉî¶Èѧϰ¹¤¾ß»¹²»¹»£¬ÒòΪÐÔÄÜÌ«²î£¬ËùÒÔÎÒÃÇÐèÒª½«Éî¶ÈѧϰѵÁ··Ö²¼Ê½»¯¡£ÎÒÃÇ×öÁËÒ»¸ö³õ²½µÄ²âÊÔ£¬Õë¶ÔcaffeÓëTensorflow¹¤¾ßµÄ·Ö²¼Ê½»¯ÑµÁ·×öÁ˱Ƚϣ¬4¿¨Ïà¶ÔÓÚµ¥¿¨Ä£ÐÍѵÁ·ÐÔÄÜÌáÉý100%~170%£¬ËùÒÔ·Ö²¼Ê½»¯µÄ¹¤×÷±¾ÉíÒâÒåÒ²ÊǷdz£´óµÄ¡£

Õâ¸öͼչʾµÄÊǹ¤¾ßÈںϷ½°¸¡£ÎÒÃÇÕâÀïÀûÓõÄÊÇKubernetes£¬Ö§³ÖÖ÷Á÷µÄÉî¶Èѧϰ¹¤¾ß£¬Ã¿¸ö¹¤¾ß×ö³É¾µÏñÐγÉPOD£¬Óû§ÐèÒªµÄ»°¿ÉÒÔÖ±½Ó°ÑPOD·Ö·¢¸øËû£¬Óû§ÔÚѵÁ·µÄʱºò´ÓHDFSÉÏÖ±½ÓÀÈ¡Ñù±¾£¬²¢ÇÒ°ÑѵÁ·µÄ²ÎÊý»ØÐ´µ½HDFSÉÏ£¬Ò²¾ÍÊÇ˵ͨ¹ýHDFS×öÊý¾ÝµÄ¹²Ïí£¬Í¨¹ýÕâÖÖģʽ¿ÉÒÔºÜÇáËɵØÖ§³Ö¶àÖÖÉî¶Èѧϰ¹¤¾ß£¬Ò²¿ÉÒÔ´ïµ½°´ËùÐè×ÊÔ´Á¿½øÐÐ×ÊÔ´µÄ·ÖÅäÄ¿±ê¡£
ÁíÍâÎÒÃÇ»á×öÒ»¸öÉî¶Èѧϰ¹¤¾ß·Ö²¼Ê½µÄ¸ÄÔ죬ÊÇÕë¶Ôcaffe£¬ÎÒÃÇÓõÄÊÇCaffeOnSpark£¬¼´°ÑÕû¸ö·Ö²¼Ê½µÄ·½°¸×ö³ÉÄ£°å¹©Óû§Ê¹Óá£Ê×ÏÈÆô¶¯¶à¸öPOD£¬Í¨¹ýPODÆô¶¯Ò»¸öSpark¼¯Èº£¬È»ºóÔÙÌáÒ»¸öSpark
jobÀ´×öѵÁ·£¬×îºóÔÚÕû¸öѵÁ·½áÊøÖ®ºóÔٰѼ¯ÈºÍ£µô¡£TensorflowÒ²ÊÇÒ»ÑùµÄ£¬Ê×ÏÈÆô¶¯tensorflow¼¯Èº£¬È»ºóÌá½»ÈÎÎñ£¬ÈÎÎñѵÁ·ÍêÒÔºóÔٰѼ¯ÈºÍ£µô¡£ÆäËû¹¤¾ß·Ö²¼Ê½»¯ÎÒÃÇÒ²»á²ÉÈ¡ÀàËÆµÄ˼·½â¾ö¡£ÒÔÉÏÊǹØÓÚÉî¶ÈѧϰÕâ¿éÎÒÃÇĿǰµÄһЩ¹¤×÷¡£

Æä´Î£¬ÊǹØÓÚ¿Õ¼ä×ÊÔ´ÀûÓÃÂʵġ£Ä¿Ç°ÎÒÃÇÓÐһǧ¶ą̀»úÆ÷£¬´æ´¢ÊǺܴóµÄ³É±¾¡£Ö®Ç°Ò²Ìáµ½ÁË£¬ÎÒÃÇÊÇÊôÓÚ»¨Ç®µÄ²¿ÃÅ£¬ËùÒÔѹÁ¦·Ç³£´ó¡£ÄÇÔõô½ÚÊ¡³É±¾ÊÇÒ»¸öºÜÖØÒªµÄÎÊÌâ¡£³ýÁË´«Í³Ñ¹ËõÖ®Í⣬»¹ÄÜ×öʲô£¿HDFS
RAIDÊÇÒ»¸ö±È½ÏºÃµÄ½â¾ö·½°¸¡£HDFS RAID²ÉÓÃÊÇRC±àÂ룬ÀàËÆRAID6£¬±ÈÈçÒ»¸öÎļþÓÐm¸ö¿é£¬¸ù¾Ým¸ö¿éÉú³Ék¸öУÑé¿é£¬È»ºóÄܱ£Ö¤k¸ö¿é¶ªÊ§µÄÇé¿öÏÂÊý¾Ý»¹ÄÜÕÒ»ØÀ´£¬¾Ù¸öÀý×ÓÀ´Ëµ£¬±ÈÈçÎļþ2.5G´óС£¬256MÒ»¸ö¿é£¬¿ÉÒÔ·Ö³É10¸ö¿é£¬¸ù¾ÝRCËã·¨ÔÙÉú³É4¸öУÑé¿é£¬¿ÉÒÔ±£Ö¤¶ªÁË4¸ö¿éÇé¿öÏ£¬Êý¾Ý¶¼ÄÜÕÒ»ØÀ´¡£ÔÚÕâ¸öÀý×ÓÖУ¬3¸±±¾Çé¿öÏ£¬Ò»¹²ÐèÒª30¸ö¿é£¬¶ø²ÉÓÃHDFS
RAID£¬½öÐèÒª14¸ö¿é¡£µ«ËûÃǵĿɿ¿ÐÔÒ»Ñù£¬¿Õ¼äÕ¼ÓÃÇé¿öÈ´²îÁË57%¡£
¾ßÌåʵʩʱ£¬µÚÒ»²½¶Ô¼¯ÈºÊý¾Ý½øÐÐÀäÈÈ·ÖÎö£¬RAID±Ï¾¹ÓÐЩÐÔÄÜÎÊÌ⣬һµ©Êý¾ÝÓÐÎÊÌ⣬ÄãҪͨ¹ý¼ÆËã²ÅÄָܻ´£¬ÊƱػáÔì³ÉÐÔÄܵÍÏ£¬ËùÒÔÕë¶ÔÀäÊý¾Ý×ö¿Ï¶¨ÊÇ·çÏÕ×îµÍµÄ¡£µÚ¶þ²½¾ÍÊÇѹËõ+archive+RAID£¬Í¨¹ýÈý·½Ãæ¼¼Êõ½áºÏ°ÑÎļþÊýºÍ¿Õ¼äÈ«²¿½ÚÊ¡³öÀ´¡£¹éµµÊµ¼ÊÉÏÊÇ»á±ä»»Ä¿Â¼µÄ£¬ÎªÁË×öÊÊÅ䣬ÎÒÃÇͨ¹ýÈíÁ¬½Ó¹¦ÄÜ£¬×öµ½¶ÔÓû§Í¸Ã÷¡£×îºóÔÚÊý¾Ý¶Áȡʱ£¬Èç¹ûÊÇRAIDÊý¾Ý£¬¾ÍÒª¾ß±¸ÊµÊ±RAIDÐÞ¸´¹¦ÄܲÅÄܱ£Ö¤ÔÚÊý¾ÝȱʧµÄÇé¿öϲ»Ó°ÏìÊý¾ÝµÄ·ÃÎÊ¡£
ºóÐøÎÒÃÇ»á¶Ô¼ÆËã×ÊÔ´ÀûÓÃÂÊÔÙ×ö½øÒ»²½ÌáÉý¡£ÁíÍâÒ²»á¿¼ÂÇStormºÍYARNÀ©Õ¹ÐÔ¡£»¹ÓÐKubernetesµ÷¶ÈÓÅ»¯£¬±ÈÈçÕë¶ÔGPU×ÊÔ´¹ÜÀí¹¦ÄÜ¡£
ÒÔÉϾÍÊÇÎÒ½ñÌìÏë½éÉܵÄÈ«²¿ÄÚÈÝ¡£ÔÚ½áÊøÖ®Ç°ÇëÔÊÐíÎÒÔÙ×öÒ»ÏÂ×ܽᡣ
Ê×ÏÈÎÒ½éÉÜÁË58ĿǰµÄ´óÊý¾Ýƽ̨¼Ü¹¹ÊÇÔõôÑùµÄ£¬¼òµ¥À´Ëµ¾ÍÊÇ¡°342¡±£¬Èý¸ö²ã´Î¡¢Ï¸·ÖΪËĸö×Ӳ㡢ÅÔ±ßÁ½ÁС£ËùÒÔ´ó¼ÒÒª×ö´óÊý¾Ýƽ̨½¨É蹤×÷£¬Õ⼸¸ö·½ÃæÊDZر¸µÄ¡£
µÚ¶þ¸ö·½ÃæÎÒÖØµãµÄ½éÉÜÁË58ÔÚÒ»Äê°ëµÄʱ¼äÄڵļ¼Êõ¸Ä½ø¡£µÚÒ»µãÊǹØÓÚÎȶ¨ÐÔ£¬Ö÷Òª´ÓFlumeºÍHDFSÀ©Õ¹ÐÔ·½ÃæÖصã½éÉÜÁËÎÒÃǵĽâ¾ö·½°¸£¬¾ÙÁËÈý¸ö°¸ÀýÀ´ËµÃ÷Í»·¢ÎÊÌ⣬²»ÊÇ˵ÓÐÁË¿ÉÓÃÐÔºÍÀ©Õ¹ÐÔ¾ÍÍòÊÂOKÁË£¬»¹Òª½â¾öÍ»·¢ÎÊÌâ¡£Õë¶Ôƽ̨ÖÎÀíÊ×ÏȽéÉÜÁËÒ»ÏÂÊý¾ÝºÍ×ÊÔ´µÄÖÎÀí·½·¨£¬½Ó×ÅÓÖ½éÉÜÁ˹ØÓÚÒ×ÓÃÐÔ·½ÃæµÄ¸Ä½ø£¬ÎÒÃÇÌṩÁËһϵÁÐÆ½Ì¨À´Ìá¸ß¿ª·¢ÈËÔ±µÄ¿ª·¢Ð§ÂÊ¡£
µÚÈý·½Ãæ´ÓÐÔÄÜÉϽéÉÜÁËÎÒÃÇÕâ±ß×öµÄÓÅ»¯¹¤×÷ÒÔ¼°ÓÅ»¯µÄ½á¹ûÊÇÔõôÑùµÄ£»
µÚËÄ·½Ãæ½éÉÜÁËÔÚÒì¹¹»·¾³ÏÂÈçºÎÖ§³Ö²»Í¬ÌØÕ÷µÄ×÷Òµ½øÐкÏÀíµ÷¶È¡£
×îºóÎÒ½éÉÜÁË58Éî¶Èѧϰƽ̨½¨Éè·½ÃæÒÔ¼°´æ´¢×ÊÔ´¿Õ¼äÀûÓÃÂÊÓÅ»¯·½ÃæµÄÄÚÈÝ¡£ÒÔÉϾÍÊÇÎÒ½ñÌìµÄÈ«²¿ÄÚÈÝ£¬Ï£Íû¶Ô´ó¼ÒÓаïÖú¡£
|