±à¼ÍƼö: |
±¾ÎÄÖ÷Òª½²½âÁËÊý¾ÝÖÊÁ¿¡¢³É±¾ÓÅ»¯¡¢Êý¾Ý·þÎñµÄÎÊÌâ¡¢Êý¾Ý·þÎñÓ¦¸Ã¾ß±¸µÄÆß´ó¹¦Äܼ°Êý¾Ý·þÎñϵͳ¼Ü¹¹Éè¼Æ¡£
±¾ÎÄÀ´×Ô²©¿ÍÔ° £¬ÓÉ»ðÁú¹ûÈí¼þLinda±à¼¡¢ÍƼö¡£ |
|
Êý¾ÝÖÊÁ¿
´ÓÄ£ÐÍÉè¼Æ²ãÃæ£¬Öð²½½«·ÖÉ¢¡¢ÔÓÂÒ¡¢ÑÌ´ÑʽµÄСÊý²ÖÕûºÏ³ÉÁ˿ɸ´Óᢿɹ²ÏíµÄÊý¾ÝÖÐ̨£¬Êý¾ÝÑз¢Ð§ÄÜÌáÉýÁËÒ»±¶¡£ÄÇÊDz»Êǽ»¸¶Êý¾Ý×ã¹»¿ì£¬Ê¹ÓÃÊý¾ÝµÄÈ˾ÍÂúÒâÁË£¿¹â¿ì»¹²»¹»£¬»¹Òª±£Ö¤ÖÊÁ¿¡£ÔÚÊý¾ÝÖÐ̨Öг£³£»áÓöµ½Ò»ÏÂÀàËÆµÄÎÊÌ⣺
Êý¾Ý²¿ÃÅÍíÓÚÒµÎñ·½·¢ÏÖÊý¾ÝÒì³££¬±»Í¶Ëߺó²Å·¢ÏÖÎÊÌâ¡£
³öÏÖÎÊÌâºó£¬Êý¾Ý²¿ÃÅÎÞ·¨¿ìËÙ¶¨Î»µ½Êý¾ÝÒì³£µÄ¸ùÔ´£¬ÅŲéÓÃÁ˽ϳ¤µÄʱ¼ä¡£
¹ÊÕϳöÏÖÔÚÊý¾Ý¼Ó¹¤Á´Â·µÄÉÏÓζ¥¶Ë£¬³öÏÖÎÊÌâûÓеÚһʱ¼ä±¨¾¯´¦Àí£¬µ¼ÖÂÎÊÌâÐÞ¸´Ê±£¬ËùÓÐÏÂÓÎÁ´Â·ÉϵÄÈÎÎñ¶¼ÒªÔËÐУ¬ÐÞ¸´Ê±¼ä³É±¾·Ç³£¸ß¡£
ÕâЩÎÊÌâ×îÖÕµ¼ÖÂÁËÊý¾Ý³¤Ê±¼ä²»¿ÉÓá£ÄÇÈçºÎ½â¾öÕâЩÎÊÌ⣬ȷ±£Êý¾Ý¸ßÖÊÁ¿µÄ½»¸¶ÄØ£¿ Ê×ÏÈ£¬ÄãÒªÁ˽â²úÉúÕâЩÎÊÌâµÄ¸ùÔ´£¬±Ï¾¹ÈÏʶÎÊÌâ²ÅÄܽâ¾öÎÊÌâ¡£
Êý¾ÝÖÊÁ¿ÎÊÌâµÄ¸ùÔ´
ÎÒÃǶÔʼþµÄÔÒò½øÐÐÁ˹éÄÉ£¬Ö÷ÒªÓÐÏÂÃæ¼¸Àà¡£ÕâÀï¶à˵һ¾ä£¬Èç¹ûÄãÏë¸Ä½øÊý¾ÝÖÊÁ¿£¬²»·ÁÒ²¶Ô¹ýÈ¥²È¹ýµÄ¿Ó×öÒ»´Î¸´ÅÌ£¬¹éÒ»ÏÂÀ࣬¿´¿´ÎÊÌâ¶¼³öÔÚÄÄÀȻºóÖÆ¶¨Õë¶ÔÐԵĸĽø¼Æ»®¡£

ÒµÎñԴϵͳ±ä¸ü
Êý¾ÝÖÐ̨µÄÊý¾ÝÀ´Ô´ÓÚÒµÎñϵͳ£¬¶øÔ´ÏµÍ³±ä¸üÒ»°ã»áÒý·¢ 3 ÀàÒì³£Çé¿ö£¬
Ê×ÏÈÊÇԴϵͳÊý¾Ý¿â±í½á¹¹±ä¸ü¡£ÀýÈçÒµÎñϵͳа汾·¢²¼ÉÏÏߣ¬¶ÔÊý¾Ý¿â½øÐÐÁ˱í½á¹¹±ä¸ü£¬Ôö¼ÓÁËÒ»¸ö×ֶΣ¬Í¬Ê±¶Ô²¿·Ö×ֶεÄÀàÐÍ¡¢Ã¶¾ÙÖµ½øÐÐÁ˵÷Õû¡£ÕâÖÖ±í½á¹¹±ä¸üûÓÐ֪ͨµ½Êý¾ÝÍŶӣ¬µ¼ÖÂÊý¾Ýͬ²½ÈÎÎñ»òÕßÊý¾ÝÇåÏ´ÈÎÎñÒì³££¬½ø¶øÓ°ÏìÁËÏÂÓÎÊý¾Ý²ú³ö¡£
µÚ¶þ¸öÊÇԴϵͳ»·¾³±ä¸ü¡£ÎÒ¾³£ÔÚ´ó´ÙÆÚ¼ä¼ûµ½ÕâÖÖÇé¿ö£¬ÆäÖеĵäÐÍÊÇǰ¶ËÓû§ÐÐΪÂñµãÈÕÖ¾Á¿±©Ôö£¬ÏµÍ³¹ÜÀíÔ±½ô¼±¶Ô·þÎñÆ÷½øÐÐÀ©ÈÝ£¬ÉÏÏßÁË
5 ̨еķþÎñÆ÷£¬µ«ÊÇûÓÐÅäÖÃÕâ 5 ̨·þÎñÆ÷µÄÈÕ־ͬ²½ÈÎÎñ£¬½á¹ûµ¼ÖÂÊý¾Ý²àÉÙÁËÕâ 5 ̨·þÎñÆ÷µÄÊý¾Ý£¬×îÖÕÓ°ÏìÁËÊý¾Ý¼ÆËã½á¹ûµÄ׼ȷÐÔ¡£
×îºóÒ»¸öÊÇԴϵͳÈÕÖ¾Êý¾Ý¸ñʽÒì³£¡£ÕâÖÖÇé¿öͨ³£³öÏÖÔÚǰºó¶ËÂñµãÈÕÖ¾ÖС£ÒµÎñϵͳ·¢²¼ÉÏÏßÒýÈëÂñµã BUG£¬µ¼ÖÂ
IP ¸ñʽ³öÏÖÁ˲»·ûºÏÔ¼¶¨µÄ¸ñʽ£¨±ÈÈ磬ÎÒÃÇÒ»°ãÔ¼¶¨µÄ IP ¸ñʽÊÇ 166.111.4.129£¬½á¹û³öÏÖÁË
166.111.4.null£©£¬×îÖÕÒ²»áµ¼Ö¼ÆËã½á¹û´íÎó¡£
Êý¾Ý¿ª·¢ÈÎÎñ±ä¸ü
ÕâÖÖÇé¿öÔÚÊý¾ÝÖÊÁ¿Ê¼þÖÐÕ¼µ½ÁË 60% ÒÔÉÏ£¬¶øËü´ó¶àÊýÊÇÓÉÓÚÊý¾Ý¿ª·¢µÄç¢Â©Òý·¢µÄ£¬À´¿´¼¸¸öÄã±È½ÏÊìϤµÄÀý×Ó£º
ÈÎÎñ·¢²¼ÉÏÏߣ¬´úÂëÖÐÒýÓõIJâÊÔ¿âûÓÐÐÞ¸ÄΪÏßÉϿ⣬½á¹ûÎÛȾÁËÏßÉÏÊý¾Ý£»
ÈÎÎñ·¢²¼ÉÏÏߣ¬´úÂëÖÐʹÓÃÁ˹̶¨·ÖÇø£¬Ã»ÓÐÇл»Îª¡°${azkaban.flow.1.days.ago}¡±£¬µ¼ÖÂÊý¾ÝÒì³££»
Ç°ÃæÀý×ÓÖУ¬Êý¾Ý¸ñʽ´¦Àí´íÎ󣬴úÂëºöÂÔÁËÒì³££¬µ¼ÖÂÊý¾Ý´íÎó£»
ÈÎÎñÅäÖÃÒì³££¬Ëüͨ³£±íÏÖÔÚÈÎÎñûÓÐÅäÖÃÒÀÀµ£¬Ç°Ò»¸öÈÎÎñûÓÐÔËÐÐÍ꣬ºóÒ»¸öÈÎÎñ¾Í¿ªÊ¼ÔËÐУ¬ÊäÈëÊý¾Ý²»ÍêÕû£¬µ¼ÖÂÏÂÓÎÊý¾Ý²ú³ö´íÎó¡£
ÎïÀí×ÊÔ´²»×ã
ÔÚ¶à×â»§Ï£¬Hadoop Éú̬µÄ´óÊý¾ÝÈÎÎñ£¨MR£¬Hive£¬Spark£©Ò»°ãÔËÐÐÔÚ yarn ¹ÜÀíµÄ¶à¸ö¶ÓÁÐÉÏ£¨µ÷¶ÈÆ÷Ϊ
CapacityScheduluer£©£¬Ã¿¸ö¶ÓÁж¼ÊÇ·ÖÅäÁËÒ»¶¨´óСµÄ¼ÆËã×ÊÔ´£¨CPU¡¢Äڴ棩¡£
»ù´¡ÉèÊ©²»Îȶ¨
´ÓÊýÁ¿ÉÏÀ´¿´£¬ÕâÀàÒì³£²»Ëã¶à£¬µ«Ó°ÏìÈ´ÊÇÈ«¾ÖÐԵġ£ÎÒÃÇÔø¾ÔÚ´ó´ÙÆÚ¼ä£¬Åöµ½ÁËÒ»¸öHadoop 2.7
NameNode µÄ BUG£¬Ôì³É HDFS Õû¸ö·þÎñ¶¼Í£Ö¹¶Áд£¬×îÖÕͨ¹ýÁÙʱ²¹¶¡µÄ·½Ê½²ÅÐÞ¸´¡£×ܵÄÀ´Ëµ£¬³öÏÖÎÊÌâ²¢²»¿ÉÅ£¬¿ÉŵÄÊÇ£¬ÎÒÃÇûÓм°Ê±·¢ÏÖÎÊÌ⣬¾¡¿ì»Ö¸´·þÎñ£¬¾ÙÒ»·´ÈýµØÍ¨¹ýÁ÷³ÌºÍ¼¼ÊõÊֶΣ¬½µµÍÎÊÌâ³öÏֵĸÅÂÊ¡£ËùÒÔ½ÓÏÂÀ´ÎÒÃǾÍÀ´¿´Ò»¿´£¬ÈçºÎÌá¸ßÊý¾ÝÖÊÁ¿£¿
ÈçºÎÌá¸ßÊý¾ÝÖÊÁ¿£¿
ÎÒÈÏΪ£¬ÒªÏëÌáÉýÊý¾ÝÖÊÁ¿£¬×îÖØÒªµÄ¾ÍÊÇ¡°Ôç·¢ÏÖ£¬Ôç»Ö¸´¡±£º
Ôç·¢ÏÖ£¬ÊÇÒªÄܹ»ÏÈÓÚÊý¾ÝʹÓ÷½·¢ÏÖÊý¾ÝµÄÎÊÌ⣬¾¡¿ÉÄÜÔÚ³öÏÖÎÊÌâµÄÔ´Í··¢ÏÖÎÊÌ⣬ÕâÑù¾ÍΪ¡°Ôç»Ö¸´¡±ÕùÈ¡µ½ÁË´óÁ¿µÄʱ¼ä¡£
Ôç»Ö¸´£¬¾ÍÊÇÒªËõ¶Ì¹ÊÕϻָ´µÄʱ¼ä£¬½µµÍ¹ÊÕ϶ÔÊý¾Ý²ú³öµÄÓ°Ïì¡£
ÄǾßÌåÈçºÎ×öµ½ÕâÁ½¸öÔçÄØ£¿ÎÒ×ܽáÁËÒ»Ì×Êý¾ÝÖÊÁ¿½¨ÉèµÄ·½·¨£¬°üÀ¨ÕâÑù¼¸¸öÄÚÈÝ¡£
Ìí¼Ó»üºËУÑéÈÎÎñ
ÔÚÊý¾Ý¼Ó¹¤ÈÎÎñÖУ¬¶Ô²ú³ö±í°´ÕÕÒµÎñ¹æÔò£¬Éè¼ÆÒ»Ð©Ð£ÑéÂß¼£¬È·±£Êý¾ÝµÄÍêÕûÐÔ¡¢Ò»ÖÂÐÔºÍ׼ȷÐÔ£¬ÕâÊÇÌáÉýÊý¾ÝÖÊÁ¿×îÐÐÖ®ÓÐЧµÄ·½·¨¡£Í¨³£½¨ÒéÄãÔÚÊý¾Ý²ú³öÈÎÎñÔËÐнáÊøºó£¬Æô¶¯»üºËУÑéÈÎÎñ¶ÔÊý¾Ý½á¹û½øÐÐɨÃè¼ÆË㣬ÅжÏÊÇ·ñ·ûºÏ¹æÔòÔ¤ÆÚ¡£Èç¹û²»·ûºÏ£¬¾Í¸ù¾ÝÌáǰÉ趨µÄÇ¿Èõ¹æÔò£¬´¥·¢²»Í¬µÄ´¦ÀíÁ÷³Ì¡£Èç¹ûÊÇÇ¿¹æÔò£¬¾ÍÁ¢¼´ÖÕÖ¹ÈÎÎñ¼Ó¹¤Á´Â·£¬ºóÐøµÄÈÎÎñ²»»áÖ´ÐУ¬²¢ÇÒÁ¢¼´·¢³öµç»°±¨¾¯£¬ÉõÖÁÎÒÃÇÒªÇ󣬹ؼüÈÎÎñ»¹Òª¿ªÆôÑ»·µç»°±¨¾¯£¬Ö±µ½¹ÊÕϱ»ÈÏÁ죻Èç¹ûÊÇÈõ¹æÔò£¬ÈÎÎñ»á¼ÌÐøÖ´ÐС£µ«ÊÇ´æÔÚ·çÏÕ£¬ÕâЩ·çÏÕ»áͨ¹ýÓʼþ»òÕß¶ÌÐŵķ½Ê½£¬Í¨Öªµ½Êý¾Ý¿ª·¢£¬ÓÉÈËÀ´½øÒ»²½ÅжϷçÏÕÑÏÖØ³Ì¶È¡£
ÄǾßÌåÒª¼ÓÄÄЩ»üºË¹æÔòÄØ£¿ÍêÕûÐÔ¹æÔò¡£Ö÷ҪĿµÄÊÇÈ·±£Êý¾Ý¼Ç¼ÊÇÍêÕûµÄ£¬²»¶ªÊ§¡£³£¼ûµÄ»üºË¹æÔòÓбíÊý¾ÝÁ¿µÄ¾ø¶ÔÖµ¼à¿ØºÍ²¨¶¯ÂÊµÄ¼à¿Ø£¨±ÈÈç±í²¨¶¯³¬¹ý
20%£¬¾ÍÈÏΪÊÇÒì³££©¡£»¹ÓÐÖ÷¼üΨһÐÔµÄ¼à¿Ø£¬ËüÊÇÅжÏÊý¾ÝÊÇ·ñÓÐÖØ¸´¼Ç¼µÄ¼à¿Ø¹æÔò£¬±È½Ï»ù´¡¡£³ýÁË±í¼¶±ðµÄ¼à¿Ø£¬»¹ÓÐ×ֶμ¶±ðµÄ¼à¿Ø£¨±ÈÈç×Ö¶ÎΪ
0¡¢Îª NULL µÄ¼Ç¼£©¡£Ò»ÖÂÐÔ¹æÔò¡£Ö÷Òª½â¾öÏà¹ØÊý¾ÝÔÚ²»Í¬Ä£ÐÍÖÐÒ»ÖÂÐÔµÄÎÊÌâ¡£ÉÌÆ·¹ºÂòÂÊÊÇͨ¹ýÉÌÆ·¹ºÂòÓû§Êý³ýÒÔÉÌÆ··ÃÎÊ
uv ¼ÆËã¶øÀ´µÄ£¬Èç¹ûÔÚ²»Í¬µÄÄ£ÐÍÖУ¬ÉÌÆ·¹ºÂòÓû§ÊýÊÇ 1W¡¢ÉÌÆ··ÃÎÊ uv10W£¬ÉÌÆ·¹ºÂòÂÊ 20%£¬ÄÇÕâÈý¸öÖ¸±ê¾Í´æÔÚ²»Ò»Ö¡£×¼È·ÐÔ¹æÔò¡£Ö÷Òª½â¾öÊý¾Ý¼Ç¼ÕýÈ·ÐÔµÄÎÊÌâ¡£³£¼ûµÄ»üºË¹æÔòÓУ¬Ò»¸öÉÌÆ·Ö»ÄܹéÊôÔÚÒ»¸öÀàÄ¿£¬Êý¾Ý¸ñʽÊDz»ÊÇÕýÈ·µÄ
IP ¸ñʽ£¬¶©µ¥µÄϵ¥ÈÕÆÚÊÇ»¹Ã»Óз¢ÉúµÄÈÕÆÚµÈµÈ¡£
ËüÃÇÊÇÇ¿¹æÔò»¹ÊÇÈõ¹æÔò£¬È¡¾öÓÚÒµÎñ¶ÔÉÏÊöÒì³£µÄÈÝÈ̶ȣ¨±ÈÈçÉæ¼°µ½½»Òס¢Ö§¸¶¸úÇ®Ïà¹ØµÄ£¬Ò»°ã¶¼»áÉèÖÃΪǿ¹æÔò£¬¶ÔÓÚһЩƫÐÐΪ·ÖÎöµÄ£¬Ò»°ã¶¼ÊÇÈõ¹æÔò£©¡£
½¨Á¢È«Á´Â·¼à¿Ø
Êý¾ÝÖÐ̨µÄÄ£ÐÍÉè¼ÆÊÇ·Ö²ãµÄ£¬È·±£Öмä½á¹û¿ÉÒÔ±»¶à¸öÄ£Ð͸´Óᣲ»¹ýÕâ»áµ¼ÖÂÊý¾Ý¼Ó¹¤µÄÁ´Â·±ä³¤£¬¼Ó¹¤Á´Â·µÄÒÀÀµ¹ØÏµ»á·Ç³£¸´ÔÓ£¬×îÖÕµ±ÏÂÓαíÉϵÄij¸öÖ¸±ê³öÏÖÎÊÌ⣬ÅŲ鶨λÎÊÌâµÄʱ¼ä¶¼»á±È½Ï³¤¡£ËùÒÔ£¬ÎÒÃÇÓбØÒª»ùÓÚÊý¾ÝѪԵ¹ØÏµ£¬½¨Á¢È«Á´Â·Êý¾ÝÖÊÁ¿¼à¿Ø¡£

´ÓÕâ¸öͼÖÐÄã¿ÉÒÔ¿´µ½£¬ÒµÎñϵͳµÄÔ´Êý¾Ý¿â±íÊÇÆðµã£¬¾¹ýÊý¾ÝÖÐ̨µÄÊý¾Ý¼Ó¹¤Á´Â·£¬²ú³öÖ¸±ê¡°ºÚ¿¨»áÔ±¹ºÂòÓû§Êý¡±£¬Êý¾ÝÓ¦ÓÃÊÇÁ´Â·µÄÖյ㡣¶ÔÁ´Â·ÖÐÿ¸ö±íÔö¼Ó»üºËУÑ鹿ÔòÖ®ºó£¬µ±ÆäÖÐÈκÎÒ»¸ö½Úµã²ú³öµÄÊý¾Ý³öÏÖÒ쳣ʱ£¬ÄãÄܹ»µÚһʱ¼ä·¢ÏÖ£¬²¢Á¢¼´ÐÞ¸´£¬×öµ½Ôç·¢ÏÖ¡¢ÔçÐÞ¸´¡£ÁíÍ⣬¼´Ê¹ÊÇʹÓ÷½·´À¡¾Óª·ÖÎöÉϵĺڿ¨»áÔ±¹ºÂòÓû§Êý£¬Ïà½ÏÓÚ×òÌìÊý¾Ý´ó·ùϽµ³¬¹ý
30%£¬ÄãÒ²¿ÉÒÔ¿ìËÙÅж¨Õû¸öÖ¸±ê¼Ó¹¤Á´Â·ÉϽڵãÊÇ·ñÔËÐÐÕý³££¬²ú³öÈÎÎñÊÇ·ñÓиüУ¬Ìá¸ßÁËÎÊÌâÅŲéËÙ¶È¡£
ͨ¹ýÖÇÄÜÔ¤¾¯£¬È·±£ÈÎÎñ°´Ê±²ú³ö
ÔÚÊý¾ÝÖÊÁ¿ÎÊÌâÖУ¬ÎÒÌáµ½»á´æÔÚÎïÀí×ÊÔ´²»×㣬µ¼ÖÂÈÎÎñ²ú³öÑÓ³ÙµÄÇé¿ö¡£ÔÚÍøÒ×£¬ËùÓÐÊý¾ÝÖÐ̨²ú³öµÄÖ¸±êÒªÇó
6 µãǰ²ú³ö¡£ÎªÁËʵÏÖÕâ¸öÄ¿±ê£¬ÎÒÃÇÐèÒª¶ÔÖ¸±ê¼Ó¹¤Á´Â·ÖеÄÿ¸öÈÎÎñµÄ²ú³öʱ¼ä½øÐÐ¼à¿Ø£¬»ùÓÚÈÎÎñµÄÔËÐÐʱ¼äºÍÊý¾ÝѪԵ£¬¶ÔÏÂÓÎÖ¸±ê²ú³öʱ¼ä½øÐÐʵʱԤ²â£¬Ò»µ©·¢ÏÖÖ¸±êÎÞ·¨°´Ê±²ú³ö£¬ÔòÁ¢¼´±¨¾¯£¬Êý¾Ý¿ª·¢¿ÉÒÔÖÕֹһЩµÍÓÅÏȼ¶µÄÈÎÎñ£¬È·±£ºËÐÄÈÎÎñ°´Ê±²ú³ö¡£
ͨ¹ýÓ¦ÓõÄÖØÒªÐÔÇø·ÖÊý¾ÝµÈ¼¶£¬¼Ó¿ì»Ö¸´ËÙ¶È
»üºËУÑé»áÏûºÄ´óÁ¿µÄ×ÊÔ´£¬ËùÒÔÖ»ÓкËÐÄÈÎÎñ²ÅÐèÒª¡£ºËÐÄÈÎÎñµÄ¶¨ÒåÊǺËÐÄÓ¦Óã¨Ê¹Ó÷¶Î§¹ã¡¢Ê¹ÓÃÕß¹ÜÀí¼¶±ð¸ß£©Êý¾ÝÁ´Â·ÉϵÄËùÓÐÈÎÎñ¡£
¹æ·¶»¯¹ÜÀíÖÆ¶È
½²µ½Õâ¶ù£¬Äã¿ÉÄÜ»áÎÊ£ºÊý¾ÝÖÊÁ¿È¡¾öÓÚ»üºË¹æÔòµÄÍêÉÆÐÔ£¬Èç¹ûÊý¾Ý¿ª·¢Ã»ÓÐÌí¼Ó£¬»òÕßÌí¼ÓµÄ¹æÔò²»È«£¬ÊDz»ÊǾʹﲻµ½Ôç·¢ÏÖ¡¢Ôç»Ö¸´£¿Õâ¸öÎÊÌâ´ÁÖÐÁËÒªº¦£¬¾ÍÊǹæÔòµÄÍ걸ÐÔÈçºÎÀ´±£ÕÏ¡£ÔÚÎÒ¿´À´£¬Õâ²»½ö½öÊÇÒ»¸ö¼¼ÊõÎÊÌâ£¬Ò²Éæ¼°¹ÜÀí¡£ÔÚÍøÒ×£¬ÎÒÃÇ»áÖÆ¶¨Ò»Ð©Í¨ÓõÄÖ¸µ¼¹æÔò£¨±ÈÈ磬ËùÓÐÊý¾ÝÖÐ̨ά»¤µÄ±í¶¼ÐèÒªÌí¼ÓÖ÷¼üΨһÐÔµÄ¼à¿Ø¹æÔò£©£¬µ«ÕâЩͨÓùæÔòÍùÍùÓëÒµÎñ¹ØÏµ²»´ó¡£Èç¹ûÉæ¼°ÒµÎñ²ãÃæ£¬¾ÍÒªÓÉÊý¾Ý¼Ü¹¹Ê¦Ç£Í·£¬°´ÕÕÖ÷ÌâÓò¡¢ÒµÎñ¹ý³Ì£¬¶Ôÿ¸ö±íµÄ¹æÔò½øÐÐÆÀÉ󣬾ö¶¨ÕâЩ¹æÔò¹»²»¹»¡£ÄÇÎÒÏ뽨ÒéÄ㣬Èç¹ûÒª×ö»üºËУÑ飬¿ÉÒÔͨ¹ý×齨Êý¾Ý¼Ü¹¹Ê¦ÍŶӣ¬ÓÉÕâ¸öÍŶӸºÔðºËÐıíµÄ¹æÔòÉóºË£¬È·±£¹æÔòµÄÍ걸ÐÔ¡£ÄÇôµ±Äã°´ÕÕÕ⼸¸ö·½·¨½¨Á¢ÁËÊý¾ÝÖÊÁ¿Ìåϵ֮ºó£¬ÒªÈçºÎÑéÖ¤ÌåϵÊÇ·ñÓÐÐ§ÄØ?
ÈçºÎºâÁ¿Êý¾ÝÖÊÁ¿£¿
×öÊý¾ÝÖÎÀí£¬ÎÒÒ»Ö±·îÐС°Ð§¹û¿ÉÁ¿»¯¡±µÄÔÔò£¬·ñÔòÕâ¸öÖÎÀí×öµ½Ê²Ã´³Ì¶È£¬ºÜÄѺâÁ¿¡£ÄÇôÈçºÎÆÀ¼ÛÊý¾ÝÖÊÁ¿ÊÇ·ñÓиĽøÄØ£¿³ýÁ˹ÊÕÏ´ÎÊý£¬Ä㻹¿ÉÒÔÓÐÕâÑù¼¸¸öÖ¸±ê¡£4
µã°ëǰÊý¾ÝÖÐ̨ºËÐÄÈÎÎñ²ú³öÍê³ÉÂÊ¡£Õâ¸öÖ¸±êÊÇÒ»¸ö×ÛºÏÐÔÖ¸±ê£¬Èç¹ûÈÎÎñÒì³££¬ÈÎÎñÑÓ³Ù£¬Ç¿»üºË¹æÔòʧ°Ü£¬¶¼»áµ¼ÖÂÈÎÎñÎÞ·¨Ôڹ涨ʱ¼äǰ²ú³ö¡£»ùÓÚ»üºË¹æÔò£¬¼ÆËã±í¼¶±ðµÄÖÊÁ¿·ÖÊý¡£¸ù¾Ý±íÉÏ»üºË¹æÔòµÄͨ¹ýÇé¿ö£¬ÎªÃ¿¸ö±í½¨Á¢ÖÊÁ¿·ÖÊý£¬¶ÔÓÚ·ÖÊýµÍµÄ±í£¬±í¸ºÔðÈËÒª³Ðµ£¸Ä½øÔðÈΡ£ÐèÒªÁ¢¼´½éÈëµÄ±¨¾¯´ÎÊý£¬Í¨³£ÒÔ¿ªÆôÑ»·±¨¾¯µÄµç»°±¨¾¯´ÎÊýΪ׼¡£¶ÔÓÚºËÐÄÈÎÎñ£¬ÈÎÎñÒì³£»á´¥·¢Ñ»·µç»°±¨¾¯£¬½Óµ½±¨¾¯µÄÊý¾Ý¿ª·¢ÐèÒªÁ¢¼´½éÈë¡£Êý¾Ý²úÆ·
SLA¡£Ã¿¸öÊý¾Ý²úÆ·ÉÏËùÓÐÖ¸±êÓÐûÓÐÔÚ 9 µã²ú³ö£¬Èç¹ûûÓУ¬¿ªÊ¼¼ÆËã²»¿ÉÓÃʱ¼ä£¬ÕûÌå¿ÉÒÔ°´ÕÕ²»Í¬Êý¾Ý²úÆ·µÄÖØÒªÐÔ½øÐÐÕÛË㣬99.8%
ÊÇÊý¾Ý²úÆ·Ò»¸öÏà¶Ô±È½ÏºÃµÄ SLA¡£
²»¹ý£¬¼¼ÊõºÍ¹æ·¶×îÖÕÐèÒªÒÀ¿¿²úÆ·À´°ïÖúÂ䵨£¬ÔÚÍøÒ×ÄÚ²¿£¬ÓÐÒ»¸öÊý¾ÝÖÊÁ¿ÖÐÐÄµÄ ²úÆ·£¬Í¨¹ý½éÉÜÕâ¸ö²úÆ·£¬ÎÒÏ£ÍûÄܸøÄãÒ»¸ö²Î¿¼£¬ÈçºÎÈ¥Éè¼ÆÒ»¸öÊý¾ÝÖÊÁ¿ÖÐÐÄ£¬»òÕßÔÚÑ¡Ð͵Äʱºò£¬Êý¾ÝÖÊÁ¿ÖÐÐıØÐë¾ß±¸µÄ¹¦ÄÜ¡£
³É±¾ÓÅ»¯
ÔÚÒ»¿ªÊ¼½¨ÉèÊý¾ÝÖÐ̨ʱ£¬ÄãÍùÍù»á¹Ø×¢ÐÂÒµÎñµÄ½ÓÈ룬Êý¾ÝµÄÕûºÏ£¬Êý¾Ý¼ÛÖµµÄÍÚ¾òÉÏ£¬ºöÂԳɱ¾¹Ü¿ØµÄÎÊÌ⣬´Ó¶øÂäÈëÏÝÚåÖУ¬Ôì³É³É±¾±¬Õ¨Ê½µÄÔö³¤¡£ËùÒÔ£¬ÄãÓбØÒªÉîÈëÁ˽âÒ»ÏÂÓÐÄÄЩÏÝÚ壬´Ó¶ø¾¡Á¿ÔÚÈÕ³£¿ª·¢ÖбÜÃâ¡£ÔÚÕâÀÎÒ×ܽáÁË
8 ÖÖÏÝÚ壬ÆäÖУº
1~3 Êǹ㷺´æÔÚ£¬µ«ÊÇÈÝÒ×±»ºöÂԵģ¬ÐèÒªÄã¸ñÍâ×¢Ò⣻
4~8 Éæ¼°Êý¾Ý¿ª·¢ÖÐһЩ¼¼ÄÜ£¬ÄãÔÚ¿ª·¢¹ý³ÌÖÐ×¢ÒâһϾͿÉÒÔÁË¡£
³ý´ËÖ®Í⣬ÔÚѧϰÕⲿ·Ö֪ʶµÄ¹ý³ÌÖУ¬ÎÒ½¨ÒéÄã¡°ÖªÆäÈ»£¬¸üÒªÖªÆäËùÒÔÈ»¡±£¬ÕâÑù²ÅÄÜ·¢ÏÖÎÊÌâµÄ±¾ÖÊ£¬´Ó¶øÉîÈëÕÆÎÕ½â¾öÎÊÌâµÄ·½·¨¡£
µÚÒ»£¬Êý¾ÝÉÏÏßÈÝÒ×ÏÂÏßÄÑ¡£

ÏÈÀ´¿´Ò»×éͳ¼ÆÊý¾Ý£¬ÕâÊÇijÊý¾ÝÖÐ̨ÏîÄ¿£¬±íÏà¹ØµÄʹÓÃͳ¼Æ¡£´ÓÖÐÄã¿ÉÒÔ·¢ÏÖ£¬ÓÐÒ»°ëµÄ±íÔÚ 30 ÌìÄÚ¶¼Ã»ÓзÃÎÊ£¬¶øÕâЩ±íÕ¼ÓÃÁË
26% µÄ´æ´¢¿Õ¼ä¡£Èç¹ûÎÒÃǰÑÕâЩ±íµÄ²ú³öÈÎÎñµ¥¶ÀÁà³öÀ´£¬Ôڸ߷åÆÚÐèÒªÏûºÄ 5000Core CPU
µÄ¼ÆËã×ÊÔ´£¬»»Ëã³É·þÎñÆ÷ÐèÒª 125 ̨£¨°´ÕÕһ̨·þÎñÆ÷¿É·ÖÅä CPU 40Core ¼ÆË㣩£¬Õۺϳɱ¾Ò»Äê½Ó½ü
500W¡£ÊDz»ÊǾõµÃ×Ô¼º¾¹È»ÓÐÕâô¶àûÓõÄÊý¾Ý£¿ÎÒ¾³£°ÑÊý¾Ý±È×÷ÊÖ»úÖеÄͼƬ£¬ÎÒÃÇ×ÜÊDz»¶ÏµØÅÄÕÕ£¬Éú³ÉͼƬ£¬È´ÀÁµÃÇåÀí£¬×îÖÕÊÖ»úÀïÃæµÄ´æ´¢¾³£²»¹»Ó᣶ÔÓÚÎÞ·¨¼°Ê±ÇåÀíÊý¾Ý£¬Êý¾Ý¿ª·¢ÆäʵҲÓпàÖÔ¡£ËûÃDz¢²»ÖªµÀÒ»¸ö±í»¹ÓÐÄÄЩÈÎÎñÔÚÒýÓ㬻¹ÓÐÄÄЩÈËÔÚ²éѯ£¬×ÔÈ»²»¸ÒÍ£Ö¹Õâ¸ö±íµÄÊý¾Ý¼Ó¹¤£¬ÄÇÔì³ÉµÄºó¹û¾ÍÊÇÊý¾ÝÉÏÏßÈÝÒ×£¬ÏÂÏßÄÑ¡£
µÚ¶þ£¬µÍ¼ÛÖµµÄÊý¾ÝÓ¦ÓÃÏûºÄÁË´óÁ¿µÄ×ÊÔ´¡£
ÎÒÃǵÄÊý¾Ý¿´ÉÏȥÿÌì¶¼ÔÚ±»·ÃÎÊ£¬µ«¾¿¾¹²ú³öÁ˶àÉÙ¼ÛÖµ£¬Í¶ÈëºÍ²ú³öÊÇ·ñÆ¥ÅäÄØ£¿×÷Ϊһ¸öÊý¾Ý²¿ÃÅ£¬ÎÒÃÇÒªÎÊÒ»ÎÊ×Ô¼º¡£ÎÒÃÇÔø¾ÓÐÒ»¸ö¿í±í£¨ÓµÓкܶàÁÐµÄ±í£¬¾³£³öÏÖÔÚÊý¾ÝÖÐ̨ÏÂÓεĻã×ܲãÊý¾ÝÖУ©£¬ËãÉÏÉÏÓμӹ¤Á´Â·µÄÈÎÎñ£¬Ã¿Ìì¼Ó¹¤ÕâÕÅ¿í±íÒªÏûºÄ
6000 ¿éÇ®£¬Ò»ÄêÒª 200W£¬¿É×·²éºóÎÒÃÇ·¢ÏÖ£¬ÕâÕÅ¿í±íʵ¼ÊÿÌìÖ»ÓÐÒ»¸öÈËÔÚʹÓ㬻¹ÊÇÒ»¸öÔËÓªµÄʵϰÉú¡£ÏÔÈ»£¬Í¶ÈëºÍ²ú³ö¼«²»Æ¥Åä¡£ÕâÆäʵ¼ä½Ó˵Ã÷£¬Êý¾Ý²¿ÃűȽϹØ×¢ÐµÄÊý¾Ý²úÆ·´ø¸øÒµÎñµÄ¼ÛÖµ£¬È´ºöÂÔÁËÒѾ´æÔڵIJúÆ·»òÕß±¨±íÊÇ·ñ»¹´æÔÚ¼ÛÖµ£¬×îÖÕµ¼ÖµͼÛÖµµÄÓ¦ÓÃÈÔÈ»ÔÚ´óÁ¿ÏûºÄ×ÊÔ´¡£
µÚÈý£¬ÑÌ´ÑʽµÄ¿ª·¢Ä£Ê½¡£
ÑÌ´ÑʽµÄ¿ª·¢²»½ö»á´øÀ´Ñз¢Ð§Âʵ͵ÄÎÊÌ⣬ͬʱÒòΪÊý¾ÝÖØ¸´¼Ó¹¤£¬»¹»á´æÔÚ×ÊÔ´À˷ѵÄÎÊÌâ¡£ÎÒÃÇÀ´ËãÒ»±ÊÕË£¬Ò»ÕÅ
500T µÄ±í£¬¼Ó¹¤ÕâÕÅ±í£¬¼ÆËãÈÎÎñÐèÒª¸ß·åÆÚÏûºÄ 300Core£¬ÕÛºÏ 7 ̨·þÎñÆ÷£¨°´ÕÕһ̨·þÎñÆ÷¿É·ÖÅä
CPU 40Core ¼ÆË㣩£¬ÔÙ¼ÓÉÏ´æ´¢Å̵ijɱ¾ (°´ÕÕ 0.7 Ôª /TB* Ìì¼ÆËã)£¬Ò»ÄêÐèÒªÏûºÄ
40W¡£¶øÕâÕűíÿ¸´ÓÃÒ»´Î£¬¾Í¿ÉÒÔ½ÚÊ¡ 40W µÄ³É±¾¡£ËùÒÔͨ¹ýÄ£Ð͸´Ó㬻¹¿ÉÒÔʵÏÖʡǮµÄÄ¿µÄ¡£
µÚËÄ£¬Êý¾ÝÇãб¡£
Äã¿Ï¶¨Ìý˵¹ýľͰЧӦ°É£¿Ò»¸öľͰװ¶àÉÙË®£¬Ö÷Ҫȡ¾öÓÚ×î¶ÌµÄÄÇ¿é°å¡£¶ÔÓÚÒ»¸ö·Ö²¼Ê½²¢ÐмÆËã¿ò¼ÜÀ´Ëµ£¬Õâ¸öЧӦͬÑù´æÔÚ¡£¶ÔÓÚ
Spark ¼ÆËãÒýÇæÀ´Ëµ£¬Ëü¿ÉÒÔ½«º£Á¿µÄÊý¾ÝÇзֳɲ»Í¬µÄ·ÖƬ£¨Partition£©£¬·ÖÅäµ½²»Í¬»úÆ÷ÔËÐеÄÈÎÎñÖУ¬½øÐв¢ÐмÆË㣬´Ó¶øÊµÏÖ¼ÆËãÄÜÁ¦Ë®Æ½À©Õ¹¡£µ«ÊÇÕû¸öÈÎÎñµÄÔËÐÐʱ³¤£¬Æäʵȡ¾öÓÚÔËÐÐ×µÄÄǸöÈÎÎñ¡£ÒòΪÿ¸ö·ÖƬµÄÊý¾ÝÁ¿¿ÉÄܲ»Í¬£¬Ã¿¸öÈÎÎñÐèÒªµÄ×ÊÔ´Ò²²»Ïàͬ¡£ÓÉÓÚ²»Í¬µÄÈÎÎñ²»ÄÜ·ÖÅ䲻ͬµÄ×ÊÔ´£¬ËùÒÔ£¬×ÜÈÎÎñÏûºÄ×ÊÔ´
=max{µ¥¸öÈÎÎñÏûºÄµÄ×ÊÔ´} * ÈÎÎñÊýÁ¿¡£ÕâÑùÒ»À´£¬Êý¾ÝÁ¿Ð¡µÄÈÎÎñ»áÏûºÄ¸ü¶àµÄ×ÊÔ´£¬¾Í»áÔì³É×ÊÔ´µÄÀË·Ñ¡£
µÚÎ壬Êý¾ÝδÉèÖÃÉúÃüÖÜÆÚ¡£
Ò»°ãÔʼÊý¾ÝºÍÃ÷ϸÊý¾Ý£¬»á±£ÁôÍêÕûµÄÀúÊ·Êý¾Ý¡£¶øÔÚ»ã×ܲ㡢¼¯Êвã»òÕßÓ¦Óò㣬¿¼Âǵ½´æ´¢³É±¾£¬Êý¾Ý½¨Òé°´ÕÕÉúÃüÖÜÆÚÀ´¹ÜÀí£¬Í¨³£±£Áô¼¸ÌìµÄ¿ìÕÕ»òÕß·ÖÇø¡£Èç¹û´æÔÚ´ó±íûÓÐÉèÖÃÉúÃüÖÜÆÚ£¬¾Í»áÀË·Ñ´æ´¢×ÊÔ´¡£
µÚÁù£¬µ÷¶ÈÖÜÆÚ²»ºÏÀí¡£

ͨ¹ýÕâÕÅͼÄã¿ÉÒÔ¿´µ½£¬´óÊý¾ÝÈÎÎñµÄ×ÊÔ´ÏûºÄÓкÜÃ÷ÏԵĸ߷åºÍµÍ¹ÈЧӦ£¬Ò»°ãÍíÉÏ 12 µãµ½µÚ¶þÌìµÄ
9 µãÊǸ߷åÆÚ£¬9 µãµ½ÍíÉÏ 12 µã£¬ÊÇµÍ¹ÈÆÚ¡£ËäÈ»ÈÎÎñÓÐÃ÷ÏԵĸ߷åµÍ¹ÈЧӦ£¬µ«ÊÇ·þÎñÆ÷×ÊÔ´²»Êǵ¯ÐԵģ¬ËùÒԾͻá³öÏÖ·þÎñÆ÷ÔÚµÍ¹ÈÆÚ±È½Ï¿ÕÏУ¬Ôڸ߷åÆÚ±È½Ï·±Ã¦µÄÇé¿ö£¬Õû¸ö¼¯ÈºµÄ×ÊÔ´ÅäÖÃÈ¡¾öÓڸ߷åÆÚµÄÈÎÎñÏûºÄ¡£ËùÒÔ£¬°ÑһЩ²»±ØÒªÔڸ߷åÆÚÄÚÔËÐÐÈÎÎñÇ¨ÒÆµ½µÍ¹ÈÆÚÔËÐУ¬Ò²¿ÉÒÔ½ÚÊ¡×ÊÔ´µÄÏûºÄ¡£
µÚÆß£¬ÈÎÎñ²ÎÊýÅäÖá£
ÈÎÎñ²ÎÊýÅäÖõIJ»ºÏÀí£¬ÍùÍùÒ²»áÀË·Ñ×ÊÔ´¡£±ÈÈçÔÚ Spark ÖУ¬Executor ÄÚ´æÉèÖõĹý´ó£»CPU
ÉèÖõĹý¶à£»»¹ÓÐ Spark ûÓпªÆô¶¯Ì¬×ÊÔ´·ÖÅä²ßÂÔ£¬Ò»Ð©ÒѾÔËÐÐÍê Task µÄ Executor
²»ÄÜÊÍ·Å£¬³ÖÐøÕ¼ÓÃ×ÊÔ´£¬ÓÈÆäÊÇÓöµ½Êý¾ÝÇãбµÄÇé¿ö£¬×ÊÔ´ÀË·Ñ»á¸ü¼ÓÃ÷ÏÔ¡£
µÚ°Ë£¬Êý¾ÝδѹËõ¡£
Hadoop µÄ HDFS ΪÁËʵÏָ߿ÉÓã¬Ä¬ÈÏÊý¾Ý´æ´¢ 3 ¸±±¾£¬ËùÒÔ´óÊý¾ÝµÄÎïÀí´æ´¢Á¿ÏûºÄÊDZȽϴóµÄ¡£ÓÈÆäÊǶÔÓÚһЩÔʼÊý¾Ý²ãºÍÃ÷ϸÊý¾Ý²ãµÄ´ó±í£¬¶¯éü
500 ¶à T£¬ÕÛºÏÎïÀí´æ´¢ÐèÒª 1.5P£¨Èý¸±±¾£¬ËùÒÔʵ¼ÊÎïÀí´æ´¢ 5003£©£¬´óÔ¼ÐèÒª 16 ̨ÎïÀí·þÎñÆ÷£¨Ò»Ì¨·þÎñÆ÷¿É·ÖÅä´æ´¢°´ÕÕ
128T ¼ÆË㣩£¬Èç¹û²»ÆôÓÃѹËõ£¬´æ´¢×ÊÔ´³É±¾»áºÜ¸ß¡£ÁíÍ⣬ÔÚ Hive »òÕß Spark ¼ÆËã¹ý³ÌÖУ¬Öмä½á¹ûÒ²ÐèҪѹËõ£¬¿ÉÒÔ½µµÍÍøÂç´«ÊäÁ¿£¬Ìá¸ß
Shuffer (ÔÚ Hive »òÕß Spark ¼ÆËã¹ý³ÌÖУ¬Êý¾ÝÔÚ²»Í¬½ÚµãÖ®¼äµÄ´«Êä¹ý³Ì) ÐÔÄÜ¡£Äã¿´£¬ÎÒΪÄãÁоÙÁË
8 ¸öµäÐ͵ijɱ¾ÏÝÚ壬ÄÇÄã¿ÉÄÜ»áÎÊÁË£¬ÀÏʦ£¬ÎÒÒѾÖÐÕÐÁË£¬¸ÃÔõô°ìÄØ£¿ ±ð¼±£¬½ÓÏÂÀ´ÎÒÃǾͿ´Ò»¿´£¬ÈçºÎ½øÐо«Ï¸»¯µÄ³É±¾¹ÜÀí¡£
ÈçºÎʵÏÖ¾«Ï¸»¯³É±¾¹ÜÀí£¿
ÎÒÈÏΪ£¬³É±¾ÖÎÀíÓ¦¸Ã×ñÑÈ«¾ÖÅ̵㡢·¢ÏÖÎÊÌâ¡¢ÖÎÀíÓÅ»¯ºÍЧ¹ûÆÀ¹ÀËĸö²½Öè¡£
È«¾Ö×ʲúÅ̵ã
¾«Ï¸»¯³É±¾¹ÜÀíµÄµÚÒ»²½£¬¾ÍÊÇÒª¶ÔÊý¾ÝÖÐ̨ÖУ¬ËùÓеÄÊý¾Ý½øÐÐÒ»´ÎÈ«ÃæÅ̵㣬»ùÓÚÔªÊý¾ÝÖÐÐÄÌṩµÄÊý¾ÝѪԵ£¬½¨Á¢È«Á´Â·µÄÊý¾Ý×ʲúÊÓͼ¡£

´ÓÕâ¸öͼÖÐÄã¿ÉÒÔ¿´µ½£¬È«Á´Â·Êý¾Ý×ʲúÊÓͼµÄÏÂÓÎÄ©¶Ë¹ØÁªµ½ÁËÊý¾ÝÓ¦Ó㨱¨±í£º²ÆÎñ·ÖÎö£©£¬¶øÉÏÓÎµÄÆðµãÊǸսøÈëÊý¾ÝÖÐ̨µÄÔʼÊý¾Ý¡£Êý¾ÝÖ®¼äͨ¹ýÈÎÎñ½øÐÐÁ¬½Ó¡£½ÓÏÂÀ´£¬ÎÒÃÇÒª¼ÆËãÈ«Á´Â·Êý¾Ý×ʲúÊÓͼÖУ¬Ä©¶ËÊý¾ÝµÄ³É±¾ºÍ¼ÛÖµ£¨Ä©¶ËÊý¾Ý¾ÍÊǼӹ¤Á´Â·×îÏÂÓÎµÄ±í£¬ÀýÈçͼÖÐ
TableA£¬Table G£©¡£ÎªÊ²Ã´Ò»¶¨Òª´ÓÄ©¶Ë¿ªÊ¼ÄØ£¿ ÒòΪÖмäÊý¾Ý£¬ÔÚ¼ÆËã¼ÛÖµµÄʱºò£¬»¹Òª¿¼ÂÇÏÂÓÎ±í±»Ê¹ÓõÄÇé¿ö£¬±È½ÏÄѼÆËãÇå³þ£¬ËùÒÔÎÒÃÇÑ¡Ôñ´ÓÄ©¶ËÊý¾Ý¿ªÊ¼¡£ÕâÓëÎÒÃÇÏÂÏß±íµÄ˳ÐòÒ²ÊÇÒ»Öµģ¬Èç¹ûÊý¾ÝµÄ¼ÛÖµºÜµÍ£¬³É±¾ºÜ¸ß£¬ÎÒÃÇÒ²ÊÇ´ÓÄ©¶ËÊý¾Ý¿ªÊ¼ÏÂÏߵġ£
ÄÇôÊý¾Ý³É±¾¸ÃÈçºÎ¼ÆËãÄØ£¿
ÎÒÃÇÒª¶ÔÉÏͼÖвÆÎñ·ÖÎö±¨±íºËËã³É±¾£¬Õâ¸ö±¨±íÉÏÓÎÁ´Â·ÖÐÉæ¼°µ½ a£¬b£¬c£¬3 ¸öÈÎÎñ£¬A£¬B£¬C£¬D£¬E£¬F£¬
6 ÕÅ±í£¬ÄÇô£º
ÕâÕű¨±íµÄ³É±¾ =3 ¸öÈÎÎñ¼Ó¹¤ÏûºÄµÄ¼ÆËã×ÊÔ´³É±¾ +6 ÕűíÏûºÄµÄ´æ´¢×ÊÔ´µÄ³É±¾¡£
ÁíÍ⣬ÐèҪעÒâµÄÊÇ£¬Èç¹ûÒ»¸ö±í±»¶à¸öÏÂÓÎÓ¦Óø´Óã¬ÄÇÕâ¸ö±íµÄ´æ´¢×ÊÔ´³É±¾ÒÔ¼°²ú³öÈÎÎñÏûºÄµÄ³É±¾£¬ÐèÒª·Ö̯¸ø¶à¸öÓ¦Óá£
ÄǼÛÖµÓÖ¸ÃÈçºÎ¼ÆËãÄØ£¿

ÎÒÃÇÀ´·ÖÎöÒ»ÏÂÕâÕÅͼ¡£Èç¹ûÄ©¶ËÊý¾ÝÊÇÒ»ÕÅÓ¦ÓòãµÄ±í£¬Ëü¶Ô½ÓµÄÊÇÒ»¸öÊý¾Ý±¨±í£¬ÄǺâÁ¿Õâ¸öÊý¾ÝµÄ¼ÛÖµ£¬Ö÷ÒªÊÇ¿´±¨±íµÄʹÓ÷¶Î§ºÍʹÓÃÆµÂÊ¡£ÔÚ¼ÆËãʹÓ÷¶Î§Ê±£¬Í¨³£ÓÃÖÜ»îÀ´ÆÀ¹À£¬Í¬Ê±»¹Òª¿¼ÂDz»Í¬¹ÜÀí¼¶±ðµÄÈËÈ¨ÖØ£¬¶ÔÓÚÀϰ壬ËûÒ»¸öÈ˵ÄÈ¨ÖØ¿ÉÒÔÏ൱ÓÚ
1000 ¸öÆÕͨԱ¹¤¡£Ö®ËùÒÔÕâÑùÉè¼Æ£¬ÊÇ¿¼Âǵ½¹ÜÀí¼¶±ðÔ½¸ß£¬×ö³öµÄÉÌÒµ¾ö²ßÓ°Ïì¾ÍÔ½´ó£¬×ÔÈ»Õâ¸ö¼ÛÖµÒ²¾ÍÔ½´ó¡£Ê¹ÓÃÆµÂÊÒ»°ãʹÓõ¥¸öÓû§Ã¿Öܲ鿴±¨±íµÄ´ÎÊýÀ´ºâÁ¿£¬´ÎÊýÔ½¸ß£¬ËµÃ÷±¨±í¼ÛÖµÔ½´ó¡£Èç¹ûÄ©¶ËÊý¾Ý¶Ô½ÓµÄ²»ÊÇÒ»¸öÊý¾Ý±¨±í£¬¶øÊÇÃæÏòÌØ¶¨³¡¾°µÄÊý¾ÝÓ¦Ó㨱ÈÈçÎÒ֮ǰÌáµ½¹ýµÄ¹©Ó¦Á´·ÖÎö¾ö²ßϵͳ£¬ËüÃæÏòµÄÈËȺÖ÷ÒªÊǹ©Ó¦Á´²¿ÃÅ£©¡£ºâÁ¿ÕâÀà²úÆ·µÄ¼ÛÖµ£¬Ö÷Òª¿¼ÂÇÄ¿±êÈËȺµÄ¸²¸ÇÂʺÍÖ±½ÓÒµÎñ¼ÛÖµ²ú³ö¡£Ê²Ã´ÊÇÖ±½ÓÒµÎñ¼ÛÖµ²ú³öÄØ£¿£¬ÔÚ¹©Ó¦Á´¾ö²ßϵͳÖУ¬¾ÍÊÇͨ¹ýϵͳ×Ô¶¯Éú³ÉµÄ²É¹º¶©µ¥Õ¼ËùÓвɹº¶©µ¥µÄ±ÈÀý¡£³ý´ËÖ®Í⣬ĩ¶ËÊý¾Ý£¬¿ÉÄÜ»¹ÊÇÒ»Õż¯ÊвãµÄ±í£¬ËüÖ÷ÒªÓÃÓÚÌṩ¸ø·ÖÎöʦ×ö̽Ë÷ʽ²éѯ¡£ÕâÀà±íµÄ¼ÛÖµÖ÷Òª¿´Ëü±»ÄÄЩ·ÖÎöʦʹÓã¬Ê¹ÓÃÆµÂÊÈçºÎ¡£Í¬Ñù£¬ÔÚʹÓ÷¶Î§ÆÀ¹Àʱ£¬Òª¶Ô·ÖÎöʦ°´ÕÕ¼¶±ð½øÐмÓȨ¡£
·¢ÏÖÎÊÌâ
È«¾ÖÅ̵㣬ΪÎÒÃÇ·¢ÏÖÎÊÌâÌṩÁËÊý¾ÝÖ§³Å£¬¶øÄãÐèÒªÖØµã¹Ø×¢ÏÂÃæÈýÀàÎÊÌ⣺
³ÖÐø²úÉú³É±¾£¬µ«ÊÇÒѾûÓÐʹÓõÄÄ©¶ËÊý¾Ý£¨¡°Ã»ÓÐʹÓá±Ò»°ãÖ¸ 30 ÌìÄÚûÓзÃÎÊ£©£»
Êý¾ÝÓ¦ÓüÛÖµºÜµÍ£¬³É±¾È´ºÜ¸ß£¬ÕâЩÊý¾ÝÓ¦ÓÃÉÏÓÎÁ´Â·ÉϵÄËùÓÐÏà¹ØÊý¾Ý£»
¸ß·åÆÚ¸ßÏûºÄµÄÊý¾Ý¡£
ÄÇôΪʲôÄãÒª¹Ø×¢ÕâÈýÀàÊý¾ÝÄØ£¿
ÆäʵµÚÒ»Àà¾ÍÊÇûÓÐʹÓ㬵«Ò»Ö±ÔÚÏûºÄ³É±¾µÄ±í£¬¶ÔÓ¦µÄ¾ÍÊÇÎÒÌáµ½µÄÏÝÚå 1¡£
µÚ¶þÀàÆäʵ¾ÍÊǵͼÛÖµ²ú³ö£¬¸ß³É±¾µÄÊý¾ÝÓ¦Ó㬶ÔÓ¦µÄÊÇÏÝÚå 2¡£
µÚÈýÀà¸ß³É±¾µÄÊý¾Ý£¬¶ÔÓ¦µÄ¾ÍÊÇÏÝÚå 4¡«8¡£
ÖÎÀíÓÅ»¯
Õë¶ÔÕâÈýÀàÎÊÌ⣬ÎÒÃÇÐèÒªÖÆ¶©ÏàÓ¦µÄ²ßÂÔ¡£¶ÔÓÚµÚÒ»ÀàÎÊÌ⣬Ӧ¸Ã¶Ô±í½øÐÐÏÂÏß¡£ Êý¾ÝÏÂÏßÒª½÷É÷£¬Äã¿ÉÒԲο¼ÕâÕÅÊý¾ÝÏÂÏßµÄÖ´Ðйý³Ìͼ£º

Ä©¶ËÊý¾Ýɾ³ýºó£¬ÔÏÈÄ©¶ËÊý¾ÝµÄÉÏÓÎÊý¾Ý»á³ÉΪеÄÄ©¶ËÊý¾Ý£¬Í¬Ñù»¹Òª°´·¢ÏÖÎÊÌâµ½ÖÎÀíÓÅ»¯½øÐÐÖØ¸´£¬Ö±µ½ËùÓеÄÄ©¶ËÊý¾Ý¶¼²»Âú×ãÏÂÏß²ßÂÔΪֹ¡£¶ÔµÚ¶þÀàÎÊÌ⣬ÎÒÃÇÐèÒª°´ÕÕÓ¦ÓÃÁ£¶ÈÆÀ¹ÀÓ¦ÓÃÊÇ·ñ»¹ÓдæÔڵıØÒª¡£¶ÔÓÚ±¨±í£¬¿ÉÒÔ°´ÕÕ
30 ÌìÄÚûÓзÃÎʵÄÓ¦ÓÃ×Ô¶¯ÏÂÏߵIJßÂÔ£¬ÏȶԱ¨±í½øÐÐÏú»Ù£¬È»ºó¶Ô±¨±íÉÏÓÎµÄ±í½øÐÐÏÂÏߣ¬Èç¹û¸Ã±í»¹±»ÆäËûµÄÓ¦ÓÃÒýÓ㬾Ͳ»ÄÜÏÂÏß¡£ÏÂÏß²½Öè¿ÉÒԲο¼Ç°ÃæµÄÏÂÏß²½Öè¡£µÚÈýÀàÎÊÌ⣬Ö÷ÒªÊÇÕë¶Ô¸ßÏûºÄµÄÊý¾Ý£¬ÓÖ¾ßÌå·ÖΪ²ú³öÊý¾ÝµÄÈÎÎñ¸ßÏûºÄºÍÊý¾Ý´æ´¢¸ßÏûºÄ¡£¶ÔÓÚ²ú³öÈÎÎñ¸ßÏûºÄ£¬Ê×ÏÈÒª¿¼ÂÇÊDz»ÊÇÊý¾ÝÇãб¡£¾ßÌåÔõôÅжÏÄØ£¿ÆäʵÄã¿ÉÒÔͨ¹ý
MR »òÕß Spark ÈÕÖ¾ÖУ¬Shuffer µÄÊý¾ÝÁ¿½øÐÐÅжϡ£Èç¹ûÓÐijһ¸ö Task Êý¾ÝÁ¿·Ç³£´ó£¬ÆäËûµÄºÜÉÙ£¬¾Í¿ÉÒÔÅж¨³öÏÖÁËÊý¾ÝÇãб¡£
ÖÎÀíЧ¹ûÆÀ¹À
ÏÖÔÚ£¬Í¨¹ýÎÒ½éÉܵÄÕ⼸¸ö·½·¨£¬ÄãÒѾÄܹ»½ÚÊ¡´óÁ¿µÄ×ÊÔ´ÏûºÄ£¬ÄÇÈçºÎÁ¿»¯ÎÒÃǵÄÖÎÀí³É¹ûÄØ£¿Îå¸ö×Ö£ºÊ¡Á˶àÉÙÇ®¡£²»¹ý£¬Èç¹ûÖ±½ÓÄ÷þÎñÆ÷µÄÊýÁ¿À´ºâÁ¿£¬Æäʵ²¢²»ÄÜÕæÊµµØ·´Ó¦ÖÎÀíЧ¹û£¬ÒòΪ»¹Òª¿¼ÂÇÒµÎñÔö³¤µÄÔÒò¡£ÒµÎñ²»ÊÇÍ£Ö¹²»¶¯µÄ£¬ËùÒÔÄã¿ÉÒÔÎ§ÈÆÈÎÎñºÍÊý¾ÝµÄ³É±¾¿¼ÂÇÕâÑù¼¸µã£º
ÏÂÏßÁ˶àÉÙÈÎÎñºÍÊý¾Ý£»ÕâЩÈÎÎñÿÈÕÏûºÄÁ˶àÉÙ×ÊÔ´£»Êý¾ÝÕ¼ÓÃÁ˶àÉÙ´æ´¢¿Õ¼ä¡£ÄÃÕâЩ×ÊÔ´À´¼ÆËã³É±¾£¬ÕâÑù¾ÍÄܹ»Ëã³öÀ´Ê¡Á˶àÉÙÇ®¡£ÎÒ»¹ÊÇÄñ¾½Ú¿Î¿ªÊ¼µÄÀý×ÓÀ´¿´£¬ÈÎÎñ
A ÔËÐÐʱ³¤ 3 ¸öСʱ£¬ÔÚÔËÐйý³ÌÖУ¬¹²ÏûºÄ 5384503 cpu*s£¬37007892 GB
*s, ¼ÙÉèÎÒÃÇ 1 ¸ö CU £¨1 cpu£¬ 4g memeory£©Ò»ÄêÊÇ 1300 Ôª³É±¾£¬ÕÛºÏÿÌìΪ
3.5 Ôª£¨¼ÆË㹫ʽΪ 1300/365£©¡£
Êý¾Ý·þÎñµÄÎÊÌâ
·þÎñ»¯ÔÚÒµÎñϵͳÖÐÌáµÄ±È½Ï¶à£¬ËüÊÇÒµÎñϵͳ»¯·±Îª¼ò£¬ÊµÏÖÒµÎñ²ð·ÖµÄ±Ø¾Ö®Â·£¨ÌرðÊÇÕ⼸Äê΢·þÎñµÄ¸ÅÄîÉîÈëÈËÐÄ£©¡£ÄǶÔÓÚÊý¾ÝÖÐ̨£¬·þÎñ»¯Òâζ×ÅÊ²Ã´ÄØ£¿Êý¾Ý·þÎñµ½µ×½â¾öÁËʲôÎÊÌ⣿
ÎÒÏàÐźܶàÈË»áÓÐÕâÑùµÄÒÉÎÊ¡£·þÎñ»¯£º²»Í¬ÏµÍ³Ö®¼äͨ¹ý·þÎñ·½Ê½½»»¥£¬·þÎñͨ³£ÒÔ API ½Ó¿ÚÐÎʽ´æÔÚ¡£µ±È»£¬¹ØÓÚÊý¾Ý·þÎñµÄ¡°ÁÏ¡±ºÜ¶à£¬ÐÅÏ¢±È½ÏÃܼ¯£¬ËùÒÔÎÒ»áÓÃÁ½½²µÄʱ¼ä°ïÄã¸ãÇå³þÕⲿ·ÖÄÚÈÝ£¬½ñÌìÔÛÃÇÏÈÀ´´ÓÎÊÌâÈëÊÖ£¬¿´Ò»¿´Êý¾Ý·þÎñ½â¾öÁËʲôÎÊÌ⣬´òÏûÄ㡰ΪʲôҪÓÐÊý¾Ý·þÎñ¡±ÕâÑùµÄÒÉÎÊ¡£ÔÚÎÒ¿´À´£¬ÒªÏë¸ãÇå³þÊý¾Ý·þÎñ½â¾öÁËʲôÎÊÌ⣬¾ÍÒªÏÈÖªµÀ£¬Ã»ÓÐÊý¾Ý·þÎñ£¬ÎÒÃÇÔÚÈÕ³£Êý¾Ý½¨ÉèÖдæÔÚÄÄЩʹµã¡£

Êý¾Ý½ÓÈ뷽ʽ¶àÑù£¬½ÓÈëЧÂʵÍ
Êý¾ÝÖÐ̨¼Ó¹¤ºÃµÄÊý¾Ý£¬Í¨³£»áÒÔ Hive ±íµÄÐÎʽ´æ´¢ÔÚ HDFS ÉÏ¡£Èç¹ûÏëÖ±½Óͨ¹ýÊý¾Ý±¨±í»òÕßÊý¾Ý²úƷǰ¶ËÕ¹ÏÖ£¬ÎªÁ˱£Ö¤²éѯµÄËÙ¶È£¬»á°ÑÊý¾Ýµ¼³öµ½Ò»¸öÖÐ¼ä´æ´¢ÉÏ£º
Êý¾ÝÁ¿ÉٵĿÉÒÔÓà MySQL , Oracle µÈ DB£¬ÒòΪ²¿Êðά»¤·½±ã¡¢Êý¾ÝÁ¿Ð¡¡¢²éѯÐÔÄÜÇ¿¡£±ÈÈçÊý¾ÝÁ¿Ð¡ÓÚ
500W Ìõ¼Ç¼£¬½¨ÒéʹÓà DB ×÷ΪÖÐ¼ä´æ´¢£»
Éæ¼°´óÊý¾ÝÁ¿¡¢¶àά¶È²éѯµÄ¿ÉÒÔÓà GreenPlum£¬ËüÔÚº£Á¿Êý¾ÝµÄ OLAP£¨ÔÚÏß·ÖÎö´¦Àí£©³¡¾°ÖÐÓÐÓÅÒìµÄÐÔÄܱíÏÖ¡£±ÈÈçÊý¾ÝÁ¿³¬¹ý
500W ¼Ç¼£¬Òª½øÐжà¸öÌõ¼þµÄ¹ýÂ˲éѯ£»
Éæ¼°´óÊý¾ÝÁ¿µÄµ¥ Key ²éѯ£¬¿ÉÒÔÓà HBase¡£ÔÚ´óÊý¾ÝÁ¿Ï£¬HBase ÓµÓв»´íµÄ¶ÁдÐÔÄÜ¡£±ÈÈ糬¹ý
500W ¼Ç¼£¬¸ù¾Ý Key ²éѯ Value µÄ³¡¾°¡£Èç¹ûÐèÒªÓõ½¶þ¼¶Ë÷Òý£¬ÓÉÓÚ HBase ÔÉú²»Ö§³Ö¶þ¼¶Ë÷Òý£¬ËùÒÔ¿ÉÒÔÒýÈë
ES£¬»ùÓÚ ES ¹¹½¨¶þ¼¶Ë÷ÒýºÍ RowKey£¨HBase ÖÐµÄ Key£©Ó³Éä¹ØÏµ£¬²éѯʱÏȸù¾Ý¶þ¼¶Ë÷ÒýÔÚ
ES ÖÐÕÒµ½ RowKey£¬È»ºóÔÙ¸ù¾Ý RowKey »ñÈ¡ HBase ÖÐµÄ Value Öµ¡£
ÒòΪ²»Í¬µÄÖÐ¼ä´æ´¢£¬Éæ¼°µÄ·ÃÎÊ API Ò²²»Ò»Ñù£¬ËùÒÔ¶ÔÊý¾ÝÓ¦Óÿª·¢À´Ëµ£¬Ã¿¸öÊý¾ÝÓ¦Óö¼Òª¸ù¾Ý²»Í¬µÄÖÐ¼ä´æ´¢£¬¿ª·¢¶ÔÓ¦µÄ´úÂ룬Èç¹ûÉæ¼°¶à¸öÖÐ¼ä´æ´¢£¬»¹ÐèÒª¿ª·¢¶àÌ×´úÂ룬Êý¾Ý½ÓÈëЧÂʺܵ͡£¶øÊý¾Ý·þÎñΪÊý¾Ý¿ª·¢ÆÁ±ÎÁ˲»Í¬µÄÖÐ¼ä´æ´¢£¬Ó¦Óÿª·¢Ê¹ÓÃͳһµÄ
API ½Ó¿Ú·ÃÎÊÊý¾Ý£¬´ó·ù¶ÈÌá¸ßÁËÊý¾ÝÓ¦ÓõÄÑз¢Ð§ÂÊ¡£
Êý¾ÝºÍ½Ó¿ÚûÓа취¸´ÓÃ

ÔÚÉÏͼÖУ¬µ±ÎÒÃÇ¿ª·¢¡°Êý¾ÝÓ¦Óà - ¾Óª·ÖÎö¡±Ê±£¬Êý¾Ý¿ª·¢»á»ùÓÚ a ±í¼Ó¹¤ c ±í£¬È»ºóÊý¾ÝÓ¦Óÿª·¢»á°Ñ
a ºÍ b µÄÊý¾Ýµ¼³öµ½¡°Êý¾ÝÓ¦Óà - ¾Óª·ÖÎöµÄÊý¾Ý¿â db1¡±ÖУ¬È»ºó¿ª·¢¾Óª·ÖÎöµÄ·þÎñ¶Ë´úÂ룬ͨ¹ý½Ó¿Ú
1 ¶Ô web Ìṩ·þÎñ¡£µ±ÎÒÃÇÓÖ½Óµ½ÈÎÎñ¿ª·¢¡°Êý¾ÝÓ¦Óà - ëÀû·ÖÎö¡±Ê±£¬ÎÒÃÇͬÑùÐèÒªÓõ½ b ±íµÄÊý¾Ý£¬ËäÈ»
b µÄÊý¾ÝÒѾ´æÔÚÓÚ db1 ÖУ¬µ« db1 ÊÇ¡°Êý¾ÝÓ¦Óà - ¾Óª·ÖÎö¡±µÄÊý¾Ý¿â£¬ÎÞ·¨¹²Ïí¸ø¡°Êý¾ÝÓ¦ÓÃ
- ëÀû·ÖÎö¡±£¨ÒòΪ²»Í¬Ó¦ÓÃÖ®¼ä¹²ÏíÊý¾Ý¿â£¬»á´æÔÚÏ໥ӰÏ죩¡£Í¬Ê±£¬¾Óª·ÖÎöµÄ·þÎñ¶Ë½Ó¿ÚÒ²ÎÞ·¨Ö±½Ó¸øÃ«Àû·ÖÎöÓã¬ÒòΪ½Ó¿Ú¹éÊôÔÚ¾Óª·ÖÎöÓ¦ÓÃÖУ¬ÒѾ¸ù¾ÝÓ¦ÓÃÐèÇó¸ß¶È¶¨ÖÆ»¯¡£ËùÒÔÎÒÃÇ¿´µ½ÕâÑùµÄÏÖÏ󣺼´Ê¹Êý¾ÝÖØ¸´£¬²»Í¬Êý¾ÝÓ¦ÓÃÖ®¼ä£¬ÔÚÖÐ¼ä´æ´¢ºÍ·þÎñ¶Ë½Ó¿ÚÉÏ£¬Ò²ÊÇÎÞ·¨¸´Óõġ£ÕâÖÖÑÌ´ÑʽµÄ¿ª·¢Ä£Ê½£¬µ¼ÖÂÁËÊý¾ÝÓ¦ÓõÄÑз¢Ð§Âʷdz£µÍ¡£¶øÊý¾Ý·þÎñ£¬Ê¹Êý¾ÝÖÐ̨±©Â¶µÄ²»ÔÙÊÇÊý¾Ý£¬¶øÊǽӿڣ¬½Ó¿Ú²»ÔÙ¹éÊôÓÚij¸öÊý¾ÝÓ¦Ó㬶øÊÇÔÚͳһµÄÊý¾Ý·þÎñÉÏ¡£Õâ¾Íʹ½Ó¿Ú¿ÉÒÔÔÚ²»Í¬µÄÊý¾ÝÓ¦ÓÃÖ®¼ä¹²Ïí£¬Í¬Ê±ÒòΪÊý¾Ý·þÎñ¾ß±¸ÏÞÁ÷µÄ¹¦ÄÜ£¬Ê¹½Ó¿Ú±³ºóµÄÊý¾Ý¹²Ïí³ÉΪ¿ÉÄÜ£¬½â¾öÁ˲»Í¬Ó¦Óù²ÏíÊý¾ÝÏ໥ӰÏìµÄÎÊÌâ¡£ÄÇôµ±Êý¾ÝÓ¦ÓÃÉÏÏßÖ®ºó£¬ÎÒÃǾͽøÈëÁËÔËά½×¶Î£¬Èç¹ûÕâ¸ö½×¶ÎûÓÐÊý¾Ý·þÎñµÄ»°£¬»á³öÏÖʲôÎÊÌâÄØ£¿
²»ÖªµÀÊý¾Ý±»ÄÄЩӦÓ÷ÃÎÊ
¾Ù¸öÀý×Ó£¬Ä³¸ö¼¼ÊõÈËÔ±ËýͻȻ½Óµ½ÁËÒ»¶Ñµç»°±¨¾¯£ºÓдóÁ¿µÄÈÎÎñ³öÏÖÒì³££¨¶ÔÓ¦ÉÏͼÖкìÉ«±íµÄ²ú³öÈÎÎñ£©¡£¾¹ý½ôÕŵĶ¨Î»ºó£¬ËýÈ·ÈÏÎÊÌâÀ´Ô´ÓÚÒµÎñϵͳµÄÔ´Êý¾Ý¿â£¬Ò²¾ÍÊÇ˵£¬ÒòΪһ´ÎÊý¾Ý¿âµÄ±í½á¹¹±ä¸ü£¬µ¼ÖÂÊý¾ÝÖÐ̨ÖУ¬ÔʼÊý¾ÝÇåÏ´³öÏÖÒì³££¬´Ó¶øÓ°ÏìÁËÏÂÓεĶà¸öÈÎÎñ¡£Õâʱ£¬°ÚÔÚËýÃæÇ°µÄ£¬ÊÇÒ»¶ÑÐèÒª»Ö¸´ÖØÅܵÄÈÎÎñ¡£¿ÉÊǶÓÁÐ×ÊÔ´ÓÐÏÞ£¬µ½µ×ÏȻָ´ÄÄÒ»¸öÄØ£¿
ÄĸöÈÎÎñ×îÖÕ»áÓ°Ïìµ½ÀϰåµÚ¶þÌìÒª¿´µÄ±¨±íÄØ£¿ËäÈ»Êý¾ÝѪԵ½¨Á¢Á˱íÓë±íÖ®¼äµÄÁ´Â·¹ØÏµ£¬µ«ÊÇÔÚ±íµÄÄ©¶Ë£¬ÎÒÃÇÈ´²»ÖªµÀÕâ¸ö±í±»ÄÄЩӦÓ÷ÃÎÊ£¬ËùÒÔÓ¦Óõ½±íµÄÁ´Â·¹ØÏµÊǶϵġ£µ±Ä³¸öÈÎÎñÒ쳣ʱ£¬ÎÒÃÇÎÞ·¨¿ìËÙÅжϳöÕâ¸öÈÎÎñÓ°ÏìÁËÄÄЩÊý¾ÝÓ¦Ó㬴ӶøÒ²ÎÞ·¨¸ù¾ÝÓ°Ï췶Χ¾ö¶¨»Ö¸´µÄÓÅÏȼ¶£¬×îÖÕ¿ÉÄܵ¼ÖÂÖØÒªµÄ±¨±íûÓлָ´£¬²»ÖØÒªµÄ±¨±íÈ´±»ÓÅÏȻָ´ÁË¡£Í¬Ñù£¬Ôڳɱ¾ÖÎÀíÖУ¬ÎÒÒ²Ìáµ½£¬ÒòΪûÓÐÓ¦ÓúÍÊý¾ÝµÄÁ´Â·¹ØÏµ£¬ÎÒÃDz»¸ÒóȻÏÂÏßÊý¾Ý¡£¶øÊý¾Ý·þÎñ´òͨÁËÊý¾ÝºÍÓ¦ÓõķÃÎÊÁ´Â·£¬½¨Á¢ÁË´ÓÊý¾ÝÓ¦Óõ½Êý¾ÝÖÐ̨Êý¾ÝµÄÈ«Á´Â·Êý¾ÝѪԵ¹ØÏµ£¬Õâ¾ÍµÈÓÚÎÒÃÇÔÚÃÔ¹¬ÖÐÄõ½ÁËÒ»¸öµØÍ¼£¬µ±ÈκÎÒ»¸öÈÎÎñ³öÏÖÎÊÌ⣬ÎÒÃǶ¼¿ÉÒÔ˳×ŵØÍ¼£¬ÕÒµ½Õâ¸ö¹ÊÕÏÓ°ÏìÁËÄÄЩӦÓ㬴ӶøÕë¶ÔÖØÒªÓ¦ÓüÓËÙ»Ö¸´ËÙ¶È¡£Í¬Ñù£¬ÎÒÃÇÒ²¿ÉÒÔ·ÅÐĵÄÏÂÏßÊý¾ÝÖÐ̨ÖÐÈÎÒâÒ»ÕÅ±í¡£³ýÁ˲»ÖªµÀÊý¾Ý±»ÄÄЩÏÂÓÎÓ¦ÓÃʹÓã¬ÔÚÔËά½×¶Î£¬ÎÒÃÇ»¹¾³£ÃæÁÙ×ÅÊý¾Ý±íƵ·±Öع¹£¬¶øÕâÒ²ÐíÊÇÊý¾ÝÓ¦Óÿª·¢×î¿ÉÅÂµÄØ¬ÃÎÁË¡£
Êý¾Ý²¿ÃÅ×ֶαä¸üµ¼ÖÂÓ¦Óñä¸ü
Êý¾ÝÖÐ̨µ×²ãÄ£Ð͵Ä×ֶαä¸üÊÇ±È½ÏÆµ·±µÄÒ»¸öÊÂÇ飬ÒòΪ±¾Éí»ã×ܲãµÄÄ£ÐÍÒ²ÔÚËæ×ÅÐèÇó²»¶ÏÓÅ»¯¡£¡°Êý¾ÝÓ¦ÓÃ
- ¾Óª·ÖÎö¡±Ê¹ÓÃÁËÊý¾ÝÖÐ̨µÄ ads_mamager_1d ÕâÕűíµÄ c ×ֶΣ¬Èç¹ûÎÒÃǶÔÕâÕÅ±í½øÐÐÁËÖØ¹¹£¬·ÃÎÊ×Ö¶ÎÐèÒªÌæ»»³É
e ×ֶΣ¬´ËʱÐèÒªÊý¾ÝÓ¦ÓÃÐ޸ĴúÂë¡£ÕâÖÖÒòΪÊý¾ÝÖÐ̨µÄÊý¾Ý±ä¸üµ¼ÖÂÓ¦ÓÃÐèÒªÖØÐÂÉÏÏßµÄÊÂÇ飬ÊǷdz£²»ºÏÀíµÄ£¬²»µ«»áÔö¼ÓÓ¦Óÿª·¢¶îÍâµÄ¹¤×÷Á¿£¬Ò²»áÍÏÀÛÊý¾Ý±ä¸üµÄ½ø¶È¡£ÓÐÁËÊý¾Ý·þÎñ£¬¾Í»á°ÑÊý¾ÝÓ¦ÓúÍÖÐ̨Êý¾Ý½øÐнâñµ±ÖÐ̨Êý¾Ý±í½á¹¹±ä¸üʱ£¬ÎÒÃÇÖ»ÐèÒªÐÞ¸ÄÒ»ÏÂÊý¾Ý·þÎñÉϽӿڲÎÊýºÍÊý¾Ý×ֶεÄÓ³Éä¹ØÏµ¾Í¿ÉÒÔÁË¡£²»ÐèÒªÔÙÐ޸ĴúÂë£¬ÖØÐÂÉÏÏßÊý¾ÝÓ¦Óá£
Êý¾Ý·þÎñÓ¦¸Ã¾ß±¸µÄÆß´ó¹¦ÄÜ
ÄÇôΪÁËÈÃÄã¸üºÃµØÀí½âÊý¾Ý·þÎñµÄ¹¦ÄÜ£¬ÎÒÀ´½²¸öС¹ÊÊ¡£Äã¿Ï¶¨È¥¹ý²ËÄñæäվȡ¿ìµÝ°É£¿¼ÙÉèÓÐÒ»¸öºÜ´óµÄ²ËÄñæäÕ¾£¬ÀïÃæÓкܶà×é»õ¼Ü£¬Ã¿¸ö»õ¼Üǰ¶¼ÓÐһЩ¹¤×÷ÈËÔ±°ïÖúÎÒÃÇÈ¡¿ìµÝ£¬Í¬Ê±Ò²Óкܶà¶ÓÎéÅŶӡ£È¡¿ìµÝ£¬ÒªÏÈÔ¼¶¨ºÃ½Ó¿Ú£¨±ÈÈçͳһʹÓÃÊÕ»õÂëÀ´È¡»õ£©¡£È»ºó£¬ÎªÁ˱£Ö¤²»Í¬¶ÓÎé¶¼ÄÜÈ¡µ½¿ìµÝ£¬ÎÒÃÇÒª¶Ôÿ¸ö¶ÓÎé×öһЩÏÞÁ÷£¨±ÈÈçÒ»¸ö¶ÓÎéÒ»´ÎÖ»ÄÜȡһ¸öÈË£©¡£ÔÚÄãÈ¡×ß¿ìµÝʱ£¬æäÕ¾»á¼Ç¼ÊÇËÈ¡×ßÁËÄĸö¿ìµÝ£¬·½±ãºóÐø×·²é¡£Õâ¶Îʱ¼ä£¬²ËÄñæäÕ¾·þÎñ¿ªÊ¼Éý¼¶£¬²»½ö¿ÉÒÔÈ¡¿ìµÝ£¬»¹Ìṩ¿ìµÝËÍ»õÉÏÃŵķþÎñ¡£³ý´ËÖ®Í⣬²»Í¬ÖÖÀàµÄ¿ìµÝ¶ÔÓ¦µÄ»õ¼ÜÒ²±äµÃ²»Í¬£¬±ÈÈçÉúÏÊʳƷ£¬»õ¼ÜÊÇÀ䲨±ùÏ䣬Îļþ¡¢Ðŷ⣬»õ¼Ü¾ÍÊÇÎļþ¹ñ¡£¶ÔÓÚÈ¡¿ìµÝµÄÈËÀ´Ëµ£¬Èç¹ûËûÂòÁËÉúÏÊ£¬ÓÖÂòÁËÐŷ⣬ÄÇËûÒªÅźü¸¸ö¶ÓÎ飬¿Ï¶¨²»·½±ã¡£ËùÒÔ£¬Ò»°ãÀ´½²£¬È¡¿ìµÝµÄÈË×îºÃÖ»ÔÚÒ»¸ö¶ÓÎéÅŶӣ¬¶øæäÕ¾¹¤×÷ÈËÔ±°ïËûÒ»´Î°Ñ¶à¸ö»õ¼ÜµÄ¿ìµÝ¶¼È¡¹ýÀ´¡£¿ÉæäÕ¾µÄ»õ¼ÜʵÔÚÊÇÌ«¶àÁË£¬ÎªÁË·½±ãÿ¸öÈ¡¿ìµÝµÄС»ï°é¶¼ÄÜ¿ìËÙÕÒµ½Ã¿¸ö»õ¼ÜÒÔ¼°¶ÓÎ飬æäÕ¾ÌṩÁËÒ»¸öµ¼ÀÀ¡£Óë´Ëͬʱ£¬ÎªÁ˲»Èù¤×÷ÈËÔ±³ö´í£¬æäÕ¾µÄ¹¤×÷ÈËÔ±±ØÐë¾¹ýÑϸñµÄ²âÊÔ£¬²ÅÄÜÉϸڡ£½²ÍêÕâ¸ö¹ÊÊÂÖ®ºó£¬ÎÒÃǽÓׯص½Êý¾Ý·þÎñµÄÕâ°Ë´ó¹¦ÄÜÉÏÀ´¡£ÔÚÈ¡¿ìµÝµÄÕâ¸öÀý×ÓÖУ¬Äã¿ÉÒÔ°ÑÊý¾Ý·þÎñ¿´³ÉÊÇÒ»¸ö²ËÄñæäÕ¾£¬¹¤×÷ÈËÔ±¿´³ÉÊÇ
API ½âñî¿â£¬»õ¼Ü¿ÉÒÔ¿´×÷ÊÇÖÐ¼ä´æ´¢£¬¿ìµÝÔò¿ÉÒÔÈÏΪÊÇÊý¾Ý¡£ÄÇô¶ÔÓ¦µ½Æß¸ö¹¦ÄÜ£¬¾ÍÊÇ£º
½Ó¿Ú¹æ·¶»¯¶¨Ò壬¿ÉÒÔ¿´³ÉÊÇÈ¡¿ìµÝÔ¼¶¨µÄÊÕ»õÂ룬»ùÓÚͳһµÄÊÕ»õÂëÈ¡×ß¿ìµÝ£»Êý¾ÝÍø¹Ø£¬¿ÉÒÔ¿´³ÉÊÇÎÒÃǶÔÿ¸ö»õ¼ÜǰµÄ¶ÓÎé½øÐÐÏÞÁ÷£¬È·±£Ã¿¸ö¶ÓÎé¶¼ÄÜÈ¡×ß¿ìµÝ£»Á´Â·¹ØÏµµÄά»¤£¬¿ÉÒÔ¿´×÷ÊÇæäÕ¾»á¼Ç¼ËÈ¡×ßÁËʲô¿ìµÝ£»Êý¾Ý½»¸¶£¬¿ÉÒÔ¿´×÷æäվͬʱÌṩȡ¿ìµÝºÍËÍ»õÉÏÃÅ·þÎñ£»Ìṩ¶àÑùÖÐ¼ä´æ´¢£¬¿ÉÒÔ¿´³ÉÓв»Í¬ÀàÐ͵Ļõ¼Ü£»Â߼ģÐÍ£¬¿ÉÒÔ¿´³ÉÊÇÒ»¸ö¹¤×÷ÈËÔ±£¬¿ÉÒÔÈ¡¶à¸ö»õ¼ÜµÄ¿ìµÝ£»API
½Ó¿Ú£¬¿ÉÒÔ¿´×÷ÊÇæäÕ¾µÄ²»Í¬»õ¼ÜµÄ²»Í¬¶ÓÎéµ¼ÀÀ¡£
µÚÒ»¸öÊǽӿڹ淶»¯¶¨Òå¡£
½Ó¿Ú¹æ·¶»¯¶¨Òå¾ÍÊÇÈ¡¿ìµÝʱÎÒÃÇÔ¼¶¨µÄÈ¡¼þÂë¡£Êý¾Ý·þÎñ£¬¶Ô¸÷¸öÊý¾ÝÓ¦ÓÃÆÁ±ÎÁ˲»Í¬µÄÖÐ¼ä´æ´¢£¬ÌṩµÄÊÇͳһµÄ
API¡£
µÚ¶þ£¬Êý¾ÝÍø¹Ø¡£×÷ÎªÍø¹Ø·þÎñ£¬Êý¾Ý·þÎñ±ØÐëÒª¾ß±¸ÈÏÖ¤¡¢È¨ÏÞ¡¢ÏÞÁ÷¡¢¼à¿ØËÄ´ó¹¦ÄÜ£¬ÕâÊÇÊý¾ÝºÍ½Ó¿Ú¸´ÓõÄǰÌá¡£Õâ¾Í¸úÎÒÃÇÔÚ²ËÄñæäվǰȡ¿ìµÝ£¬Òª¶Ôÿ¸ö¶ÓÎéµÄÈ˽øÐÐÈÏÖ¤¡¢ÏÞÁ÷Ò»¸öµÀÀí¡£ÎÒÏêϸ½éÉÜһϡ£Ê×ÏÈÊÇÈÏÖ¤£¬ÎªÁ˽â¾ö½Ó¿Ú°²È«µÄÎÊÌ⣬Êý¾Ý·þÎñÊ×ÏÈ»áΪÿ¸ö×¢²áµÄÓ¦Ó÷ÖÅäÒ»¶Ô
accesskey ºÍ secretkey£¬Ó¦ÓÃÿ´Îµ÷Óà API ½Ó¿Ú£¬¶¼±ØÐëЯ´ø acesskey
ºÍ secretkey¡£³ý´ËÖ®Í⣬¶ÔÓÚÿ¸öÒÑ·¢²¼µÄ API£¬API ¸ºÔðÈË¿ÉÒÔ¶ÔÓ¦ÓýøÐÐÊÚȨ£¬Ö»ÓÐÓÐȨÏÞµÄÓ¦ÓòſÉÒÔµ÷Óøýӿڡ£Í¬Ê±£¬API
½Ó¿ÚµÄ¸ºÔðÈË¿ÉÒÔ¶ÔÓ¦ÓýøÐÐÏÞÁ÷£¨ÀýÈçÏÞÖÆÃ¿Ãë QPS ²»³¬¹ý 200£©£¬Èç¹û³¬¹ýÉ趨µÄãÐÖµ£¬¾Í»á´¥·¢ÈÛ¶Ï£¬ÏÞÖÆ½Ó¿ÚµÄ·ÃÎÊÆµÂÊ¡£ÐèÒªÄã×¢ÒâµÄÊÇ£¬¶ÔÓÚ½Ó¿Ú¸´ÓÃÀ´Ëµ£¬ÏÞÁ÷¹¦Äܷdz£±ØÒª£¬·ñÔò»áÔì³É²»Í¬Ó¦ÓÃÖ®¼äµÄÏ໥ӰÏì¡£µ±È»£¬Êý¾Ý·þÎñ»¹ÒªÌṩ½Ó¿ÚÏà¹ØµÄ¼à¿Ø£¬±ÈÈç½Ó¿ÚµÄ
90% µÄÇëÇóÏìӦʱ¼ä¡¢½Ó¿Úµ÷ÓôÎÊý¡¢Ê§°Ü´ÎÊýµÈÏà¹ØµÄ¼à¿Ø£¬ÁíÍ⣬¶ÔÓÚ³¤Ê±¼äûÓе÷ÓÃµÄ API £¬Ó¦¸ÃÓèÒÔÏÂÏß¡£ÕâÑù×öµÄºÃ´¦ÊÇ·ÀֹûÓõĽӿڶîÍâÕ¼ÓÃ×ÊÔ´¡£
µÚÈý£¬È«Á´Â·´òͨ¡£

Êý¾Ý·þÎñ»¹±ØÐ븺Ôðά»¤Êý¾ÝÄ£Ð͵½Êý¾ÝÓ¦ÓõÄÁ´Â·¹ØÏµ¡£ÔÚÉÏͼÖУ¬¾Óª·ÖÎöÊÇÒ»¸öÊý¾ÝÓ¦Óã¬ÕçÃÀÀöÊÇÊý¾ÝÓ¦ÓõĿª·¢£¬µ±ËýÏëÒª·ÃÎÊÊý¾Ý·þÎñÖеÄij¸ö½Ó¿Ú»ñÈ¡±í
A ºÍ B µÄÊý¾Ýʱ£¬ËýÐèÒªÏò½Ó¿ÚµÄ·¢²¼ÕßÂí˧˧ÉêÇëÊÚÓèȨÏÞ¡£È»ºó¾Óª·ÖÎö¾Í¿ÉÒÔͨ¹ý½Ó¿Ú»ñÈ¡µ½Êý¾Ý¡£Í¬Ê±£¬Êý¾Ý·þÎñ»á°Ñ¾Óª·ÖÎöºÍ±í
A ºÍ B µÄ·ÃÎʹØÏµ£¬ÍÆË͸øÊý¾ÝÖÐ̨µÄÔªÊý¾ÝÖÐÐÄ¡£½Ó×ÅÔªÊý¾ÝÖÐÐıí A¡¢B ÒÔ¼° A ºÍ B µÄÉÏÓÎËùÓÐµÄ±í£¨Í¼ÖÐ
D ºÍ E£©ÉÏ£¬¾Í»áÓоӪ·ÖÎöÊý¾ÝÓ¦ÓõıêÇ©¡£µ±±í D µÄ²ú³öÈÎÎñÒ쳣ʱ£¬Âí˧˧¿ÉÒÔͨ¹ýÔªÊý¾ÝÖÐÐÄ£¬¿ìËÙÅжϳö¸ÃÈÎÎñÓ°ÏìÁ˾Ӫ·ÖÎöÊý¾Ý²úÆ·µÄÊý¾Ý²ú³ö¡£Í¬Ê±£¬µ±Âí˧˧ÏëÒªÏÂÏß±í
D ʱ£¬Ò²¿ÉÒÔͨ¹ýÕâÕűíÊÇ·ñÓбêÇ©£¬¿ìËÙÅжÏÕâ¸ö±íÏÂÓÎÊÇ·ñ»¹ÓÐÓ¦Ó÷ÃÎÊ¡£µ±Âí˧˧ȡÏû API ½Ó¿ÚÊÚȨʱ£¬ÔªÊý¾ÝÖÐÐÄͬʱ»áÇåÀí±íµÄÏà¹Ø±êÇ©¡£ÐèÒªÌØ±ðÌáµ½µÄÊÇ£¬Ò»¸öÊý¾ÝÓ¦ÓÃÍùÍùÉæ¼°ºÜ¶àÒ³Ãæ£¬Èç¹ûÎÒÃÇÔÚÓ°Ïì·ÖÎöʱ£¬Ö»·ÖÎöµ½Ó¦Ó㬿ÉÄÜÁ£¶È»¹ÊÇÌ«´ÖÁË£¬ÐèÒªµ½¸üϸ¼¶±ðµÄÒ³ÃæµÄÁ£¶È£¬±ÈÈçÒ»¸öÈÎÎñÒì³££¬ÎÒ²»¹âÒªÖªµÀÊÇÄĸöÊý¾Ý²úÆ·£¬»¹±ØÐëµÃÖªµÀÊÇÄĸöÊý¾Ý²úÆ·µÄÄĸöÒ³Ãæ¡£´Ëʱ£¬ÎÒÃÇÔÚ½Ó¿ÚÊÚȨʱ£¬¿ÉÒÔ±ê×¢Ò³ÃæÃû³Æ¡£
µÚËÄ£¬ÍƺÍÀµÄÊý¾Ý½»¸¶·½Ê½¡£ÏàÐÅÄãÌýµ½µÄÊý¾Ý·þÎñ£¬¶¼ÊÇÒÔ API ½Ó¿ÚµÄÐÎʽ¶ÔÍâÌṩ·þÎñ£¬µ«ÊÇÒµÎñʵ¼Ê³¡¾°ÖУ¬¹â
API »¹²»¹»µÄ¡£ÎÒ°Ñ API ·½Ê½³ÆÎªÀµÄ·½Ê½£¬¶øÊµ¼ÊÒµÎñÖÐͬÑù»¹ÐèÒªÍÆµÄ³¡¾°¡£±ÈÈçÔÚʵʱֱ²¥³¡¾°ÖУ¬É̼ÒÐèÒªµÚһʱ¼ä»ñµÃ¹ØÓڻµÄÏúÊÛÊý¾Ý£¬´Ëʱ¾ÍÐèÒªÊý¾Ý·þÎñ¾ß±¸ÍƵÄÄÜÁ¦£¬ÎÒ°ÑËü³ÆÎªÊý¾ÝµÄËÍ»õÉÏÃÅ·þÎñ¡£Êý¾Ý·þÎñ½«Êý¾ÝʵʱдÈëµ½Ò»¸ö
Kafka ÖУ¬È»ºóÓ¦ÓÃͨ¹ý¶©ÔÄ Kafka µÄ Topic£¬¿ÉÒÔ»ñµÃʵʱÊý¾ÝµÄÍÆËÍ¡£
µÚÎ壬ÀûÓÃÖÐ¼ä´æ´¢£¬¼ÓËÙÊý¾Ý²éѯ¡£Êý¾ÝÖÐ̨ÖÐÊý¾ÝÒÔ Hive ±íµÄÐÎʽ´æÔÚ£¬»ùÓÚ Hive »òÕßÊÇ
Spark ¼ÆËãÒýÇæ£¬²¢²»ÄÜÂú×ãÊý¾Ý²úÆ·µÍÑÓ³Ù£¬¸ß²¢·¢µÄ·ÃÎÊÒªÇó£¬ËùÒÔ£¬Ò»°ã×ö·¨Êǽ«Êý¾Ý´Ó Hive
±íµ¼³öµ½Ò»¸öÖÐ¼ä´æ´¢£¬ÓÉÖÐ¼ä´æ´¢Ìṩʵʱ²éѯµÄÄÜÁ¦¡£Êý¾Ý·þÎñÐèÒª¸ù¾ÝÓ¦Óó¡¾°Ö§³Ö¶àÖÖÖÐ¼ä´æ´¢£¬ÎÒÁоÙÁËһЩ³£ÓõÄÖÐ¼ä´æ´¢ÒÔ¼°ÕâЩ´æ´¢ÊÊÓõij¡¾°£¬Ï£ÍûÄãÄܸù¾Ýʵ¼Ê³¡¾°Ñ¡ÔñÊʺϵÄÖÐ¼ä´æ´¢¡£

µÚÁù£¬Â߼ģÐÍ£¬ÊµÏÖÊý¾ÝµÄ¸´Óá£
ÔÚÇ°ÃæÈ¡¿ìµÝµÄ³¡¾°ÖУ¬Ã¿Ò»¸ö»õ¼ÜÒ»²¦¹¤×÷ÈËÔ±£¬Æäʵ¶ÔÈ¡¿ìµÝµÄÈ˲¢²»ÓѺã¬ËùÒÔ×îºÃµÄ¾ÍÊÇÒ»¸öÈ˰ïÎÒÃǰÑËùÓеĿìµÝ¶¼È¡ÁË¡£Õâ¾ÍÓеã¶ùÀàËÆÊý¾Ý·þÎñÖÐÂ߼ģÐ͵ĸÅÄîÁË¡£ÎÒÃÇ¿ÉÒÔÔÚÊý¾Ý·þÎñÖж¨ÒåÂ߼ģÐÍ£¬È»ºó»ùÓÚÂ߼ģÐÍ·¢²¼
API£¬Â߼ģÐ͵ı³ºóʵ¼ÊÊǶà¸öÎïÀí±í£¬´ÓÓû§µÄÊӽǣ¬Ò»¸ö½Ó¿Ú¾Í¿ÉÒÔ·ÃÎʶàÕŲ»Í¬µÄÎïÀí±íÁË¡£Â߼ģÐÍ¿ÉÒÔÀà±ÈΪÊý¾Ý¿âÖÐÊÓͼµÄ¸ÅÄÏà±ÈÓÚÎïÀíÄ£ÐÍ£¬Â߼ģÐÍÖ»¶¨ÒåÁ˱íºÍ×ֶεÄÓ³Éä¹ØÏµ£¬Êý¾ÝÊÇÔÚ²éѯʱ¶¯Ì¬¼ÆËãµÄ¡£Â߼ģÐÍ¿ÉÒÔ¿´×÷ÊÇÏàͬÖ÷¼üµÄÎïÀíÄ£ÐÍ×é³ÉµÄ´ó¿í±í¡£Â߼ģÐ͵ĴæÔÚ£¬½â¾öÁËÊý¾Ý¸´ÓõÄÎÊÌ⣬ÏàͬµÄÎïÀíÄ£ÐÍÖ®ÉÏ£¬Ó¦ÓÿÉÒÔ¸ù¾Ý×Ô¼ºµÄÐèÇ󣬹¹½¨³ö²»Í¬µÄÂ߼ģÐÍ£¬Ã¿¸öÓ¦Óÿ´µ½²»Í¬µÄÁС£
µÚÆß£¬¹¹½¨ API ¼¯ÊУ¬ÊµÏÖ½Ó¿Ú¸´Óá£ÎªÁËʵÏֽӿڵĸ´Óã¬ÎÒÃÇÐèÒª¹¹½¨ API µÄ¼¯ÊУ¬Ó¦Óÿª·¢Õß¿ÉÒÔÖ±½ÓÔÚ
API ¼¯Êз¢ÏÖÒÑÓеÄÊý¾Ý½Ó¿Ú£¬Ö±½ÓÉêÇë¸Ã½Ó¿ÚµÄ API ȨÏÞ£¬¼´¿É·ÃÎʸÃÊý¾Ý£¬²»ÐèÒªÖØ¸´¿ª·¢¡£ÐèÒªÌØ±ðÖ¸³öµÄÊÇ£¬Êý¾Ý·þÎñͨ¹ýÔªÊý¾ÝÖÐÐÄ£¬¿ÉÒÔ»ñµÃ½Ó¿Ú·ÃÎÊµÄ±í¹ØÁªÁËÄÄЩָ±ê¡£Ê¹ÓÃÕß¿ÉÒÔ»ùÓÚÖ¸±êµÄ×éºÏ£¬É¸Ñ¡½Ó¿Ú£¬ÕâÑù¾Í¿ÉÒÔ¸ù¾ÝÏëÒªµÄÊý¾Ý£¬²éÕÒ¿ÉÒÔÌṩÕâЩÊý¾ÝµÄ½Ó¿Ú£¬ÐγÉÁËÒ»¸ö±Õ»·¡£
Êý¾Ý·þÎñϵͳ¼Ü¹¹Éè¼Æ
´ó²¿·Ö¹«Ë¾ÔÚʵÏÖÊý¾Ý·þÎñʱ£¬Ö÷Òª²ÉÓÃÁËÔÆÔÉú¡¢Â߼ģÐͺÍÊý¾Ý×Ô¶¯µ¼³öÈý¸ö¹Ø¼üÉè¼Æ£¬¹ØÓÚÕⲿ·ÖÄÚÈÝ£¬ÎÒÏ£ÍûÄãÄÜͨ¹ýѧϰ£¬ÔÚʵ¼Ê¹¤×÷ÖпÉÒÔ½è¼øÎÒÃǵķ½Ê½Íê³ÉÊý¾Ý·þÎñµÄÉè¼Æ£¬»òÕßÔÚÑ¡ÔñÉÌÒµ»¯²úƷʱ£¬¸øÄãÒ»¸ö¼Ü¹¹Ñ¡ÐÍ·½ÃæµÄ²Î¿¼¡£
ÔÆÔÉú
ÔÆÔÉúµÄºËÐÄÓÅÊÆÔÚÓÚÿ¸ö·þÎñÖÁÉÙÓÐÁ½¸ö¸±±¾£¬ÊµÏÖÁË·þÎñµÄ¸ß¿ÉÓã¬Í¬Ê±¸ù¾Ý·ÃÎÊÁ¿´óС£¬·þÎñµÄ¸±±¾ÊýÁ¿¿ÉÒÔ¶¯Ì¬µ÷Õû£¬»ùÓÚ·þÎñ·¢ÏÖ£¬¿ÉÒÔʵÏÖ¶Ô¿Í»§¶Ë͸Ã÷µÄµ¯ÐÔÉìËõ¡£·þÎñÖ®¼ä»ùÓÚÈÝÆ÷ʵÏÖÁË×ÊÔ´¸ôÀ룬±ÜÃâÁË·þÎñÖ®¼äµÄÏ໥ӰÏì¡£ÕâÐ©ÌØÐԷdz£ÊÊÓÃÓÚÌṩ¸ß²¢·¢¡¢µÍÑÓ³Ù£¬ÔÚÏßÊý¾Ý²éѯµÄÊý¾Ý·þÎñ¡£

ÉÏͼÊÇÊý¾Ý·þÎñµÄ²¿Êð¼Ü¹¹£¬ÔÚÕâ¸öͼÖУ¬Ã¿¸öÒѾ·¢²¼ÉÏÏßµÄ API ½Ó¿Ú¶¼¶ÔÓ¦ÁËÒ»¸ö Kubernates
µÄ Service£¬Ã¿¸ö Service Óжà¸ö¸±±¾µÄ Pod ×é³É£¬Ã¿¸ö API ½Ó¿Ú·ÃÎʺó¶Ë´æ´¢ÒýÇæµÄ´úÂëÔËÐÐÔÚ
Pod ¶ÔÓ¦µÄÈÝÆ÷ÖУ¬Ëæ×Å API ½Ó¿Úµ÷ÓÃÁ¿µÄ±ä»¯£¬Pod ¿ÉÒÔ¶¯Ì¬µÄ´´½¨ºÍÏú»Ù¡£Envoy ÊÇ·þÎñÍø¹Ø£¬¿ÉÒÔ½«
Http ÇëÇó¸ºÔؾùºâµ½ Service µÄ¶à¸ö Pod ÉÏ¡£Ingress Controller
¿ÉÒԲ鿴 Kubernates ÖÐÿ¸ö Service µÄ Pod ±ä»¯£¬¶¯Ì¬µØ½« Pod IP д»Øµ½
Envoy£¬´Ó¶øÊµÏÖ¶¯Ì¬µÄ·þÎñ·¢ÏÖ¡£Ç°¶ËµÄ APP£¬Web »òÕßÊÇÒµÎñϵͳµÄ Server ¶Ë£¬Í¨¹ýÒ»¸ö
4 ²ãµÄ¸ºÔؾùºâ LB ½ÓÈëµ½ Envoy¡£»ùÓÚÔÆÔÉúµÄÉè¼Æ£¬½â¾öÁËÊý¾Ý·þÎñ²»Í¬½Ó¿ÚÖ®¼ä×ÊÔ´¸ôÀëµÄÎÊÌ⣬ͬʱ¿ÉÒÔ»ùÓÚÇëÇóÁ¿ÊµÏÖ¶¯Ì¬µÄˮƽÀ©Õ¹¡£Í¬Ê±½èÖú
Envoy ʵÏÖÁËÏÞÁ÷¡¢È۶ϵŦÄÜ¡£ÄãÒ²¿ÉÒÔ½è¼øÎÒÃǵķ½°¸£¬ÊµÏÖÔÔÉúµÄÊý¾Ý·þÎñÉè¼Æ¡£
Â߼ģÐÍ
Ïà½ÏÓÚÎïÀíÄ£ÐÍ£¬Â߼ģÐͲ¢Ã»Óб£´æÊµ¼ÊµÄÊý¾Ý£¬¶øÖ»ÊǰüÀ¨ÁËÂ߼ģÐͺÍÎïÀíÄ£Ð͵ÄÓ³Éä¹ØÏµ£¬Êý¾ÝÔÚÿ´Î²éѯʱ¶¯Ì¬Éú³É¡£Â߼ģÐ͵ÄÉè¼Æ£¬½â¾öÁ˲»Í¬½Ó¿Ú£¬¶ÔÓÚͬһ·ÝÊý¾Ý£¬ÐèÒªÖ»¿´µ½×Ô¼ºÐèÒªµÄÊý¾ÝµÄÐèÇó¡£ÏÂͼÊÇÍøÒ×Êý¾Ý·þÎñÂ߼ģÐ͵ÄϵͳÉè¼ÆÍ¼¡£

½Ó¿Ú·¢²¼ÕßÔÚÊý¾Ý·þÎñÖÐÑ¡ÔñÖ÷¼üÏàͬµÄ¶àÕÅÎïÀí±í¹¹½¨Ò»¸öÂ߼ģÐÍ£¬È»ºó»ùÓÚÂ߼ģÐÍ·¢²¼½Ó¿Ú¡£API
·þÎñ½Óµ½²éѯÇëÇóºó£¬¸ù¾ÝÂ߼ģÐͺÍÎïÀíÄ£ÐÍ×ֶεÄÓ³Éä¹ØÏµ£¬½«Âß¼Ö´Ðмƻ®²ð½âÎªÃæÏòÎïÀíÄ£Ð͵ÄÎïÀíÖ´Ðмƻ®£¬²¢Ï·¢¶à¸öÎïÀíÄ£ÐÍÉÏÈ¥Ö´ÐУ¬×îºó¶ÔÖ´ÐеĽá¹û½øÐоۺϣ¬·µ»Ø¸ø¿Í»§¶Ë¡£Ò»¸öÂ߼ģÐ͹ØÁªµÄÎïÀíÄ£ÐÍ¿ÉÒÔ·Ö²¼ÔÚ²»Í¬µÄ²éѯÒýÇæÉÏ£¬µ«ÊÇÕâÖÖÇé¿öÏ£¬¿¼ÂÇÐÔÄÜÒòËØ£¬Ö»Ö§³Ö»ùÓÚÖ÷¼üµÄɸѡ¡£
Êý¾Ý×Ô¶¯µ¼³ö
Êý¾Ý·þÎñÑ¡ÔñµÄÊÇÊý¾ÝÖÐ̨µÄÒ»ÕÅ±í£¬È»ºó½«Êý¾Ýµ¼³öµ½ÖÐ¼ä´æ´¢ÖУ¬¶ÔÍâÌṩ
API ¡£ÄÇÊý¾Ýʲôʱºòµ¼³öµ½ÖÐ¼ä´æ´¢ÖÐÄØ£¿ ÒªµÈÊý¾Ý²ú³öÍê³É¡£ËùÒÔÔÚÓû§Ñ¡ÔñÁËÒ»ÕÅÊý¾ÝÖÐ̨µÄ±í£¬¶¨ÒåºÃ±íµÄÖÐ¼ä´æ´¢ºó£¬Êý¾Ý·þÎñ»á×Ô¶¯Éú³ÉÒ»¸öÊý¾Ýµ¼³öÈÎÎñ£¬Í¬Ê±½¨Á¢µ½Õâ¸öÊý¾ÝÖÐ̨±íµÄ²ú³öÈÎÎñµÄÒÀÀµ¹ØÏµ£¬µÈµ½Ã¿´Îµ÷¶È²ú³öÈÎÎñ½áÊø£¬¾Í»á´¥·¢Êý¾Ýµ¼³ö·þÎñ£¬½«Êý¾Ýµ¼³öµ½ÖÐ¼ä´æ´¢ÖУ¬´Ëʱ
API ½Ó¿Ú¾Í¿ÉÒÔ²éѯµ½×îеÄÊý¾Ý¡£

|