±à¼ÍƼö: |
±¾ÎÄÀ´×ÔÓÚ51cto£¬Ëæ×ÅÐÂÀË΢²©ÒµÎñµÄ²»¶ÏÍÆ½ø£¬¶ÔÊý¾Ý´¦ÀíµÄʵʱÐÔÒªÇóÔ½À´Ô½¸ß¡£ÀýÈ磬´ó¼ÒËùÊìϤµÄ΢²©ÈÈ´Ê£¬ÐèÒªÔں̵ܶÄʱ¼äÄÚÍê³ÉÊý¾Ý´¦ÀíÒÔ¹©ÔÚÏßϵͳʹÓᣠ|
|
±¾ÎĽ«°´ÕÕÈçÏÂËĸö½×¶Î·ÖÏí΢²©ÊµÊ±Á÷¼ÆËãÆ½Ì¨µÄ´î½¨Àú³Ì£¬ÒÔ¼°ÔÚ´´½¨¹ý³ÌÖеÄһЩÎÊÌâºÍ½â¾ö·½°¸£º
³õÈëʵʱÁ÷¼ÆËã
ʵʱÁ÷¼ÆËãÆ½Ì¨³õ½¨
ʵʱÁ÷¼ÆËãÆ½Ì¨·¢Õ¹
×ܽá DQRA Éè¼ÆÄ£Ê½
³õÈëʵʱÁ÷¼ÆËã
Ê×ÏȽéÉÜÒ»ÏÂÎÒÃÇʵʱÁ÷¼ÆËãÆ½Ì¨¿ª·¢Àú³Ì£º
2015 Ä꣬ÎÒ½øÈëÐÂÀË΢²©¡£µ±Ä꣬ÎÒÃÇÀûÓÃʵʱÁ÷¼ÆËã×ö³öÁËÎïÁϳØÏµÍ³¡£
2016 Ä꣬ÎÒÃǽøÐÐÁËÓû§ÊµÊ±ÐËȤ·´À¡ÏµÍ³µÄ¿ª·¢¡£
2017 Ä꣬ÎÒÃǽÓÈëÁËһЩÓë¶àýÌåÏà¹ØµÄ£¬ÈçÈËÁ³Ê¶±ðϵͳµÄ½¨É衣ͬÄ꣬ÎÒÃÇÒ²¿ªÊ¼½øÐÐʵʱÁ÷¼ÆËãÆ½Ì¨µÄ³õ½¨¡£
2018 Ä꣬ÎÒÃÇ¿ªÆôÁË WAIC ʵʱÁ÷¼ÆËãÆ½Ì¨¡£
ÉÏͼÊÇʵʱÁ÷¼ÆËãµÄ¼¼Êõ±³¾°£¬³£ÓõļÆËãÒýÇæÓУºSpark¡¢Streaming¡¢Flink¡¢Storm¡¢Flume
ºÍ Kafka µÈһЩÖмä¼þ¡£
ÎÒÃÇ WAIC ʵʱÁ÷¼ÆËãÆ½Ì¨ÖУ¬Ö÷ÒªÓõ½µÄ¼ÆËãÒýÇæÊÇ£ºStorm¡¢Kafka¡¢Flume ºÍ Flink¡£
ÉÏͼÊÇʵʱÁ÷¼ÆËãµÄµÚÒ»½×¶Î¡£ÕâÊÇÒ»¸ö¾µäµÄ¼Ü¹¹£¬Ëüͨ¹ýÀûÓà Flume£¬½«ÒµÎñϵͳÀïµÄʵʱÁ÷ÈÕÖ¾Êý¾ÝдÈë
Kafka¡£
È»ºóÔÙÀûÓà Storm È¥¶ÁÈ¡ Kafka ÀïµÄÊý¾Ý£¬×îºó½«Êý¾Ý½øÐÐÏàÓ¦µÄÒµÎñÂß¼´¦Àí¡£
Ôڸý׶Σ¬ÎÒÃÇÖ÷ÒªÍê³ÉÁËÈçÏÂÁ½Ï×÷£º
ÈÃ΢²©¡°½ÓÈ롱ʵʱÁ÷¼ÆË㹦ÄÜ¡£
µ±Êý¾Ý´¦Àí³öÏÖʧ°Üʱ£¬Ê¹Óà Kafka À´Ö´ÐбØÒªµÄÊý¾Ý»Ø¹ö£¬´Ó¶ø½â¾öÎÊÌâ¡£
ÉÏͼÊǵÚÒ»½×¶ÎÏàÓ¦µÄÊý¾Ý³É¹û¡£±ËʱµÄÊý¾ÝÁ¿ºÍ¼¯Èº¸öÊý¶¼±È½ÏÉÙ£¬Òò´ËÖ÷Òª´æÔÚµÄÎÊÌâ°üÀ¨£º
È˹¤¹¤×÷Á¿±È½Ï¶à£¬¼´£ºÃæ¶ÔÐèÇóʱ£¬È«¿¿È˱àÂë¡£
´úÂëÖØ¸´ÂʱȽϸߣ¬Òì³£ÅŲéµÄ·½Ê½½ÏΪ¼òª£¬È«¿¿µÇ¼µ½·þÎñÆ÷ÉÏ£¬È¥ Grep ÈÕÖ¾¡£
¼à¿ØµÄ·½Ê½ÔòÈ«¿¿½Å±¾¡£
ÉÏͼÊǵÚÒ»½×¶ÎËùÒÅÁôµÄһЩÎÊÌâ¡£
ʵʱÁ÷¼ÆËãÆ½Ì¨³õ½¨
ÄÇÃ´Ëæ×ÅʵʱÁ÷¼ÆËãµÄƵ·±Ê¹Óá¢ÒµÎñ³¡¾°µÄÔö¶à¡¢ÒÔ¼°¼à¿ØÐèÇóµÄÌáÉý£¬ÎÒÃÇÒâʶµ½ÐèÒª´î½¨Ò»¸öʵʱÁ÷µÄ¼ÆËãÆ½Ì¨¡£
ÎÒÃǵ±Ê±ËùÌá³öµÄƽ̨Ŀ±êÖ÷Òª°üÀ¨£º
Ñз¢Ò»¸ö¹¤×÷Á¿¿ÉÒÔ³Áµí£¬²¢ÇÒ¿ÉÅäÖõĿª·¢¿ò¼Ü¡£
ͳһËùÓÐµÄ¼à¿Ø£¬´òÔìÒ»¸öͳһµÄ¼à¿ØÆ½Ì¨¡£
ÕâÊǵڶþ½×¶ÎʵʱÁ÷µÄ³õ²½¼Ü¹¹Í¼¡£ÔÚ´Ë£¬ÎÒÃǵĽÓÈëÈÕÖ¾·½Ê½·á¸»ÁËÐí¶à¡£Èçͼ£¬ÎÒÃǼÈͨ¹ý Scribe
½øÐÐÊÕ¼¯¡¢ÓÖ´Ó Kafka ÒÔ¼° Mcq ÀïÃæ¶ÁÈ¡Êý¾Ý¡£
È»ºóͨ¹ý Scribe¡¢»òÕ߯äËûµÄÊý¾Ýͬ²½·þÎñ£¬½«ËüÃǽÓÈ뵽ʵʱ¶ÓÁÐÖ®ÖУ¬×îºóÔÚ²»Í¬µÄÒµÎñ³¡¾°Ï£¬ÀûÓò»Í¬µÄʵʱ¼¯Èº½øÐд¦Àí¡£
×ÔÑÐ WeiPig ¿ò¼Ü
ΪÁ˽µµÍ¿ª·¢ÈËÔ±ÉÏÊÖʵʱÈÎÎñ¿ª·¢µÄÃż÷£¬ÎÒÃÇ×ÔÐÐÑз¢ÁËÒ»¸ö WeiPig ¿ò¼Ü¡£
Ëü¾ßÓÐÈçÏÂËĸöÖ÷ÒªÌØµã£º
ÅäÖû¯¿ª·¢¡£¶ÔÓÚһЩ¼òµ¥µÄ¿ª·¢ÐèÇó£¬ÎÒÃÇÖ»Ðè±àд WeiPig ¿ª·¢Îļþ£¬±ã¿ÉʵÏÖ¡£
²å¼þʽ±à³Ì¡£ËüÌṩһ¸ö²å¼þʽ±à³ÌµÄ±àÂë¹æ·¶¡£¶ÔÓÚ³õÆÚµÄһЩ¹¦ÄÜÐèÇó£¬ÎÒÃǰ´ÕÕÏàÓ¦µÄ¹æ·¶½øÐбàÂ룬¼´ÎÒÃÇͨ¹ý±àд
WeiPig Îļþ£¬À´Âú×ã¸÷ÖÖÐèÇó¡£
ͨÓýâ¾ö·½°¸¡£ÒòΪ WeiPig ÊÇÒ»¸öÕë¶ÔʵʱÁ÷¶ø¿ª·¢µÄÓ¦Óÿò¼Ü£¬ËùÒÔËüÐèÒªÂú×㹩ӦÁ´ÉÏËùÓв»Í¬ÀàÐ͵ÄʵʱÁ÷ÐèÇó¡£
ͳһ¹±Ï×»úÖÆ¡£Ê¹²»Í¬µÄÒµÎñÍŶӣ¬Äܹ»°´ÕÕͬһÌ׹淶À´½øÐÐÏàÓ¦µÄ²å¼þ¿ª·¢£¬²¢ÌṩÏàÓ¦µÄ²å¼þ¹¦ÄÜ¡£Í¬Ê±£¬ËûÃÇÒ²¿ÉÒÔ°´ÕÕͬÑùµÄ¹æ·¶ºÍ»úÖÆ£¬À´Ê¹ÓÃÆäËûÍŶÓËùÌṩµÄ¹¦Äܲå¼þ¡£
ͬʱ£¬ÎÒÃÇÐèҪͨ¹ý¸Ã WeiPig ¿ò¼Ü£¬ÈÃËùÓпª·¢ÈËÔ±µÄ¹¤×÷ģʽ¡°³Áµí¡±ÏÂÈ¥£¬ÊµÏÖ¹«Ë¾ÄÚ¸÷¸ö²¿ÃŵĹ²ÏíÓëÐ×÷¡£
ͳһ¼à¿ØÆ½Ì¨
ÈçǰËùÊö£¬ÔÚµÚÒ»½×¶Î£¬ÎÒÃÇµÄ¼à¿ØÊµÏÖ·½Ê½»ù±¾ÉÏÊÇ£º¿¿ÄÇЩÔËÐÐÔÚ²»Í¬·þÎñÆ÷ÉϵĽű¾£¬½øÐÐÈÕÖ¾Êý¾ÝµÄ²É¼¯£¬È»ºóÔÙ·¢Ëͱ¨¾¯Óʼþ¡£
¶ø½øÈëµÚ¶þ½×¶ÎÖ®ºó£¬ÎÒÃÇÀûÓÃÈçÉÏͼËùʾµÄʵʱÁ÷ͳһ¼ÆËãÓë¼à¿ØÆ½Ì¨£¬¶Ô×÷ÒµÇé¿öÓèÒÔÁËչʾÓëÅäÖá£
¼´£º¸Ãϵͳ¼È¿ÉÒÔչʾÏàÓ¦µÄÊý¾Ý¼à¿ØÖ¸±ê£¬ÓÖ¿ÉÒÔ¶ÔÊý¾Ý¼à¿ØÖ¸±ê½øÐÐÏàÓ¦µÄ±¨¾¯ÅäÖá£
¶øÕâЩ¼à¿ØÖ¸±êÊý¾Ý¶¼ÊÇͨ¹ý²»Í¬µÄËѼ¯¹¤¾ß½øÐвɼ¯£¬È»ºó¼Èëµ½ MySQL Êý¾Ý¿âÖ®ÖС£
ÉÏͼÊǵڶþ½×¶ÎÏàÓ¦µÄ³É¹û¡£ËäÈ»´ËʱÒѾÓÐÁË WeiPig ¿ª·¢¿ò¼Ü£¬µ«ÊÇÎÒÃǵÄÈ˹¤¹¤×÷Á¿ÒÀÈ»²»ÉÙ¡£
ÓÉÓÚ WeiPig µÄ²å¼þÖ÷ÒªÊÇÓÉÆ½Ì¨·½µÄ¼¸Ãû¿ª·¢ÈËÔ±À´ÊµÏÖ£¬Òò´Ë²å¼þÊýÁ¿²»µ«½ÏÉÙ£¬¶øÇÒËûÃǵŤ×÷Á¿Ò²´ïµ½ÁË
80%¡£
ÁíÍ⣬´úÂëµÄÖØ¸´ÂÊÔò½öÕ¼ 50% ×óÓÒ£¬ÕâÖ±½Óµ¼ÖÂÁËÒì³£ÅŲéµÄЧÂÊÈÔ´¦Óڽϵ͵Äˮƽ¡£
ͬʱ£¬ÔÚ¼à¿ØÅäÖÃÉÏ£¬ÎÒÃÇÈÔÐèÒªÊÖ¶¯ÅäÖã¬ÒÔ¼°Í¨¹ý±àд½Å±¾£¬À´ËѼ¯Ïà¹ØµÄÖ¸±êÊý¾Ý¡£
ÔÚµÚ¶þ½×¶ÎÖ®ºó£¬ÎÒÃÇÒÅÁôÏÂÁ˲»ÉÙÎÊÌ⣬°üÀ¨£º
ȨÏÞ»úÖÆµÄǷȱ
ȱ·¦Í³Ò»µÄ×ÊÔ´µ÷¶È
ÎÊÌâÅŲéÏà¶Ô½ÏÂý
Ë鯬×ÊÔ´Ïà¶Ô½Ï¶à(Ö÷ÒªÊÇÒòΪÎÒÃÇʹÓõͼÊÇЩС¼¯Èº£¬Õâµ¼Ö²úÉúÁË´óÁ¿ÒÅÁôµÄÈßÓà×ÊÔ´£¬ÏÐÖÃÔÚϵͳÖÐ)
ȱ·¦¸ß¿É¿¿µÄ±£ÕÏ
¿ª·¢Ð§ÂʽϵÍ
ʵʱÁ÷¼ÆËãÆ½Ì¨·¢Õ¹
ÔÚ²½ÈëʵʱÁ÷¼ÆËãÆ½Ì¨µÄµÚÈý½×¶ÎÖ®ºó£¬ÎÒÃÇÌá¸ßÁËÏàÓ¦µÄºê¹ÛÄ¿±ê£¬¼´£º
Ìá¸ß¹«Ë¾µÄ¿ª·¢Éú²úЧÂÊ£¬½ÚÊ¡ÖØ¸´½¨ÉèµÄ³É±¾¡£
¿ÉÊÓ»¯¸÷Ïî²Ù×÷¡£
ÉÏͼÊǵ±Ç°ÊµÊ±Á÷¼ÆËãÆ½Ì¨µÄ¼Ü¹¹Í¼¡£Êý¾ÝÁ÷Âß¼ÈçÏ£º
Óû§Í¨¹ý UI ½»»¥¿Í»§¶Ë¡¢ÒÔ¼° Weiclient µÈ½»»¥Ä£¿é£¬½«×÷ÒµÌá½»¸ø¿ØÖÆÖÐÐÄ¡£
¿ØÖÆÖÐÐĽøÐгõ²½µÄȨÏÞУÑéºÍ×ÊÔ´ÉóºËÖ®ºó£¬½«×ÊÔ´Ìá½»¸øÈÎÎñµ÷¶È¡£
ÈÎÎñµ÷¶È½«ÏàÓ¦µÄ×÷ÒµÌá½»¸ø¶ÔÓ¦µÄ¼¯Èº Weibox¡£
Èç¹û×÷ÒµÌá½»³É¹¦£¬Weibox »á°ÑÏàÓ¦µÄ×÷ÒµÐÅÏ¢ÖØÐ·µ»Ø¸ø¿ØÖÆÖÐÐÄ¡£
¿ØÖÆÖÐÐĽ«×÷ҵͨ¹ýÓû§½»»¥¿Í»§¶Ë·µ»Ø¸øÓû§½á¹û¡£Í¬Ê±£¬Ëü»á½«×÷ÒµÐÅϢͬ²½¸ø¹ÜÀí·þÎñºǫ́¡£
Óû§Í¨¹ý¹ÜÀí·þÎñºǫ́µÄ¿Í»§¶Ë£¬È¥²Ù×÷×Ô¼ºÔÚ¼¯ÈºÉÏÃæµÄ¹¦ÄÜ¡£¿ØÖÆÖÐÐļÈÄܼõÉÙÒÑÕ¼ÓõÄ×ÊÔ´£¬ÓÖÄÜΪÿһ¸öÍŶÓʵÏÖ×ÊÔ´¿ØÖÆ¡£
¿ØÖÆÖÐÐijõÏÖ
ÓÉÓÚǰÆÚ¸÷ÖÖ×÷Òµ(Èç Storm)ÔÚÏò¼¯ÈºÌá½»µÄʱºò£¬Ðí¶à¿ª·¢ÈËÔ±»á×ÔÐÐÅäÖÃÒ»¸ö±¾µØ»·¾³£¬ÒÔʵÏÖÖ±½ÓÌá½»£¬Õâ¾ÍÔì³ÉÁËÆ½Ì¨·½ºÜÄѶԼ¯Èº½øÐÐÓÐЧµÄ¹Ü¿Ø¡£
Òò´Ë¶ÔÓÚÎÒÃǵÚÈý½×¶ÎµÄ¿ØÖÆÖÐÐĶøÑÔ£¬ÆäÖ÷ҪĿ±êÊÇ£º
½â¾ö×÷ÒµËæÒâÌá½»£¬ÖÎÀí¼¯ÈºÉÏ×÷Òµ»ìÂÒµÄÏÖÏó¡£
¶Ô¼¯Èº×ÊÔ´½øÐÐͳһ¹ÜÀí£¬´Ó¶ø±ÜÃâ¹ý¶àµÄ×ÊÔ´ÀË·Ñ¡£
ÉÏͼÊÇʵʱÁ÷¼ÆËãÆ½Ì¨µÄ¿ØÖÆÖÐÐļܹ¹Í¼¡£ÆäÁ÷³ÌÈçÏ£º
¡°»ù´¡Ä£¿é¡±Í¨¹ýȨÏÞУÑéºÍ×ÊÔ´ÉóºË£¬½«×÷ÒµÌá½»¸ø¡°×÷ÒµÉÏÏßÁ÷³Ì¡±·þÎñ¡£
¡°×÷ÒµÉÏÏßÁ÷³Ì¡±µ÷ÓúóÖõļì²éÄ£¿é£¬¼ì²é¸Ã×÷ÒµÊÇ·ñÔÚ¼¯ÈºÉÏÔËÐгɹ¦£¬ÒÔ¼°ÅжϸÃ×÷ÒµËùÕ¼ÓõÄ×ÊÔ´¡¢ÊÇ·ñΪËüÔÚÌύʱָ¶¨ÁË×ÊÔ´Á¿¡£
Èç¹û¡°×÷ÒµÉÏÏßÁ÷³Ì¡±·þÎñÌá½»×÷Òµ³É¹¦£¬ÄÇô¡°×ÊÔ´¾ö²ß·þÎñ¡±µ÷Óö¯Ì¬×ÊÔ´µ÷½ÚÄ£¿é£¬ÔÚ¼¯ÈºÉ϶¨Ê±(È磺ÿСʱ»òÿÌì)¼ì²é¸Ã×÷ÒµËùʹÓúʹ¦ÀíµÄÊý¾ÝÁ¿£¬ÒÔ¼°Ã¿ÌõÊý¾ÝµÄ´¦Àíʱ³¤¡£¼®´Ë£¬¸ÃÄ£¿éÔËÓüòµ¥µÄ¹«Ê½£¬À´ÅжϸÃ×÷ÒµÊÇ·ñÐèÒªÕ¼Õâô¶à×ÊÔ´¡£
ÉÏÊöÌáµ½¹ý£¬Ò»Ð©¿ª·¢ÈËÔ±¿ÉÄÜ»áͨ¹ýÔÚ×Ô¼ºµÄ±¾»úÉÏÅäÖÃÏàÓ¦µÄ×÷ÒµÌá½»»·¾³£¬ÒÔʵÏÖ½«×÷ÒµÌá½»µ½¼¯ÈºÖ®ÖС£
ÄÇôΪÁ˹ܿضÔÓ¦µÄÒµÎñ×éÔÚ¼¯ÈºÉÏÕ¼ÓõÄ×ÊÔ´Á¿£¬ÎÒÃÇÔÚ¡°×ÊÔ´¾ö²ß·þÎñ¡±Àµ÷Óõ½ÁË×÷ҵʶ±ðÄ£¿é¡£
×ÊÔ´ÅäÖòßÂÔ
ΪÁËÌá¸ß¹«Ë¾µÄÉú²ú¿ª·¢Ð§ÂÊ£¬ÎÒÃÇÔÚµÚÈý½×¶ÎʵʩÁË×ÊÔ´ÅäÖòßÂÔ¡£Í¬Ê±£¬ÎÒÃǵĺËÐÄÄ¿±êµãÊÇ£ºÍ¨¹ýµÚ¶þ½×¶ÎµÄ
WeiPig ¿ª·¢¿ò¼Ü£¬À´¹ÄÀø¸÷¸öÒµÎñÍŶӹ±Ï×ÏàÓ¦µÄ²å¼þ¡£
Æäʵ WeiPig ÊÇÒ»Ì׹淶ÐÒ飬´ó¼ÒÔÚ¹±Ïײå¼þ֮ǰÐèÒªÔö¼ÓѧϰÉϵÄͶÈë¡£Òò´Ë£¬¶ÔÓÚһЩÒѾʵʩÁ˼ÆËãÄÜÁ¦µÄÒµÎñ·½À´Ëµ£¬ËäÈ»ÓÐÀûÓÚ½«¾ÉÆ½Ì¨Ç¨ÒÆ¹ýÀ´£¬µ«ÊÇËûÃDz»Ì«Ô¸ÒâͶÈë´ËÀàѧϰµÄ³É±¾¡£
ËùÒÔÎÒÃÇÏë³öÁËÓÃ×ÊÔ´È¥»»È¡ WeiPig ǰÏò·¢Õ¹µÄ·½·¨¡£ÎÒÃǽ«ËùÓÐµÄÆ½Ì¨×ÊÔ´°´ÕÕ»ù´¡×ÊÔ´¡¢µ¯ÐÔ×ÊÔ´¡¢½±Àø×ÊÔ´ºÍƽ̨×ÊÔ´£¬Ëĸö·½Ïò½øÐл®·Ö¡£
ÆäÖлù´¡×ÊÔ´½öÕ¼ 1%£¬»ù±¾ÉÏÖ»ÓÐÒ»¡¢Á½Ì¨»úÆ÷¡£µ¯ÐÔ×ÊÔ´ÓÐ 20%£¬¸÷¸ö¹«Ë¾¸ù¾ÝÒµÎñÁ¿ºÍÒµÎñµÈ¼¶½øÐл®·Ö£¬µ±ÒµÎñÁ¿¶àµÄʱºò£¬Ã¿Ò»¸öÒµÎñ¶¼¿ÉÒÔÓÐ×Ô¼ºµÄÖØÒª³Ì¶ÈºÍÓÅÏȼ¶¡£
ÖµµÃÒ»ÌáµÄÊÇ£º½±Àø×ÊԴΪ 30%¡£Ëüͨ¹ýÁ½·½Ãæ±ê×¼£ºWeiPig Àï¹±Ï×µÄ Function ÊýÁ¿£¬ºÍÕâЩͨÓÃ
Function »á±»¶àÉÙÒµÎñ·½ËùʹÓõ½£¬À´½øÐй«Ê½Ëã·¨ÉϵĺâÁ¿¡£
Èç¹ûÄã¹±Ï׵Ķ࣬¶øÇÒ±»ÆäËûÒµÎñ·½Ê¹ÓõÄÒ²±È½Ï¶à£¬ÄÇôÎÒÃǾͻá´ÓËùÓÐÆ½Ì¨×ÊÔ´µÄ 30% ÖУ¬¸øÄã»®·Ö³ö¸ü¶àµÄ×ÊÔ´¡£
ʵʱ¶ÔÕËϵͳ
ΪÁËÂú×ãijЩ¸ß³É¹¦Âʳ¡¾°µÄÐèÇó£¬ÎÒÃÇÔÚµÚÈý½×¶Î×ÔÐÐÉè¼ÆÁËÒ»¸öʵʱ¶ÔÕËϵͳ¡£
¸ÃϵͳµÄÖ÷Òª³É¼¨ÊÇ£ºÂú×ãʵʱ¼ÆËãÆ½Ì¨Íê³É 6 ¸ö 9 µÄÊý¾Ý³É¹¦ÂÊÐèÇó¡£
ÉÏͼÊÇʵʱ¶ÔÕËϵͳµÄÒ»¸ö¼òµ¥¼Ü¹¹Í¼¡£ÔÚÊý¾Ý´¦Àí¿ªÊ¼Ê±£¬ÎÒÃǻὫÊý¾ÝдÈëʵʱ¶ÔÕËϵͳ£¬²¢´òÉÏ¿ªÊ¼±êÖ¾¡£
ͬʱ£¬ÊµÊ±¶ÔÕËϵͳ»á½«¸ÃÊý¾ÝµÄ¿ªÊ¼´¦Àí¡¢ºÍ½áÊø´¦ÀíµÄ±êÖ¾£¬´æ·Åµ½´æ´¢·þÎñÉÏ¡£
¶øÍ¼ÖÐÏ·½µÄÀëÏß¶¨Ê±·þÎñ£¬»á¶¨Ê±²éѯʵʱ¶ÔÕËϵͳ£¬²¢½øÐÐÈçÏÂÅжϣº
Èç¹ûÒ»ÌõÊý¾Ý¼ÈÓÐÈëÕË£¬ÓÖÓиù¾Ý´¦Àí½áÊøÖµËùÇóµÄ³öÕË£¬ÔòÈÏΪ¸ÃÌõÊý¾ÝÒÑ´¦ÀíÍê³É£¬¼´¶ÔÕ˳ɹ¦¡£
Èç¹ûÒ»ÌõÊý¾ÝÖ»ÓÐÊý¾Ý´¦ÀíµÄ¿ªÊ¼£¬È´Ã»Óд¦Àí½áÊøµÄ±êÖ¾£¬Ôò¸ÃÌõÊý¾Ý¿ÉÄܳöÏÖ±»¶ªµôµÄÇé¿ö£¬ÎÒÃÇÐèÒªÖØÊÔ¡£
Èç¹ûÒ»ÌõÊý¾ÝÖ»ÓÐÊý¾Ý´¦Àí½áÊø£¬È´Ã»ÓÐÊý¾Ý´¦Àí³É¹¦µÄ±êÖ¾£¬Ôò»á·¢³öÏàÓ¦µÄ±¨¾¯£¬ÎÒÃÇÐèÒª²éÕÒÏàÓ¦µÄÎÊÌâ¡£
Îȶ¨ÐÔ·þÎñƽ̨
ÁíÍ⣬ÔÚµÚÈý½×¶Î£¬ÎÒÃǽ«µÚ¶þ½×¶ÎµÄ¡°Í³Ò»¼à¿ØÆ½Ì¨¡±Éý¼¶³ÉÁË¡°Îȶ¨ÐÔ·þÎñƽ̨¡±¡£
ÆäÄ¿±êÓÐÈçÏÂÈýµã£º
ͨÓÃ¼à¿ØÖ¸±êµÄÊý¾ÝͳһÉú³É¡£Ç°ÃæÔÚµÚ¶þ½×¶ÎµÄ¼à¿ØÍ³Ò»Æ½Ì¨ÖУ¬ÎÒÃDZØÐëÔÚ½çÃæÉÏÈ¥ÅäÖÃÒª¼à¿ØµÄÖ¸±êÏîÄ¿£¬Í¨¹ý±àдÏàÓ¦µÄ²É¼¯´úÂ룬Ȼºó°Ñ½Å±¾²¿Êðµ½·þÎñÆ÷ÉÏ£¬ÒÔ·½±ã¼à¿ØµÄ²É¼¯¡£
µ«ÊÇÔÚµÚÈý½×¶ÎµÄÎȶ¨ÐÔ·þÎñƽ̨ÉÏ£¬Ò»¸ö×÷Òµ±»Ìá½»µ½¼¯ÈºÉÏÖ®ºó£¬Îȶ¨ÐÔ·þÎñƽ̨»á¶Ô¼¯ÈºÉÏ´¦ÀíµÄÊý¾ÝÁ¿¡¢´¦ÀíÑÓ³Ù¡¢´íÎóÁ¿µÈͨÓÃÖ¸±ê½øÐÐͳһÉú³É¡£
¼¯Èº×ÊÔ´¸ºÔؾùºâµÄ¼à¿Ø¡£Æäʵ Storm ²»Ïñ Hadoop¡¢Flink¡¢Yum£¬Ëü²¢Ã»ÓÐ×ÊÔ´µ÷¶ÈµÄ¹ÜÀíϵͳ¡£
Òò´Ë£¬ËüÔÚ×Ô¼º×ö¹ÜÀí×ÊԴʱ£¬»á³öÏÖÔÚÒ»¸ö¼¯ÈºÖУ¬Ä³¸ö·þÎñÆ÷µÄ CPU ÀûÓÃÂÊÒÑ´ï 90%£¬¶øÆäËû·þÎñÆ÷µÄ
CPU ÀûÓÃÂÊÖ»Õ¼ÓÐ 50%¡«60% µÄÇé¿ö¡£ËùÒÔÎÒÃÇ×ÔÐÐÑз¢Á˶Լ¯Èº×ÊÔ´¸ºÔؾùºâµÄ¼à¿Ø¡£
¼à¿ØÖ¸±ê²É¼¯Æ½Ì¨£¬Í³Ò»ËùÓÐ¼à¿ØÊý¾ÝµÄ²É¼¯¡£
ÕâÀïչʾµÄÊÇʵʱÁ÷¼ÆËãÆ½Ì¨Îȶ¨ÐÔ·þÎñµÄ¼Ü¹¹Í¼¡£×ó²àµÄÊý¾Ý²É¼¯Æ½Ì¨°üÀ¨£ºStorm Ö¸±êÏîÄ¿Êý¾ÝÊÕ¼¯¡¢Kafka
Êý¾Ý¶Ñ»ýÁ¿µÄÊý¾ÝÊÕ¼¯¡¢ÈÕÖ¾ÊÕ¼¯Æ½Ì¨¡¢¼à¿Ø½Å±¾ÔËÐÐÆ½Ì¨¡¢ºÍ·þÎñÆ÷Ó²¼þ×ÊÔ´µÄÊÕ¼¯¡£
ÕâÊÇÒ»¸ö±È½Ï¼òÒ׵ġ¢±ã½ÝµÄ×ÊÔ´¸ºÔؾùºâµÄ¼à¿Ø·þÎñ¡£Íê³Éͳһ²É¼¯Ö®ºó£¬ÏµÍ³µ÷ÓÃÊý¾Ý´æ´¢·þÎñ£¬¾ÓÉ·þÎñƽ̨µÄ¹ÜÀí·þÎñƽ̨¡¢ÔËά·þÎñƽ̨¡¢ºÍµÚÈý·½·þÎñƽ̨£¬¶ÔÍâÃæ¿ª·¢ÈËÔ±ÌṩÏàÓ¦µÄ·þÎñ¡£
ÉÏͼÊǵÚÈý½×¶ÎÏàÓ¦µÄ³É¹û¡£Ä¿Ç°£¬ÎÒÃÇµÄÆ½Ì¨Ã¿ÌìÄÜ´¦Àí´óԼһǧ¶àÒÚµÄÊý¾ÝÁ¿£¬TPS ´óÔ¼ÓаÙÍòÿÃ룬×÷Òµ¸öÊýÔòÿÌìÔ¼ÓÐ
150¡«200 ¸ö¡£
Èç½ñÎÞÂÛÊǶàýÌåÏà¹ØµÄÊý×Ö¼ÆËãÐèÇ󣬻¹ÊÇ΢²©Ïà¹ØµÄ´¦ÀíÐèÇó£¬ÎÒÃǵÄÈ˹¤¹¤×÷Á¿ÒÑÏà¶Ô½ÏÉÙÁË£¬Ö÷ÒªµÄ¹¤×÷Á¿¼¯ÖÐÔÚ±àд
WeiPig ÏàÓ¦µÄÅäÖÃÎļþÉÏ¡£ÏàÓ¦µÄ´úÂëÖØ¸´ÂÊÒ²±È½ÏµÍ£¬Í¬ÑùÖ÷Òª¼¯ÖÐÔÚ WeiPig ÎļþÉÏ¡£
ÁíÍ⣬ÓÉÓÚÎÒÃÇÖ÷ÒªÊǵ½ HDFS ÉÏÈ¥ËѼ¯ºÍ¹Ü¿ØÏàÓ¦µÄÈÕÖ¾£¬Òò´ËÒì³£ÅŲéµÄЧÂÊÊÊÖС£
¶ø¶ÔÓÚ¼à¿Ø·½Ê½¶øÑÔ£¬ÎÒÃǴ󲿷ֲÉÓõÄÊÇ×Ô¶¯Éú³ÉµÄ·½Ê½£¬ËùÒÔÖ»¶ÔÒ»Ð©ÌØÊâÒªÇó²Å½øÐÐ¼à¿ØÅäÖá£
µ±È»£¬Ä¿Ç°µÄʵʱÁ÷¼ÆËãÆ½Ì¨ÈÔÓÐÁ½¸öÒÅÁôÎÊÌ⣺
ȱ·¦ÏµÍ³ÐÔµÄ×ÊÔ´µ÷¶È¡£ÎÒÃÇÐèÒªÓÐÒ»¸ö×ÊÔ´µ÷¶Èϵͳ£¬À´ÊµÊ±»ñÖª¼¯ÈºÉϵÄ×÷Òµµ½µ×Ó¦¸ÃÔËÐÐÔÚÄÄһ̨·þÎñÆ÷ÉÏ¡£
ĿǰÎÒÃDzÉÓõÄÒ»ÖÖ¼òÒ×·½Ê½ÊÇ£ºËѼ¯¸÷̨·þÎñÆ÷ÉϵÄ×ÊÔ´Çé¿ö£¬È»ºóÓÃ×Ô¼ºµÄ³ÌÐò½øÐÐÅжϺʹ¦Àí¡£Èç¹ûijһ̨»úÆ÷ÀûÓÃÂʸßÓÚÆäËû·þÎñÆ÷20%µÄ»°£¬ÄÇôÎÒÃÇÈÏΪÆä¸ºÔØÊDz»¾ùºâµÄ¡£
ÈÕÖ¾ÊÕ¼¯·½°¸²»Í³Ò»¡£
×ܽá DQRA Éè¼ÆÄ£Ê½
ÎÒÃÇÔÚʵʱÁ÷¼ÆË㿪·¢µÄ¹ý³ÌÖУ¬Ò»±ß´î½¨ÒµÎñƽ̨£¬Ò»±ß½â¾öÁ˲»ÉÙÎÊÌâ¡£Òò´ËÎÒÃÇ×ܽá³öÁËÒ»Ì× DQRA
µÄÉè¼ÆÄ£Ê½¡£
DQRA Ïê½â
ËüÃÇ·Ö±ðÊÇ£º
Difficulty(Âß¼¸´ÔÓ¶È)
Quantity(Êý¾ÝÁ¿)
Reliability(¿É¿¿ÐÔ)
Asynchronous(Ò첽ʱÐòÐÔ)
Òò´Ë£¬ÎÒÃÇÈÏΪ£ºÃæ¶Ô´ó¶àÊýµÄÐèÇó£¬ÎÒÃÇ¿ÉÒÔ°ÑÎÊÌâµÄʵÏÖ²ð½âΪÉÏÊöËĸöÊôÐÔÖеÄijÖÖ¡£
ÀýÈ磺Âß¼¸´ÔÓ¶ÈÓÐÄÑ¡¢ÖС¢Ò×;Êý¾ÝÁ¿Óдó¡¢ÖС¢Ð¡;¿É¿¿ÐÔÊǸߡ¢ÖС¢Èõ;µÈ·½Ãæ¡£
ÉÏÊö±ãÊÇ DQRA ¿ÉÄܳöÏֵIJ»Í¬×éºÏ£¬ÒÔ¼°Ëù¶ÔÓ¦µÄ²»Í¬½â¾ö·½·¨¡£
DQRA °¸Àý·ÖÎö
ÏÂÃæÎÒÃÇ»á½éÉÜÒ»¸ö¼òµ¥°¸Àý£¬Ëü°üº¬ÈçÏÂÌØÐÔ£º
D ÄÑ£¬±íʾʵÏֵĸ´ÔÓ¶È£¬¼´ÊµÊ±Á÷×÷ÒµÖÐÐèÒª´¦ÀíµÄÂß¼±È½ÏÄÑ¡£
Q ÖУ¬±íʾÊý¾ÝÁ¿¿ÉÄÜÒ»°ã£¬¿ÉÄÜÊÇ´Ó¼¸Ç§Íòµ½Ê®ÒÚÖ®¼ä¡£
R ¸ß£¬±íʾ¿É¿¿ÐԸߣ¬¼´³É¹¦ÂÊÒªÇó¸ß£¬ÈçÇ°ÃæÌáµ½µÄ 6 ¸ö 9 µÄÊý¾Ý´¦Àí³É¹¦ÂÊ¡£
¾ßÌåÀ´Ëµ£¬ËüÊÇÒ»¸öͼÏñ·ÖÎöÓë´¦ÀíÀàϵͳ£¬ÐèÒª¾ßÓгÖÐøÎȶ¨µÄ·þÎñ±£Ö¤¡£Òò´Ë£¬ÏµÍ³Îȶ¨ÊǵÚһλµÄ¡£
Æä´Î£¬ËüÒªÇóÊý¾Ý´¦ÀíµÄ³É¹¦ÂÊ´óÓÚ 6 ¸ö 9£¬´Ó¶øÄÜÓ¦¶Ôµ¥ÈÕ 5000 ÍòµÄÊý¾ÝÁ¿¡£
Òò´Ë£¬ÎÒÃÇͨ¹ýÉÏÊöÈý¸ö·½ÃæÀ´ÊµÏÖ¸ÃϵͳµÄÐèÇó£º
Ê×ÏÈ£¬Õë¶ÔϵͳµÄÎȶ¨ÐÔ£¬ÎÒÃDzÉÓõÄÊÇÄÚÍøºÍ°¢ÀïÔÆµÄ¡°Ë«±£ÏÕ¡±ÍøÂ粿Êð·½Ê½¡£
Æä´Î£¬ÓÉÓÚÉæ¼°µ½Í¼Æ¬µÄÏÂÔØ£¬¶øÎÒÃÇÔÚ×ö·ÖÎöʱ£¬µ÷ÓõÄÊÇÔÚÏßÄ£ÐÍÔ¤²â·½Ê½¡£
Òò´Ë£¬ÎªÁ˱ÜÃâ¿ÉÄܳöÏÖµÄͼƬ·ÖÎöʧ°Ü£¬ÎÒÃDzÉÓÃÁËʵʱ¶ÔÕËϵͳ£¬ÊµÏÖÁ˱ØÒªµÄÖØÊÔ´¦Àí¡£
|