Äú¿ÉÒÔ¾èÖú£¬Ö§³ÖÎÒÃǵĹ«ÒæÊÂÒµ¡£

1Ôª 10Ôª 50Ôª





ÈÏÖ¤Â룺  ÑéÖ¤Âë,¿´²»Çå³þ?Çëµã»÷Ë¢ÐÂÑéÖ¤Âë ±ØÌî



  ÇóÖª ÎÄÕ ÎÄ¿â Lib ÊÓÆµ iPerson ¿Î³Ì ÈÏÖ¤ ×Éѯ ¹¤¾ß ½²×ù Model Center   Code  
»áÔ±   
   
 
     
   
 ¶©ÔÄ
  ¾èÖú
»ùÓÚApache FlinkµÄһվʽʵʱ¼ÆËãÆ½Ì¨
 
  3327  次浏览      29
 2019-9-16
 
±à¼­ÍƼö:
±¾ÎÄÀ´×Ôitpub £¬ÎÄÕÂÖ÷Òª½éÉÜÁËÌÚѶÄÚ²¿»ùÓÚFlink´òÔìµÄһվʽʵʱ¼ÆËãÆ½Ì¨OceanusµÄÏà¹ØÄÚÈÝ£¬Ï£ÍûÄܶÔÄúÓÐËù°ïÖú¡£

Ò»¡¢±³¾°½éÉÜ

TEGʵʱ¼ÆËãÍŶÓ×÷ΪÌÚѶÄÚ²¿×î´óµÄʵʱÊý¾Ý·þÎñ²¿ÃÅ£¬ÎªÒµÎñ²¿ÃÅÌṩ¸ßЧ¡¢Îȶ¨ºÍÒ×ÓõÄʵʱÊý¾Ý·þÎñ¡£ÆäÿÃë½ÓÈëµÄÊý¾Ý·åÖµ´ïµ½ÁË2.1ÒÚÌõ£¬Ã¿Ìì½ÓÈëµÄÊý¾ÝÁ¿´ïµ½ÁË17ÍòÒÚÌõ£¬Ã¿ÌìµÄÊý¾ÝÔö³¤Á¿´ïµ½ÁË3PB£¬Ã¿ÌìÐèÒª½øÐеÄʵʱ¼ÆËãÁ¿´ïµ½ÁË20ÍòÒڴΡ£

½üÄêÀ´´óÊý¾Ý¼¼ÊõµÄ·¢Õ¹£¬ÌرðÊÇHDFSºÍHBaseÕâЩ´óÊý¾Ý´æ´¢ÏµÍ³ÒÔ¼°HadoopºÍSparkÕâЩ´óÊý¾Ý¼ÆËãϵͳ£¬ÒѾ­Ê¹ÈËÃÇÄܽϺõش¦ÀíÊý¾Ý¹æÄ£µÄÎÊÌâ¡£µ«ÊÇÈËÃǶÔÓÚÊý¾ÝÄÚÔÚ¼ÛÖµµÄ×·ÇóÊÇÎÞÖ¹¾³µÄ¡£Ò»·½Ã棬ÈËÃÇ¿ª·¢ÁËÔ½À´Ô½¶à¸´ÔÓµÄÊý¾ÝÍÚ¾òËã·¨À´·¢ÏÖÊý¾Ý¸üÉî²ã´ÎµÄ¹ØÏµÐÅÏ¢£»¶øÁíÒ»·½Ã棬ÓÉÓÚÊý¾Ý¼ÛÖµÍùÍùËæ×Åʱ¼äµÄÁ÷ÊŶøÏûʧ£¬ÈËÃǶÔÊý¾Ý·ÖÎöʱЧÐÔµÄÒªÇóÒ²Ô½À´Ô½¸ß¡£Ô½À´Ô½¶àµÄÒµÎñ¿ªÊ¼Ê¹ÓÃʵʱ¼ÆËãÀ´¼°Ê±»ñÈ¡Êý¾Ý·´À¡¡£

֮ǰʵʱ¼ÆËãÍŶӻùÓÚApache Storm¹¹½¨ÁËÔçÆÚµÄʵʱ¼ÆËãÆ½Ì¨¡£µ«ÔÚ³¤ÆÚµÄά»¤¹ý³ÌÖУ¬Apache StormһЩÉè¼ÆºÍʵÏÖÉϵÄȱÏÝÖð½¥±©Â¶³öÀ´¡£Apache Flink³öÏÖÖ®ºó£¬ÆäÔÚ¼ÆËã½Ó¿Ú¡¢¼ÆËãÐÔÄܺͿɿ¿ÐÔÉϵÄÓÅÒì±íÏÖ£¬Ê¹ÎÒÃǾö¶¨Ê¹ÓÃApache Flink×÷ΪÐÂÒ»´úʵʱ¼ÆËãÆ½Ì¨µÄ¼ÆËãÒýÇæ¡£

Ïà±ÈÓÚStormºÍÆäËûһЩÁ÷¼ÆËã¿ò¼Ü£¬FlinkÓÐןüÏȽøµÄ¼ÆËã¿ò¼Ü£¬¾ßÓÐÒÔϼ¸µãÓÅÊÆ£º

1£©Ê×ÏÈ£¬FlinkÌṩÁ˸üÓѺõıà³Ì½Ó¿Ú¡£StormÌṩµÄAPIÆ«µ×²ãÇÒ¹ýÓÚ¼òµ¥£¬Óû§ÐèÒª´óÁ¿µÄ¿ª·¢¹¤×÷À´Íê³ÉÒµÎñÐèÇó¡£ÁíÍ⣬Óû§ÔÚ¿ª·¢Storm³ÌÐòʱµÄѧϰ³É±¾Ò²½Ï¸ß£¬ÐèÒªÊìϤ¿ò¼ÜÔ­ÀíºÍÔÚ·Ö²¼Ê½»·¾³ÏµÄÖ´ÐÐϸ½Ú¡£Flink³ýÁËÌṩTable APIºÍSQLÕâЩ¸ß¼¶µÄÉùÃ÷ʽ±à³ÌÓïÑÔÖ®Í⣬»¹¶ÔwindowÕâЩÁ÷¼ÆËãÖг£¼ûµÄËã×Ó½øÐÐÁË·â×°£¬°ïÖúÓû§´¦ÀíÁ÷¼ÆËãÖÐÊý¾ÝÂÒÐòµ½´ïµÈÎÊÌ⣬¼«´óµÄ½µµÍÁËÁ÷¼ÆËãÓ¦ÓõĿª·¢³É±¾²¢¼õÉÙÁ˲»±ØÒªµÄÖØ¸´¿ª·¢¡£

2£©FlinkÌṩÁËÓÐЧµÄ״̬¹ÜÀíÖ§³Ö¡£´ó²¿·ÖµÄ¼ÆËã³ÌÐò¶¼ÊÇÓÐ״̬µÄ£¬¼´¼ÆËã½á¹û²»½ö½ö¾ö¶¨ÓÚÊäÈ룬»¹ÒÀÀµÓÚ¼ÆËã³ÌÐòµ±Ç°µÄ״̬¡£µ«Storm¶Ô³ÌÐò״̬µÄÖ§³ÖÊ®·ÖÓÐÏÞ¡£Ò»°ãÇé¿öÏ£¬Óû§³£³£ÐèÒª½«×´Ì¬Êý¾Ý±£´æÔÚMySQLºÍHBaseÕâÑùµÄÍⲿ´æ´¢ÖУ¬×Ô¼º¸ºÔðÕâЩ״̬Êý¾ÝµÄ·ÃÎÊ¡£ÕâЩ¶ÔÍⲿ´æ´¢µÄ·ÃÎʳ£³£³ÉΪStorm³ÌÐòµÄÐÔÄÜÆ¿¾±¡£´ó¶àÊýÇé¿öÏ£¬Óû§Ö»ÄÜÉè¼Æ¸´Ôӵı¾µØcacheÀ´ÌáÉýÐÔÄÜ¡£Spark StreamingÖ±µ½×î½ü²ÅÌṩÁËÓÐÏÞµÄ״̬¹ÜÀíÖ§³Ö£¬µ«ÊÜÏÞÓÚÆäʵÏÖ»úÖÆÐèÒªÒ»¶¨µÄÔ¶³Ì·ÃÎʺÍÊý¾ÝÇ¨ÒÆ¹¤×÷£¬Òò´Ë״̬Êý¾ÝµÄ·ÃÎÊЧÂʲ¢²»¸ß¡£FlinkÔò¶Ô¼ÆËã³ÌÐòµÄ״̬´æ´¢ÌṩÁËÓÐЧ֧³Ö¡£Óû§¿ÉÒÔͨ¹ýÌṩµÄ½Ó¿Ú·½±ãµØ´æ´¢ºÍ·ÃÎʳÌÐò״̬¡£ÓÉÓÚÕâЩ״̬Êý¾Ý´æ·ÅÔÚ±¾µØ£¬Òò´ËÓû§¿ÉÒԵõ½½Ï¸ßµÄ·ÃÎÊÐÔÄÜ¡£ÔÚ·¢Éú¹ÊÕÏʱ£¬FlinkµÄ״̬¹ÜÀí»áÅäºÏÈÝ´í»úÖÆ½øÐÐ״̬Êý¾ÝµÄÖØ½¨£¬±£Ö¤Óû§³ÌÐòµÄÕýÈ·ÐÔ¡£¶øµ±Óû§ÐèÒªÐ޸ijÌÐò²¢·¢¶Èʱ£¬FlinkÒ²¿ÉÒÔ×Ô¶¯µØ½«×´Ì¬Êý¾Ý·Ö·¢µ½ÐµļÆËã½ÚµãÉÏ¡£

3£©FlinkÌṩÁ˷ḻµÄÈÝ´íÓïÒå¡£ÓÉÓÚStormȱÉÙ¶Ô³ÌÐò״̬µÄÓÐЧ֧³Ö£¬Æä¶ÔÈÝ´íµÄÖ§³ÖÒ²½ÏÈõ£¬ºÜÄѱ£Ö¤ÔÚ·¢Éú¹ÊÕϵÄÇé¿öÏ£¬Ã¿ÌõÊäÈëÊý¾ÝÇ¡ºÃ±»´¦ÀíÒ»´Î¡£¶øFlinkÔòÒÀ¿¿·Ö²¼Ê½ÏµÍ³Öо­µäµÄChandy-LamportËã·¨£¬Äܹ»¶ÔÓû§³ÌÐòµÄÊäÈëºÍ״̬Éú³ÉÂú×ãÒ»ÖÂÐԵijÌÐò¿ìÕÕ¡£ÔÚ·¢ÉúÒì³£µÄÇé¿öÏÂͨ¹ý¿ìÕջعö£¬Flink¿ÉÒÔ±£Ö¤EXACTLY-ONCEµÄÈÝ´íÓïÒå¡£¶øÀûÓÃÒì²½checkpointºÍÔöÁ¿checkpoint¼¼Êõ£¬FlinkÄܹ»ÔÚÒԽϵ͵ijɱ¾¶ÔÓû§³ÌÐò½øÐпìÕÕ¡£ÔÚ¿ªÆô¿ìÕÕʱ£¬Óû§³ÌÐòµÄÐÔÄܼ¸ºõ²»ÊÜÓ°Ïì¡£

4£©FlinkÓµÓгöÉ«µÄÖ´ÐÐÐÔÄÜ¡£Flink»ùÓÚʼþ´¥·¢µÄÖ´ÐÐģʽ¶ÔÊý¾ÝÁ÷½øÐд¦Àí£¬Ïà±ÈÓÚSpark Streaming²ÉÈ¡mini batchµÄÖ´ÐÐģʽ£¬Äܹ»´óÁ¿¼õÉÙ³ÌÐòÖ´ÐÐʱµÄµ÷¶È¿ªÏú¡£´ËÍ⣬Flink¶ÔÍøÂç²ã½øÐÐÁË´óÁ¿ÓÅ»¯£¬Í¨¹ýϸÁ£¶È·âËøºÍ¸ßЧÄÚ´æ·ÃÎÊÌá¸ßÊý¾Ý´«ÊäÐÔÄÜ£¬²¢Í¨¹ý·´Ñ¹»úÖÆºÍÁ÷Á¿¿ØÖÆÓÐЧ½µµÍÁ÷Á¿ÓµÈûµ¼ÖµÄÐÔÄÜϽµ¡£¼ÓÉÏFlinkÄܹ»±ÜÃâ״̬Êý¾ÝµÄÔ¶³Ì·ÃÎÊ£¬FlinkÔÚʵ¼ùÖбíÏÖ³ö±ÈÆäËûÁ÷¼ÆËãϵͳ¸ü³öÉ«µÄÖ´ÐÐÐÔÄÜ£¬¾ßÓиüµÍµÄ´¦ÀíÑӳٺ͸ü¸ßµÄÍÌÍÂÄÜÁ¦¡£

¶þ¡¢Æ½Ì¨½éÉÜ

¾¡¹ÜFlink×÷Ϊ¼ÆËãÒýÇæÓÐ׎ÏΪ³öÉ«µÄ±íÏÖ£¬µ«ÔÚÒµÎñÇ¨ÒÆ¹ý³ÌÖУ¬ÎÒÃÇÈÔÈ»Óöµ½ÁËһЩÎÊÌâ¡£Ò»¸öÁ÷¼ÆËãÈÎÎñ´Ó¿ª·¢µ½ÉÏÏßÒª¾­Àú°üÀ¨¿ª·¢¡¢²âÊÔ¡¢²¿ÊðºÍÔËάÔÚÄڵĶà¸ö½×¶Î¡£Óû§Ê×ÏÈÔÚ¿ª·¢½×¶ÎʹÓÃIDE¿ª·¢³ÌÐò£¬²¢½øÐбàÒëºÍ´ò°ü¡£Ö®ºóÓû§½«´ò°üºÃµÄ³ÌÐò²¿Êðµ½²âÊÔ»·¾³ÖУ¬Éú²ú²âÊÔÊý¾Ý½øÐвâÊÔ¡£²âÊÔͨ¹ýÖ®ºó£¬Óû§ÐèÒª½«Æä²¿Êðµ½ÏÖÍø»·¾³ÖУ¬²¢É趨ÐèÒªµÄÔËάָ±ê½øÐÐ¼à¿Ø¡£ÔÚÕâЩ½×¶ÎÖУ¬Óû§ÐèÒªÔÚ²»Í¬»·¾³ºÍ²»Í¬¹¤¾ß´ò½»µÀ£¬ÕûÌåµÄ¿ª·¢ºÍÔËάЧÂʽϵ͡£

ΪÁËÌá¸ßÓû§Á÷¼ÆËãÈÎÎñ³ÖÐø¼¯³ÉºÍ³ÖÐø·¢²¼µÄЧÂÊ£¬ÊµÊ±¼ÆËãÍŶÓÎ§ÈÆFlink´òÔìÁËOceanus£¬Ò»¸ö¼¯¿ª·¢¡¢²âÊÔ¡¢²¿ÊðºÍÔËάÓÚÒ»ÌåµÄһվʽ¿ÉÊÓ»¯ÊµÊ±¼ÆËãÆ½Ì¨¡£Oceanus¼¯³ÉÁËÓ¦ÓùÜÀí¡¢¼ÆËãÒýÇæºÍ×ÊÔ´¹ÜÀíµÈ¹¦ÄÜ£¬Í¬Ê±Í¨¹ýÈÕÖ¾¡¢¼à¿Ø¡¢ÔËάµÈÖܱ߷þÎñ´òͨÁËÓ¦ÓõÄÕû¸öÉúÃüÖÜÆÚ¡£

Ŀǰ£¬OceanusÒѾ­¸²¸ÇÁËËùÓÐÒµÎñBG£¬Îª¶à¸öÒµÎñÌṩʵʱ¼ÆËã·þÎñ¡£ÊµÊ±¼ÆËãÍŶӻ¹½«ÌÚѶÄÚ²¿¸ºÔðÊý¾Ý½ÓÈë¡¢´¦ÀíºÍ¹ÜÀí¹¤×÷µÄTDBank×÷Òµ¶¼´ÓJStormÇ¨ÒÆµ½ÁËOceanusƽ̨ÉÏ¡£ÁíÍ⣬ԭÏÈ»ùÓÚSQL on StormµÄEasyCountƽ̨ÉϵĴ󲿷ÖÒµÎñÒ²¶¼ÒÑÇ¨ÒÆµ½Oceanus¡£

2.1 ¶àÑù»¯µÄÓ¦Óù¹½¨·½Ê½

OceanusÌṩÁ˶àÖÖÐÎʽµÄÓ¦Óù¹½¨·½Ê½À´Âú×㲻ͬÓû§µÄÐèÇó¡£Ò»°ãÓû§¿ÉÒÔʹÓû­²¼·½±ãµÄ¹¹½¨ËûÃǵÄʵʱ¼ÆËãÓ¦Óá£OceanusÔÚwebÒ³ÃæÉÏÌṩÁ˳£¼ûµÄÁ÷¼ÆËãËã×Ó£¬Óû§¿ÉÒÔ½«Ëã×ÓÍÏ×§µ½»­²¼ÉÏ£¬²¢½«ÕâЩËã×ÓÁ¬½ÓÆðÀ´Ö®ºó¾Í¹¹½¨ºÃÁËÒ»¸öÁ÷¼ÆËãÓ¦Óá£ÕâÖÖ¹¹½¨·½Ê½Ê®·Ö¼òµ¥£¬²»ÐèÒªÓû§Á˽âµ×²ãʵÏÖµÄϸ½Ú£¬Ò²²»ÐèÒªÕÆÎÕSQLµÈÓïÑÔµÄÓï·¨£¬Ê¹µÃÓû§Äܹ»×¨×¢ÓÚÒµÎñÂß¼­ºÍÊý¾ÝÁ÷Ïò¡£

¶ÔÓÚ¾ßÓÐÒ»¶¨Êý¾Ý·ÖÎö±³¾°µÄÓû§£¬OceanusÌṩÁËFlink SQL½Ó¿Ú¡£Flink SQL¾¡Á¿×ñÑ­SQL±ê×¼À´ÃèÊöÁ÷Êý¾ÝµÄ¼ÆËãÓïÒ壬Òò´Ë¶ÔÒÔǰ¾­³£Ê¹ÓÃÊý¾Ý²Ö¿â½øÐÐÀëÏßÊý¾Ý·ÖÎöµÄÓû§Äܹ»ºÜ¿ìµÄÇ¨ÒÆµ½Flink SQLÉÏ£¬²¢ÓÃFlink SQL¶ÔʵʱÊý¾ÝÁ÷½øÐзÖÎö¡£ÎªÁ˽øÒ»²½½µµÍÓû§µÄ¿ª·¢³É±¾£¬Oceanus»¹ÔÚÆ½Ì¨ÉÏÌṩÁ˺ܶೣ¼ûµÄSQLº¯Êý¡£ÎªÁË´òÔì±ã½ÝÁ÷³©µÄʹÓÃÌåÑ飬Oceanus»¹ÎªFlink SQLµÄ¿ª·¢ÌṩÁËһϵÁеĸ¨Öú¹¦ÄÜ£º

1£©Óï·¨¸ßÁÁºÍ×Ô¶¯²¹Æë

2£©±íÃûºÍ×Ö¶ÎÃûµÄ¿ì½ÝÊäÈ롢ģºýÆ¥Åä

3£©³£¼ûº¯ÊýµÄÄ£ºýÆ¥Åä

4£©Ò»¼ü¼ì²é´úÂëÓÐЧÐÔ

5£©Ò»¼ü´úÂë¸ñʽ»¯

......

¿¼Âǵ½²»¹ÜÊÇ»­²¼»¹ÊÇSQL£¬ËüÃǵıí´ïÄÜÁ¦¶¼±È½ÏÓÐÏÞ£¬ÔÚ¿ª·¢Ò»Ð©¾ßÓи´ÔÓÂß¼­µÄÓ¦ÓÃʱ½ÏΪÀ§ÄÑ£¬²¢ÇÒÒ²²»ÄܽøÐÐһЩµ×²ãϸ½ÚµÄÓÅ»¯£¬OceanusÔÊÐíÓû§¼ÌÐøÊ¹ÓÃFlinkÌṩµÄDataStream½Ó¿Ú¿ª·¢ÊµÊ±¼ÆËã³ÌÐò¡£ÔÚÕâÖÖ·½Ê½Ï£¬Óû§Ö»ÐèÒª½«ËûÃǵÄʵʱ¼ÆËã³ÌÐò´ò°üºÃÉÏ´«µ½Oceanus¼´¿É¡£

2.2 ÍⲿÊý¾Ý¹ÜÀí

ΪÁË·½±ãÓû§¹ÜÀíFlink×÷Òµ¶ÁÈ¡ºÍдÈ룬OceanusÌṩÁ˶ÔÍⲿÊý¾Ý¹ÜÀíµÄ¹¦ÄÜ¡£ÔÚ¿ª·¢Ó¦ÓÃ֮ǰ£¬Óû§¿ÉÒÔͨ¹ýOceanusÉùÃ÷Ó¦ÓÃËùÐèҪʹÓõÄÊý¾ÝÔ´Ãû³Æ£¬´æ´¢ÀàÐÍ£¨ÈçHippo£¬Tube£¬MySQL»òHBaseµÈ£©£¬ÒÔ¼°Ã¿¸öÊý¾Ý×ֶεÄÃû³ÆºÍÀàÐÍ¡£ÍⲿÊý¾Ý¹ÜÀíʹÓû§¿ÉÒÔÔÚOceanusÉϼȿÉÒÔÍê³ÉÍⲿÊý¾ÝµÄ´´½¨ºÍ·ÃÎÊ£¬²¢ÔÚ¿ª·¢³ÌÐòʱÌṩ±ØÒªµÄ×ֶκ͸ñʽÐÅÏ¢£¬Ìá¸ßÁËÓû§¿ª·¢ÊµÊ±¼ÆËãÓ¦ÓõÄЧÂÊ¡£´ËÍ⣬ÍⲿÊý¾Ý¹ÜÀíÒ²ÔÊÐíÓû§¸üºÃµØÎ¬»¤ÍⲿÊý¾ÝµÄѪԵ¹ØÏµºÍÉú²úÂß¼­£¬ÔÚÊý¾Ý·¢ÉúÒ쳣ʱÄܹ»¸ù¾ÝÉú²úÁ´Â·×·Ëݲ¢¶¨Î»ÎÊÌâ¡£

2.2 ʵʱ¿ÉÊÓ»¯µÄ¼ÆËã½á¹û

¶ÔÓÚÔËÐÐÖеÄÓ¦Óã¬OceanusÌṩÁËʵʱ²é¿´¼ÆËã½á¹ûµÄ¹¦ÄÜ¡£Ä¿Ç°OceanusÌṩÁËÁ½ÖÖ²»Í¬µÄʵʱ¿ÉÊÓ»¯·½Ê½¡£Ê×ÏÈ£¬Óû§¿ÉÒÔͨ¹ýOceanusÌṩµÄ½á¹û³éÑù¹¦ÄÜ»ñÈ¡µ½µ±Ç°¼ÆËã½á¹ûµÄʵʱ²ÉÑù£¬ÀûÓöԱȽá¹ûÀ´¶Ôʵʱ¼ÆËãÓ¦ÓõÄÕýÈ·ÐÔ½øÐÐÑéÖ¤¡£´ËÍ⣬Oceanus»¹´òͨÁËרҵ±¨±íƽ̨ ¨C СÂí±¨±í(http://xiaoma.qq.com)¡£Óû§¿ÉÒÔ½«¼ÆËã½á¹û½ÓÈ뵽СÂí±¨±íÖÐÀ´´î½¨ÒµÎñµÄDashboard£¬½«ÒµÎñÊý¾Ý½øÐÐʵʱ¿ÉÊÓ»¯¡£

2.3 ×ÔÖúµ÷ÊÔ£¬¿ìËÙÑéÖ¤ÒµÎñÂß¼­

ÔÚÍê³Éʵʱ¼ÆËãÓ¦ÓõĿª·¢ÖУ¬OceanusΪÓû§³ÌÐòÌṩÁËһϵÁеŤ¾ß½øÐÐÓ¦ÓÃÂß¼­µÄÑéÖ¤¡£Óû§¼È¿ÉÒÔʹÓÃOceanusÌṩµÄÒ»¼üÉú³É¹¦ÄܲúÉú²âÊÔÊý¾Ý£¬Ò²¿ÉÒÔ×Ô¼ºÏòOceanusÉÏ´«×Ô¼ºµÄµÄ²âÊÔÊý¾Ý£¬Í¨¹ý¶Ô±ÈÔ¤ÆÚ½á¹ûºÍʵ¼Ê½á¹ûÀ´ÑéÖ¤Ó¦ÓÃÂß¼­µÄÕýÈ·ÐÔ¡£ÔÚºóÐø¹¤×÷ÖУ¬Oceanus»¹½«Ìṩ´ÓÏÖÍøÊý¾Ý³éÑùÉú³É²âÊÔÊý¾ÝµÄ¹¦ÄÜ¡£ÕâÑù£¬Óû§¾Í¿ÉÒÔ¸üºÃͨ¹ý¸üÕæÊµµÄ²âÊÔÊý¾ÝÀ´·¢ÏÖÓ¦ÓÃÂß¼­µÄÎÊÌâ¡£

2.4 ¿ìËÙ·½±ãµÄ×ÊÔ´¹ÜÀíºÍ×÷Òµ²¿Êð

Óû§ÔÚÍê³É×÷ÒµµÄ¿ª·¢ºÍ²âÊÔÖ®ºó£¬¿ÉÒÔͨ¹ýOceanus¿ìËÙµÄÔÚ¼¯ÈºÉϽøÐв¿Êð¡£OceanusÒÀÍÐÌÚѶÄÚ²¿µÄ×ÊÔ´µ÷¶ÈϵͳGaiaÀ´½øÐÐ×ÊÔ´¹ÜÀíºÍ×÷Òµ²¿Êð¡£OceanusÔÚ×÷Òµ¹ÜÀíÒ³ÃæÉÏÌṩÁË×÷Òµ×ÊÔ´µÄÅäÖÃÒ³Ãæ£¬Óû§¿ÉÒÔͨ¹ýÕâ¸öÅäÖÃÒ³ÃæÀ´¶Ô×÷ÒµËùÐèÒªµÄCPUºÍÄÚ´æ×ÊÔ´½øÐÐÅäÖ㬲¢Ö¸¶¨×÷ÒµÐèÒª²¿ÊðµÄ¼¯Èº¡£µ±Óû§Íê³ÉÅäÖÃÖ®ºó£¬Oceanus»áÏòGaiaÉêÇë¶ÔÓ¦µÄ×ÊÔ´²¢½«×÷ÒµÌá½»µ½GaiaÉÏÔËÐС£»ùÓÚFlinkÌṩµÄcheckpoint¹¦ÄÜ£¬OceanusÔÊÐíÓû§¶Ô×÷Òµ²¢·¢¶È½øÐÐʵʱÐ޸ģ¬ÊµÏÖ¶¯Ì¬µÄÀ©ÈݺÍËõÈÝ¡£

2.5 ·á¸»µÄÔËά¼à¿ØÖ¸±ê

Oceanus¶ÔFlink×÷ÒµÔËÐÐʱµÄ¶à¸öÔËÐÐÖ¸±ê½øÐвɼ¯£¬°üÀ¨Task ManagerµÄÄڴ棬I/OºÍGCµÈ¡£ÕâЩ²É¼¯µÄÖ¸±ê±»Ð´ÈëÁËÏûÏ¢¶ÓÁÐTubeÖУ¬²¢ÀûÓÃʱÐòÊý¾Ý¿âOpenTSDB½øÐоۺϡ£Í¨¹ýÕâЩ·á¸»µÄÔËÐÐÖ¸±ê£¬Óû§Äܹ»ºÜºÃµÄÁ˽âÓ¦ÓÃÔËÐеÄÇé¿ö£¬²¢ÔÚ³öÏÖÒ쳣ʱÄÜЭÖúÓû§¼°Ê±µÄ¶¨Î»ÎÊÌâ¡£ÔËάÈËÔ±Ôò¿ÉÒÔͨ¹ýÕâЩ²É¼¯µ½µÄÖ¸±ê£¬ÉèÖñ¨¾¯²ßÂÔ²¢ÊµÏÖ¾«Ï¸»¯µÄÔËÓª¡£

Èý¡¢¹¦ÄܸĽø

ΪÁËÄܹ»Ìṩ¸üºÃµÄʵʱ¼ÆËã·þÎñ£¬ÊµÊ±¼ÆËãÍŶӶÔFlinkÄÚºËÒ²½øÐÐÁË´óÁ¿µÄ¸Ä½ø£¬Ìá¸ßÆä¿ÉÓÃÐԺͿɿ¿ÐÔ¡£

ΪÁË·½±ãÓû§¿ª·¢»­²¼ºÍSQL³ÌÐò£¬ÊµÊ±¼ÆËãÍŶÓʵÏÖÁ˳¬¹ý30¸öµÄTable APIºÍSQLº¯Êý¡£Óû§¿ÉÒÔÀûÓÃÕâЩÄÚÖú¯Êý¼«´óµØÌá¸ßʵʱ¼ÆËãÓ¦ÓõĿª·¢Ð§ÂÊ¡£´ËÍ⣬ʵʱ¼ÆËãÍŶÓÒ²¶ÔÊý¾ÝÁ÷ºÍÍⲿά±íµÄjoin½øÐÐÁË´óÁ¿ÓÅ»¯¡£ÁíÍ⻹ÌṩÁËAsyncIOËã×ӵij¬Ê±´¦Àí¡£ÊµÊ±¼ÆËãÍŶӻ¹ÊµÏÖÁËÔöÇ¿´°¿ÚÀ´¶ÔÑÓ³Ùµ½´ïµÄÊý¾Ý½øÐиüºÃµÄ´¦Àí£¬±ÜÃâÕâЩÑÓ³ÙÊý¾ÝµÄ¶ªÊ§¶Ô¼ÆËã½á¹ûÕýÈ·ÐÔµÄÓ°Ïì¡£

ʵʱ¼ÆËãÍŶÓÒ²¶ÔFlinkµÄÎȶ¨ÐÔ×öÁË´óÁ¿µÄ¹¤×÷¡£ÀýÈçͨ¹ý¸Ä½øJob MasterµÄÈÝ´í»úÖÆ£¬ÊµÊ±¼ÆËãÍŶӿÉÒÔʵÏÖMasterÔÚ·¢Éú¹ÊÕÏʱ²»Ó°Ïì×÷ÒµµÄÕý³£Ö´ÐС£

ÔÚ¶ÔFlink³ÖÐø½øÐиĽøµÄͬʱ£¬ÊµÊ±¼ÆËãÍŶÓÒ²ºÍFlinkÉçÇø½¨Á¢ÁËÃÜÇкÏ×÷£¬½«ÕâЩ¸Ä½ø»ØÀ¡¸øFlink£¬ÎªFlinkµÄ·¢Õ¹×ö³öÁË´óÁ¿¹±Ïס£Ä¿Ç°ÊµÊ±¼ÆËãÍŶÓÒѾ­ÓµÓÐÁË1ÃûcommitterÒÔ¼°3Ãû»îÔ¾contributor¡£ÔÚ¸Õ¸Õ·¢²¼µÄFlink 1.7°æ±¾ÖУ¬ÊµÊ±¼ÆËãÍŶӳÉÔ±¹±Ï×Á˳¬¹ý30¸öpull request¡£

ÔÚºóÃæµÄ¹¤×÷ÖУ¬Oceanus½«¼ÌÐøÔÚʵʱ¼ÆËãµÄ¿ÉÓÃÐÔºÍÎȶ¨ÐÔÉÏŬÁ¦£¬ÎªÓû§Ìṩ¸üºÃµÄʵʱ¼ÆËã·þÎñ¡£ÎÒÃǽ«¼ÌÐøÍêÉÆÎÒÃǵÄÔËά¼à¿ØÖ¸±ê£¬Ê¹ÎÒÃÇµÄ¼à¿ØÏµÍ³¸ü¼ÓÖÇÄÜ»¯£¬·½±ãÓû§¶ÔÔËÐÐ×÷ÒµµÄ¼à¿ØºÍ¶ÔÒì³£Çé¿öµÄ¶¨Î»¡£Í¬Ê±£¬ÎÒÃÇ»¹½«ÓÅ»¯ÏÖÓеĵ¯ÐÔÉìËõ»úÖÆ£¬Ê¹Óû§Äܸù¾ÝÒµÎñ¸ºÔØÊµÏÖ¿ìËÙµÄÀ©ÈݺÍËõÈÝ¡£×îºó£¬ÎÒÃÇ»á¸Ä½øFlinkÏÖÓеÄ״̬¹ÜÀíϵͳ£¬¼õÉÙFlinkÓÉÓÚ¸ºÔØÇãбµ¼ÖµÄÐÔÄÜϽµ¡£

 

 
   
3327 ´Îä¯ÀÀ       29
Ïà¹ØÎÄÕÂ

»ùÓÚEAµÄÊý¾Ý¿â½¨Ä£
Êý¾ÝÁ÷½¨Ä££¨EAÖ¸ÄÏ£©
¡°Êý¾Ýºþ¡±£º¸ÅÄî¡¢ÌØÕ÷¡¢¼Ü¹¹Óë°¸Àý
ÔÚÏßÉ̳ÇÊý¾Ý¿âϵͳÉè¼Æ ˼·+Ч¹û
 
Ïà¹ØÎĵµ

GreenplumÊý¾Ý¿â»ù´¡Åàѵ
MySQL5.1ÐÔÄÜÓÅ»¯·½°¸
ijµçÉÌÊý¾ÝÖÐ̨¼Ü¹¹Êµ¼ù
MySQL¸ßÀ©Õ¹¼Ü¹¹Éè¼Æ
Ïà¹Ø¿Î³Ì

Êý¾ÝÖÎÀí¡¢Êý¾Ý¼Ü¹¹¼°Êý¾Ý±ê×¼
MongoDBʵս¿Î³Ì
²¢·¢¡¢´óÈÝÁ¿¡¢¸ßÐÔÄÜÊý¾Ý¿âÉè¼ÆÓëÓÅ»¯
PostgreSQLÊý¾Ý¿âʵսÅàѵ