Äú¿ÉÒÔ¾èÖú£¬Ö§³ÖÎÒÃǵĹ«ÒæÊÂÒµ¡£

1Ôª 10Ôª 50Ôª





ÈÏÖ¤Â룺  ÑéÖ¤Âë,¿´²»Çå³þ?Çëµã»÷Ë¢ÐÂÑéÖ¤Âë ±ØÌî



  ÇóÖª ÎÄÕ ÎÄ¿â Lib ÊÓÆµ iPerson ¿Î³Ì ÈÏÖ¤ ×Éѯ ¹¤¾ß ½²×ù Model Center   Code  
»áÔ±   
   
 
     
   
 ¶©ÔÄ
  ¾èÖú
ÈçºÎ»ùÓÚÈÕÖ¾£¬Í¬²½ÊµÏÖÊý¾ÝµÄÒ»ÖÂÐÔºÍʵʱ³éÈ¡?
 
  5918  次浏览      52
 2018-8-20
 
±à¼­ÍƼö:
±¾ÎÄÀ´×ÔÓÚÔÆÆÜÉçÇø£¬Ö÷Òª½éÉÜÁËDWSµÄ±³¾°£¬dbus+wormhole×ÜÌå¼Ü¹¹ºÍ¼¼ÊõʵÏÖ·½°¸£¬DWSµÄʵ¼ÊÔËÓð¸Àý¡£

Ò»¡¢±³¾°

ÊÂÇéÊÇ´Ó¹«Ë¾Ç°¶Îʱ¼äµÄÐèÇó˵Æð£¬´ó¼ÒÖªµÀÒËÐÅÊÇÒ»¸ö»¥ÁªÍø½ðÈÚÆóÒµ£¬ÎÒÃǵĺܶàÊý¾ÝÓë±ê×¼»¥ÁªÍøÆóÒµ²»Í¬£¬´óÖÂÀ´Ëµ¾ÍÊÇ£º

ÍæÊý¾ÝµÄÈ˶¼ÖªµÀÊý¾ÝÊǷdz£ÓмÛÖµµÄ£¬È»ºóÕâЩÊý¾ÝÊDZ£´æÔÚ¸÷¸öϵͳµÄÊý¾Ý¿âÖУ¬ÈçºÎÈÃÐèÒªÊý¾ÝµÄʹÓ÷½µÃµ½Ò»ÖÂÐÔ¡¢ÊµÊ±µÄÊý¾ÝÄØ?

¹ýÈ¥µÄͨÓÃ×ö·¨Óм¸ÖÖÊÇ£º

DBA¿ª·Å¸÷¸öϵͳµÄ±¸¿â£¬ÔÚÒµÎñµÍ·åÆÚ(±ÈÈçÒ¹¼ä)£¬Ê¹Ó÷½¸÷×Ô³éÈ¡ËùÐèÊý¾Ý¡£ÓÉÓÚ³éȡʱ¼ä²»Í¬£¬¸÷¸öÊý¾ÝʹÓ÷½Êý¾Ý²»Ò»Ö£¬Êý¾Ý·¢Éú³åÍ»£¬¶øÇÒÖØ¸´³éÈ¡£¬ÏàÐŲ»ÉÙDBAºÜÍ·ÌÛÕâ¸öÊÂÇé¡£

¹«Ë¾Í³Ò»µÄ´óÊý¾Ýƽ̨£¬Í¨¹ýSqoop ÔÚÒµÎñµÍ·åÆÚµ½¸÷¸öϵͳͳһ³éÈ¡Êý¾Ý£¬ ²¢±£´æµ½Hive±íÖÐ, È»ºóΪÆäËûÊý¾ÝʹÓ÷½ÌṩÊý¾Ý·þÎñ¡£ÕâÖÖ×ö·¨½â¾öÁËÒ»ÖÂÐÔÎÊÌ⣬µ«Ê±Ð§ÐԲ»ù±¾ÊÇT+1µÄʱЧ¡£

»ùÓÚtriggerµÄ·½Ê½»ñÈ¡ÔöÁ¿±ä¸ü£¬Ö÷ÒªÎÊÌâÊÇÒµÎñ·½ÇÖÈëÐԴ󣬶øÇÒtriggerÒ²´øÀ´ÐÔÄÜËðʧ¡£

ÕâЩ·½°¸¶¼²»ËãÍêÃÀ¡£ÎÒÃÇÔÚÁ˽âºÍ¿¼ÂÇÁ˲»Í¬ÊµÏÖ·½Ê½ºó£¬×îºó½è¼øÁË linkedinµÄ˼Ï룬ÈÏΪҪÏëͬʱ½â¾öÊý¾ÝÒ»ÖÂÐÔºÍʵʱÐÔ£¬±È½ÏºÏÀíµÄ·½·¨Ó¦¸ÃÊÇÀ´×ÔÓÚlog¡£

(´ËͼÀ´×Ô£ºhttps: //www.confluent.io /blog /using-logs-to- build-a-solid- data- infrastructure -or- why- dual- writes- are-a-bad-idea/)

°ÑÔöÁ¿µÄLog×÷ΪһÇÐϵͳµÄ»ù´¡¡£ºóÐøµÄÊý¾ÝʹÓ÷½£¬Í¨¹ý¶©ÔÄkafkaÀ´Ïû·Ñlog¡£

±ÈÈ磺

´óÊý¾ÝµÄʹÓ÷½¿ÉÒÔ½«Êý¾Ý±£´æµ½Hive±í»òÕßParquetÎļþ¸øHive»òSpark²éѯ;

ÌṩËÑË÷·þÎñµÄʹÓ÷½¿ÉÒÔ±£´æµ½Elasticsearch»òHBase ÖÐ;

Ìṩ»º´æ·þÎñµÄʹÓ÷½¿ÉÒÔ½«ÈÕÖ¾»º´æµ½Redis»òalluxioÖÐ;

Êý¾Ýͬ²½µÄʹÓ÷½¿ÉÒÔ½«Êý¾Ý±£´æµ½×Ô¼ºµÄÊý¾Ý¿âÖÐ;

ÓÉÓÚkafkaµÄÈÕÖ¾ÊÇ¿ÉÒÔÖØ¸´Ïû·ÑµÄ£¬²¢ÇÒ»º´æÒ»¶Îʱ¼ä£¬¸÷¸öʹÓ÷½¿ÉÒÔͨ¹ýÏû·ÑkafkaµÄÈÕÖ¾À´´ïµ½¼ÈÄܱ£³ÖÓëÊý¾Ý¿âµÄÒ»ÖÂÐÔ£¬Ò²Äܱ£Ö¤ÊµÊ±ÐÔ;

ΪʲôʹÓÃlogºÍkafka×÷Ϊ»ù´¡£¬¶ø²»Ê¹ÓÃSqoop½øÐгéÈ¡ÄØ? ÒòΪ£º

Ϊʲô²»Ê¹ÓÃdual write(˫д)ÄØ?£¬Çë²Î¿¼https://www.confluent.io/blog/using-logs-to-build-a-solid-data-infrastructure-or-why-dual-writes-are-a-bad-idea/

ÎÒÕâÀï¾Í²»¶à×ö½âÊÍÁË¡£

¶þ¡¢×ÜÌå¼Ü¹¹

ÓÚÊÇÎÒÃÇÌá³öÁ˹¹½¨Ò»¸ö»ùÓÚlogµÄ¹«Ë¾¼¶µÄƽ̨µÄÏë·¨¡£

ÏÂÃæ½âÊÍÒ»ÏÂDWSƽ̨£¬ DWSƽ̨ÊÇÓÐ3¸ö×ÓÏîÄ¿×é³É£º

1.Dbus(Êý¾Ý×ÜÏß)£º¸ºÔðʵʱ½«Êý¾Ý´ÓÔ´¶Ëʵʱ³é³ö£¬²¢×ª»»ÎªÔ¼¶¨µÄ×Ô´øschemaµÄjson¸ñʽÊý¾Ý(UMS Êý¾Ý)£¬·ÅÈëkafkaÖÐ;

2.Wormhole(Êý¾Ý½»»»Æ½Ì¨)£º¸ºÔð´Ókafka¶Á³öÊý¾Ý ½«Êý¾ÝдÈ뵽Ŀ±êÖÐ;

3.Swifts(ʵʱ¼ÆËãÆ½Ì¨)£º¸ºÔð´ÓkafkaÖжÁ³öÊý¾Ý£¬ÊµÊ±¼ÆË㣬²¢½«Êý¾Ýд»ØkafkaÖС£

ͼÖУº

Log extractorºÍdbus¹²Í¬Íê³ÉÊý¾Ý³éÈ¡ºÍÊý¾Ýת»»£¬³éÈ¡°üÀ¨È«Á¿ºÍÔöÁ¿³éÈ¡¡£

Wormhole¿ÉÒÔ½«ËùÓÐÈÕÖ¾Êý¾Ý±£´æµ½HDFSÖÐ; »¹¿ÉÒÔ½«Êý¾ÝÂ䵨µ½ËùÓÐÖ§³ÖjdbcµÄÊý¾Ý¿â£¬Â䵨µ½HBash£¬Elasticsearch£¬CassandraµÈ;

SwiftsÖ§³ÖÒÔÅäÖúÍSQLµÄ·½Ê½ÊµÏÖ¶Ô½øÐÐÁ÷ʽ¼ÆË㣬°üÀ¨Ö§³ÖÁ÷ʽjoin£¬look up£¬filter£¬window aggregationµÈ¹¦ÄÜ;

Dbus webÊÇdbusµÄÅäÖùÜÀí¶Ë£¬rider³ýÁËÅäÖùÜÀíÒÔÍ⣬»¹°üÀ¨¶ÔWormholeºÍSwiftsÔËÐÐʱ¹ÜÀí£¬Êý¾ÝÖÊÁ¿Ð£ÑéµÈ¡£

ÓÉÓÚʱ¼ä¹ØÏµ£¬ÎÒ½ñÌìÖ÷Òª½éÉÜDWSÖеÄDbusºÍWormhole£¬ÔÚÐèÒªµÄʱºò¸½´ø½éÉÜÒ»ÏÂSwifts¡£

Èý¡¢dbus½â¾ö·½°¸

ÈÕÖ¾½âÎö

ÈçÇ°ÃæËù˵£¬DbusÖ÷Òª½â¾öµÄÊǽ«ÈÕÖ¾´ÓÔ´¶ËʵʱµÄ³é³ö¡£ ÕâÀïÎÒÃÇÒÔMySQLΪÀý×Ó£¬¼òµ¥ËµÃ÷ÈçºÎʵÏÖ¡£

ÎÒÃÇÖªµÀ£¬ËäÈ»MySQL InnoDBÓÐ×Ô¼ºµÄlog£¬MySQLÖ÷±¸Í¬²½ÊÇͨ¹ýbinlogÀ´ÊµÏֵġ£ÈçÏÂͼ£º

ͼƬÀ´×Ô£ºhttps://github.com/alibaba/canal

¶øbinlogÓÐÈýÖÖģʽ£º

Row ģʽ£ºÈÕÖ¾Öлá¼Ç¼³ÉÿһÐÐÊý¾Ý±»Ð޸ĵÄÐÎʽ£¬È»ºóÔÚslave¶ËÔÙ¶ÔÏàͬµÄÊý¾Ý½øÐÐÐ޸ġ£

Statement ģʽ: ÿһÌõ»áÐÞ¸ÄÊý¾ÝµÄsql¶¼»á¼Ç¼µ½ masterµÄbin-logÖС£slaveÔÚ¸´ÖƵÄʱºòSQL½ø³Ì»á½âÎö³ÉºÍÔ­À´master¶ËÖ´ÐйýµÄÏàͬµÄSQLÀ´ÔÙ´ÎÖ´ÐС£

Mixedģʽ£º MySQL»á¸ù¾ÝÖ´ÐеÄÿһÌõ¾ßÌåµÄsqlÓï¾äÀ´Çø·Ö¶Ô´ý¼Ç¼µÄÈÕÖ¾ÐÎʽ£¬Ò²¾ÍÊÇÔÚStatementºÍRowÖ®¼äÑ¡ÔñÒ»ÖÖ¡£

ËûÃǸ÷×ÔµÄÓÅȱµãÈçÏ£º

´Ë´¦À´×Ô£ºhttp://www.jquerycn.cn/a_13625

ÓÉÓÚstatement ģʽµÄȱµã£¬ÔÚÓëÎÒÃǵÄDBA¹µÍ¨¹ý³ÌÖÐÁ˽⵽£¬Êµ¼ÊÉú²ú¹ý³ÌÖж¼Ê¹ÓÃrow ģʽ½øÐи´ÖÆ¡£ÕâʹµÃ¶ÁȡȫÁ¿ÈÕÖ¾³ÉΪ¿ÉÄÜ¡£

ͨ³£ÎÒÃǵÄMySQL²¼¾ÖÊDzÉÓà 2¸ömasterÖ÷¿â(vip)+ 1¸öslave´Ó¿â + 1¸öbackupÈÝÔֿ⠵Ľâ¾ö·½°¸£¬ÓÉÓÚÈÝÔÖ¿âͨ³£ÊÇÓÃÓÚÒìµØÈÝÔÖ£¬ÊµÊ±ÐÔ²»¸ßÒ²²»±ãÓÚ²¿Êð¡£

ΪÁË×îС»¯¶ÔÔ´¶Ë²úÉúÓ°Ï죬ÏÔÈ»ÎÒÃǶÁÈ¡binlogÈÕÖ¾Ó¦¸Ã´Óslave´Ó¿â¶ÁÈ¡¡£

¶ÁÈ¡binlogµÄ·½°¸±È½Ï¶à£¬githubÉϲ»ÉÙ£¬²Î¿¼https://github.com/search?utf8=%E2%9C%93&q=binlog¡£×îÖÕÎÒÃÇÑ¡ÓÃÁ˰¢ÀïµÄcanal×öλÈÕÖ¾³éÈ¡·½¡£

Canal×îÔç±»ÓÃÓÚ°¢ÀïÖÐÃÀ»ú·¿Í¬²½£¬ canalÔ­ÀíÏà¶Ô±È½Ï¼òµ¥£º

1.CanalÄ£ÄâMySQL SlaveµÄ½»»¥Ð­Ò飬αװ×Ô¼ºÎªMySQL Slave£¬ÏòMySQL Slave·¢ËÍdumpЭÒé

2.MySQL masterÊÕµ½dumpÇëÇ󣬿ªÊ¼ÍÆËÍbinary log¸øSlave(Ò²¾ÍÊÇcanal)

3.Canal½âÎöbinary log¶ÔÏó(ԭʼΪbyteÁ÷)

ͼƬÀ´×Ô£ºhttps://github.com/alibaba/canal

½â¾ö·½°¸

Dbus µÄMySQL°æÖ÷Òª½â¾ö·½°¸ÈçÏ£º

¶ÔÓÚÔöÁ¿µÄlog£¬Í¨¹ý¶©ÔÄCanal ServerµÄ·½Ê½£¬ÎÒÃǵõ½ÁËMySQLµÄÔöÁ¿ÈÕÖ¾£º

°´ÕÕCanalµÄÊä³ö£¬ÈÕÖ¾ÊÇprotobuf¸ñʽ£¬¿ª·¢ÔöÁ¿Storm³ÌÐò£¬½«Êý¾Ýʵʱת»»ÎªÎÒÃǶ¨ÒåµÄUMS¸ñʽ(json¸ñʽ,ÉÔºóÎÒ»á½éÉÜ)£¬²¢±£´æµ½kafkaÖÐ;

ÔöÁ¿Storm³ÌÐò»¹¸ºÔð²¶»ñschema±ä»¯£¬ÒÔ¿ØÖư汾ºÅ;

ÔöÁ¿StormµÄÅäÖÃÐÅÏ¢±£´æÔÚZookeeperÖУ¬ÒÔÂú×ã¸ß¿ÉÓÃÐèÇó¡£

Kafka¼È×÷ΪÊä³ö½á¹ûÒ²×÷Ϊ´¦Àí¹ý³ÌÖеĻº³åÆ÷ºÍÏûÏ¢½â¹¹Çø¡£

ÔÚ¿¼ÂÇʹÓÃStorm×÷Ϊ½â¾ö·½°¸µÄʱºò£¬ÎÒÃÇÖ÷ÒªÊÇÈÏΪStormÓÐÒÔÏÂÓŵ㣺

¼¼ÊõÏà¶Ô³ÉÊ죬±È½ÏÎȶ¨£¬Óëkafka´îÅäÒ²Ëã±ê×¼×éºÏ;

ʵʱÐԱȽϸߣ¬Äܹ»Âú×ãʵʱÐÔÐèÇó;

Âú×ã¸ß¿ÉÓÃÐèÇó;

ͨ¹ýÅäÖÃStorm²¢·¢¶È£¬¿ÉÒԻÐÔÄÜÀ©Õ¹µÄÄÜÁ¦;

È«Á¿³éÈ¡

¶ÔÓÚÁ÷Ë®±í£¬ÓÐÔöÁ¿²¿·Ö¾Í¹»ÁË£¬µ«ÊÇÐí¶à±íÐèÒªÖªµÀ×î³õ(ÒÑ´æÔÚ)µÄÐÅÏ¢¡£ÕâʱºòÎÒÃÇÐèÒªinitial load(µÚÒ»´Î¼ÓÔØ)¡£

¶ÔÓÚinitial load(µÚÒ»´Î¼ÓÔØ)£¬Í¬Ñù¿ª·¢ÁËÈ«Á¿³éÈ¡Storm³ÌÐòͨ¹ýjdbcÁ¬½ÓµÄ·½Ê½£¬´ÓÔ´¶ËÊý¾Ý¿âµÄ±¸¿â½øÐÐÀ­È¡¡£initial loadÊÇÀ­È«²¿Êý¾Ý£¬ËùÒÔÎÒÃÇÍÆ¼öÔÚÒµÎñµÍ·åÆÚ½øÐС£ºÃÔÚÖ»×öÒ»´Î£¬²»ÐèҪÿÌì¶¼×ö¡£

È«Á¿³éÈ¡£¬ÎÒÃÇ½è¼øÁËSqoopµÄ˼Ïë¡£½«È«Á¿³éÈ¡Storm·ÖΪÁË2 ¸ö²¿·Ö£º

1.Êý¾Ý·ÖƬ

2.ʵ¼Ê³éÈ¡

Êý¾Ý·ÖƬÐèÒª¿¼ÂÇ·ÖÆ¬ÁУ¬°´ÕÕÅäÖúÍ×Ô¶¯Ñ¡ÔñÁн«Êý¾Ý°´ÕÕ·¶Î§À´·ÖƬ£¬²¢½«·ÖƬÐÅÏ¢±£´æµ½kafkaÖС£

ÏÂÃæÊǾßÌåµÄ·ÖƬ²ßÂÔ£º

È«Á¿³éÈ¡µÄStorm³ÌÐòÊǶÁÈ¡kafkaµÄ·ÖƬÐÅÏ¢£¬²ÉÓöà¸ö²¢·¢¶È²¢ÐÐÁ¬½ÓÊý¾Ý¿â±¸¿â½øÐÐÀ­È¡¡£ÒòΪ³éÈ¡µÄʱ¼ä¿ÉÄܺܳ¤¡£³éÈ¡¹ý³ÌÖн«ÊµÊ±×´Ì¬Ð´µ½ZookeeperÖУ¬±ãÓÚÐÄÌø³ÌÐò¼à¿Ø¡£

ͳһÏûÏ¢¸ñʽ

ÎÞÂÛÊÇÔöÁ¿»¹ÊÇÈ«Á¿£¬×îÖÕÊä³öµ½kafkaÖеÄÏûÏ¢¶¼ÊÇÎÒÃÇÔ¼¶¨µÄÒ»¸öͳһÏûÏ¢¸ñʽ,³ÆÎªUMS(unified message schema)¸ñʽ¡£

ÈçÏÂͼËùʾ£º

ÏûÏ¢ÖÐschema²¿·Ö£¬¶¨ÒåÁËnamespace ÊÇÓÉ ÀàÐÍ+Êý¾ÝÔ´Ãû+schemaÃû+±íÃû+°æ±¾ºÅ+·Ö¿âºÅ+·Ö±íºÅ Äܹ»ÃèÊöÕû¸ö¹«Ë¾µÄËùÓÐ±í£¬Í¨¹ýÒ»¸önamespace¾ÍÄÜΨһ¶¨Î»¡£

_ums_op_ ±íÃ÷Êý¾ÝµÄÀàÐÍÊÇI(insert)£¬U(update)£¬D(ɾ³ý);

_ums_ts_ ·¢ÉúÔöɾ¸ÄµÄʼþµÄʱ¼ä´Á£¬ÏÔȻеÄÊý¾Ý·¢ÉúµÄʱ¼ä´Á¸üÐÂ;

_ums_id_ ÏûÏ¢µÄΨһid£¬±£Ö¤ÏûÏ¢ÊÇΨһµÄ£¬µ«ÕâÀïÎÒÃDZ£Ö¤ÁËÏûÏ¢µÄÏȺó˳Ðò(ÉÔºó½âÊÍ);

payloadÊÇÖ¸¾ßÌåµÄÊý¾Ý£¬Ò»¸öjson°üÀïÃæ¿ÉÒÔ°üº¬1ÌõÖÁ¶àÌõÊý¾Ý£¬Ìá¸ßÊý¾ÝµÄÓÐÐ§ÔØºÉ¡£

UMSÖÐÖ§³ÖµÄÊý¾ÝÀàÐÍ£¬²Î¿¼ÁËHiveÀàÐͲ¢½øÐмò»¯£¬»ù±¾Éϰüº¬ÁËËùÓÐÊý¾ÝÀàÐÍ¡£

È«Á¿ºÍÔöÁ¿µÄÒ»ÖÂÐÔ

ÔÚÕû¸öÊý¾Ý´«ÊäÖУ¬ÎªÁ˾¡Á¿µÄ±£Ö¤ÈÕÖ¾ÏûÏ¢µÄ˳ÐòÐÔ£¬kafkaÎÒÃÇʹÓõÄÊÇ1¸öpartitionµÄ·½Ê½¡£ÔÚÒ»°ãÇé¿öÏ£¬»ù±¾ÉÏÊÇ˳ÐòµÄºÍΨһµÄ¡£

µ«ÊÇÎÒÃÇÖªµÀдkafka»áʧ°Ü£¬ÓпÉÄÜÖØÐ´£¬StormÒ²ÓÃÖØ×ö»úÖÆ£¬Òò´Ë£¬ÎÒÃDz¢²»Ñϸñ±£Ö¤exactly onceºÍÍêÈ«µÄ˳ÐòÐÔ£¬µ«±£Ö¤µÄÊÇat least once¡£

Òò´Ë_ums_id_±äµÃÓÈÎªÖØÒª¡£

¶ÔÓÚÈ«Á¿³éÈ¡£¬_ums_id_ÊÇΨһµÄ£¬´ÓzkÖÐÿ¸ö²¢·¢¶È·Ö±ðÈ¡²»Í¬µÄidÆ¬Çø£¬±£Ö¤ÁËΨһÐÔºÍÐÔÄÜ£¬Ìîд¸ºÊý£¬²»»áÓëÔöÁ¿Êý¾Ý³åÍ»£¬Ò²±£Ö¤ËûÃÇÊÇÔçÓÚÔöÁ¿ÏûÏ¢µÄ¡£

¶ÔÓÚÔöÁ¿³éÈ¡£¬ÎÒÃÇʹÓõÄÊÇMySQLµÄÈÕÖ¾ÎļþºÅ + ÈÕÖ¾Æ«ÒÆÁ¿×÷ΪΨһid¡£Id×÷Ϊ64λµÄlongÕûÊý£¬¸ß7λÓÃÓÚÈÕÖ¾ÎļþºÅ£¬µÍ12λ×÷ΪÈÕÖ¾Æ«ÒÆÁ¿¡£

ÀýÈ磺000103000012345678¡£ 103 ÊÇÈÕÖ¾ÎļþºÅ£¬12345678 ÊÇÈÕÖ¾Æ«ÒÆÁ¿¡£

ÕâÑù£¬´ÓÈÕÖ¾²ãÃæ±£Ö¤ÁËÎïÀíΨһÐÔ(¼´±ãÖØ×öÒ²Õâ¸öidºÅÒ²²»±ä)£¬Í¬Ê±Ò²±£Ö¤ÁË˳ÐòÐÔ(»¹Äܶ¨Î»ÈÕÖ¾)¡£Í¨¹ý±È½Ï_ums_id_ Ïû·ÑÈÕÖ¾¾ÍÄÜͨ¹ý±È½Ï_ums_id_ÖªµÀÄÄÌõÏûÏ¢¸üС£

Æäʵ_ums_ts_Óë_ums_id_ÒâͼÊÇÀàËÆµÄ£¬Ö»²»¹ýÓÐʱºò_ums_ts_¿ÉÄÜ»áÖØ¸´,¼´ÔÚ1ºÁÃëÖз¢ÉúÁ˶à¸ö²Ù×÷£¬ÕâÑù¾ÍµÃ¿¿±È½Ï_ums_id_ÁË¡£

ÐÄÌø¼à¿ØºÍÔ¤¾¯

Õû¸öÏµÍ³Éæ¼°µ½Êý¾Ý¿âµÄÖ÷±¸Í¬²½£¬Canal Server£¬¶à¸ö²¢·¢¶ÈStorm½ø³ÌµÈ¸÷¸ö»·½Ú¡£

Òò´Ë¶ÔÁ÷³ÌµÄ¼à¿ØºÍÔ¤¾¯¾ÍÓÈÎªÖØÒª¡£

ͨ¹ýÐÄÌøÄ£¿é£¬ÀýÈçÿ·ÖÖÓ(¿ÉÅäÖÃ)¶Ôÿ¸ö±»³éÈ¡µÄ±í²åÈëÒ»ÌõÐÄ̬Êý¾Ý²¢±£´æ·¢ËÍʱ¼ä£¬Õâ¸öÐÄÌø±íÒ²±»³éÈ¡£¬¸úËæ×ÅÕû¸öÁ÷³ÌÏÂÀ´£¬Ó뱻ͬ²½±íÔÚʵ¼ÊÉÏ×ßÏàͬµÄÂß¼­(ÒòΪ¶à¸ö²¢·¢µÄµÄStorm¿ÉÄÜÓв»Í¬µÄ·ÖÖ§)£¬µ±ÊÕµ½ÐÄÌø°üµÄʱºò£¬¼´±ãûÓÐÈκÎÔöɾ¸ÄµÄÊý¾Ý£¬Ò²ÄÜÖ¤Ã÷ÕûÌõÁ´Â·ÊÇͨµÄ¡£

Storm³ÌÐòºÍÐÄÌø³ÌÐò½«Êý¾Ý·¢Ë͹«¹²µÄͳ¼Ætopic£¬ÔÙÓÉͳ¼Æ³ÌÐò±£´æµ½influxdbÖУ¬Ê¹ÓÃgrafana½øÐÐչʾ£¬¾Í¿ÉÒÔ¿´µ½ÈçÏÂЧ¹û£º

ͼÖÐÊÇijҵÎñϵͳµÄʵʱ¼à¿ØÐÅÏ¢¡£ÉÏÃæÊÇʵʱÁ÷Á¿Çé¿ö£¬ÏÂÃæÊÇʵʱÑÓʱÇé¿ö¡£¿ÉÒÔ¿´µ½£¬ÊµÊ±ÐÔ»¹ÊǺܲ»´íµÄ£¬»ù±¾ÉÏ1~2ÃëÊý¾Ý¾ÍÒѾ­µ½Ä©¶ËkafkaÖС£

GranfanaÌṩµÄÊÇÒ»ÖÖʵʱ¼à¿ØÄÜÁ¦¡£

Èç¹û³öÏÖÑÓʱ£¬ÔòÊÇͨ¹ýdbusµÄÐÄÌøÄ£¿é·¢ËÍÓʼþ±¨¾¯»ò¶ÌÐű¨¾¯¡£

ʵʱÍÑÃô

¿¼Âǵ½Êý¾Ý°²È«ÐÔ£¬¶ÔÓÚÓÐÍÑÃôÐèÇóµÄ³¡¾°£¬DbusµÄÈ«Á¿stormºÍÔöÁ¿storm³ÌÐòÒ²Íê³ÉÁËʵʱÍÑÃôµÄ¹¦ÄÜ¡£ÍÑÃô·½Ê½ÓÐ3ÖÖ£º

×ܽáһϣº¼òµ¥µÄ˵£¬Dbus¾ÍÊǽ«¸÷ÖÖÔ´µÄÊý¾Ý£¬ÊµÊ±µÄµ¼³ö£¬²¢ÒÔUMSµÄ·½Ê½Ìṩ¶©ÔÄ£¬ Ö§³ÖʵʱÍÑÃô£¬Êµ¼Ê¼à¿ØºÍ±¨¾¯¡£

ËÄ¡¢Wormhole½â¾ö·½°¸

˵ÍêDbus£¬¸Ã˵һÏÂWormhole£¬ÎªÊ²Ã´Á½¸öÏîÄ¿²»ÊÇÒ»¸ö£¬¶øÒªÍ¨¹ýkafkaÀ´¶Ô½ÓÄØ?

ÆäÖкܴóÒ»¸öÔ­Òò¾ÍÊǽâñkafka¾ßÓÐÌìÈ»µÄ½âñîÄÜÁ¦£¬³ÌÐòÖ±½Ó¿ÉÒÔͨ¹ýkafka×öÒì²½µÄÏûÏ¢´«µÝ¡£DbusºÍWornholeÄÚ²¿Ò²Ê¹ÓÃÁËkafka×öÏûÏ¢´«µÝºÍ½âñî¡£

ÁíÍâÒ»¸öÔ­Òò¾ÍÊÇ£¬UMSÊÇ×ÔÃèÊöµÄ£¬Í¨¹ý¶©ÔÄkafka£¬ÈκÎÓÐÄÜÁ¦µÄʹÓ÷½À´Ö±½ÓÏû·ÑUMSÀ´Ê¹Óá£

ËäÈ»UMSµÄ½á¹û¿ÉÒÔÖ±½Ó¶©ÔÄ£¬µ«»¹ÐèÒª¿ª·¢µÄ¹¤×÷¡£Wormhole½â¾öµÄÊÇ£ºÌṩһ¼üʽµÄÅäÖ㬽«kafkaÖеÄÊý¾ÝÂ䵨µ½¸÷ÖÖϵͳÖУ¬ÈÃûÓпª·¢ÄÜÁ¦µÄÊý¾ÝʹÓ÷½Í¨¹ýwormholeÀ´ÊµÏÖʹÓÃÊý¾Ý¡£

ÈçͼËùʾ£¬Wormhole ¿ÉÒÔ½«kafkaÖеÄUMS Â䵨µ½¸÷ÖÖϵͳ£¬Ä¿Ç°ÓõÄ×î¶àµÄHDFS£¬JDBCµÄÊý¾Ý¿âºÍHBase¡£

ÔÚ¼¼ÊõÕ»ÉÏ£¬ wormholeÑ¡ÔñʹÓÃspark streamingÀ´½øÐС£

ÔÚWormholeÖУ¬Ò»ÌõflowÊÇÖ¸´ÓÒ»¸önamaspace´ÓÔ´¶Ëµ½Ä¿±ê¶Ë¡£Ò»¸öspark streaming·þÎñÓÚ¶àÌõflow¡£

Ñ¡ÓÃSparkµÄÀíÓÉÊǺܳä·ÖµÄ£º

SparkÌìÈ»µÄÖ§³Ö¸÷ÖÖÒì¹¹´æ´¢ÏµÍ³;

ËäÈ»Spark Stream±ÈStormÑÓʱÉԲµ«SparkÓÐןüºÃµÄÍÌÍÂÁ¿ºÍ¸üºÃµÄ¼ÆËãÐÔÄÜ;

SparkÔÚÖ§³Ö²¢ÐмÆËã·½ÃæÓиüÇ¿µÄÁé»îÐÔ;

SparkÌṩÁËÒ»¸ö¼¼ÊõÕ»ÄÚ½â¾öSparking Job£¬Spark Streaming£¬Spark SQLµÄͳһ¹¦ÄÜ£¬±ãÓÚºóÆÚ¿ª·¢;

ÕâÀï²¹³ä˵һÏÂSwiftsµÄ×÷Óãº

SwiftsµÄ±¾ÖÊÊǶÁÈ¡kafkaÖеÄUMSÊý¾Ý£¬½øÐÐʵʱ¼ÆË㣬½«½á¹ûдÈëµ½kafkaµÄÁíÍâÒ»¸ötopic¡£

ʵʱ¼ÆËã¿ÉÒÔÊǺܶàÖÖ·½Ê½£º±ÈÈç¹ýÂËfilter£¬projection(ͶӰ)£¬lookup£¬ Á÷ʽjoin window aggregation£¬¿ÉÒÔÍê³É¸÷ÖÖ¾ßÓÐÒµÎñ¼ÛÖµµÄÁ÷ʽʵʱ¼ÆËã¡£

WormholeºÍSwifts¶Ô±ÈÈçÏ£º

ÂäHDFS

ͨ¹ýWormhole Wpark Streaming³ÌÐòÏû·ÑkafkaµÄUMS£¬Ê×ÏÈUMS log¿ÉÒÔ±»±£´æµ½HDFSÉÏ¡£

kafkaÒ»°ãÖ»±£´æÈô¸ÉÌìµÄÐÅÏ¢£¬²»»á±£´æÈ«²¿ÐÅÏ¢£¬¶øHDFSÖпÉÒÔ±£´æËùÓеÄÀúÊ·Ôöɾ¸ÄµÄÐÅÏ¢¡£Õâ¾ÍʹµÃºÜ¶àÊÂÇé±äΪ¿ÉÄÜ£º

ͨ¹ýÖØ·ÅHDFSÖеÄÈÕÖ¾£¬ÎÒÃÇÄܹ»»¹Ô­ÈÎÒâʱ¼äµÄÀúÊ·¿ìÕÕ¡£

¿ÉÒÔ×öÀ­Á´±í£¬»¹Ô­Ã¿Ò»Ìõ¼Ç¼µÄÀúÊ·ÐÅÏ¢£¬±ãÓÚ·ÖÎö;

µ±³ÌÐò³öÏÖ´íÎóÊÇ£¬¿ÉÒÔͨ¹ý»Ø¹à(backfill)£¬ÖØÐÂÏû·ÑÏûÏ¢£¬ÖØÐÂÐγÉеĿìÕÕ¡£

¿ÉÒÔ˵HDFSÖеÄÈÕÖ¾ÊǺܶàµÄÊÂÇé»ù´¡¡£

½éÓÚSparkÔ­Éú¶ÔparquetÖ§³ÖµÄºÜºÃ£¬Spark SQLÄܹ»¶ÔParquetÌṩºÜºÃµÄ²éѯ¡£UMSÂ䵨µ½HDFSÉÏÊDZ£´æµ½ParquetÎļþÖеġ£ParquetµÄÄÚÈÝÊÇËùÓÐlogµÄÔöɾ¸ÄÐÅÏ¢ÒÔ¼°_ums_id_£¬_ums_ts_¶¼´æÏÂÀ´¡£

Wormhole spark streaming¸ù¾Ýnamespace ½«Êý¾Ý·Ö²¼´æ´¢µ½²»Í¬µÄĿ¼ÖУ¬¼´²»Í¬µÄ±íºÍ°æ±¾·ÅÔÚ²»Í¬Ä¿Â¼ÖС£

ÓÉÓÚÿ´ÎдµÄParquet¶¼ÊÇСÎļþ£¬´ó¼ÒÖªµÀHDFS¶ÔÓÚСÎļþÐÔÄܲ¢²»ºÃ£¬Òò´ËÁíÍ⻹ÓÐÒ»¸öjob£¬Ã¿Ì춨ʱ½«ÕâЩµÄParquetÎļþ½øÐкϲ¢³É´óÎļþ¡£

ÿ¸öParquetÎļþĿ¼¶¼´øÓÐÎļþÊý¾ÝµÄÆðʼʱ¼äºÍ½áÊøÊ±¼ä¡£ÕâÑùÔڻعàÊý¾Ýʱ£¬¿ÉÒÔ¸ù¾ÝѡȡµÄʱ¼ä·¶Î§À´¾ö¶¨ÐèÒª¶ÁÈ¡ÄÄЩParquetÎļþ£¬²»±Ø¶Áȡȫ²¿Êý¾Ý¡£

²åÈë»ò¸üÐÂÊý¾ÝµÄÃݵÈÐÔ

³£³£ÎÒÃÇÓöµ½µÄÐèÇóÊÇ£¬½«Êý¾Ý¾­¹ý¼Ó¹¤Â䵨µ½Êý¾Ý¿â»òHBaseÖС£ÄÇôÕâÀïÉæ¼°µ½µÄÒ»¸öÎÊÌâ¾ÍÊÇ£¬Ê²Ã´ÑùµÄÊý¾Ý¿ÉÒÔ±»¸üе½Êý¾Ý?

ÕâÀï×îÖØÒªµÄÒ»¸öÔ­Ôò¾ÍÊÇÊý¾ÝµÄÃݵÈÐÔ¡£

ÎÞÂÛÊÇÓöµ½Ôöɾ¸ÄÈκεÄÊý¾Ý£¬ÎÒÃÇÃæÁÙµÄÎÊÌâ¶¼ÊÇ£º

1.¸Ã¸üÐÂÄÄÒ»ÐÐ;

2.¸üеIJßÂÔÊÇʲô¡£

¶ÔÓÚµÚÒ»¸öÎÊÌ⣬Æäʵ¾ÍÐèÒª¶¨Î»Êý¾ÝÒªÕÒÒ»¸öΨһµÄ¼ü£¬³£¼ûµÄÓУº

1.ʹÓÃÒµÎñ¿âµÄÖ÷¼ü;

2.ÓÉÒµÎñ·½Ö¸¶¨¼¸¸öÁÐ×öÁªºÏΨһË÷Òý;

¶ÔÓÚµÚ¶þ¸öÎÊÌ⣬¾ÍÉæ¼°µ½_ums_id_ÁË£¬ÒòΪÎÒÃÇÒѾ­±£Ö¤ÁË_ums_id_´óµÄÖµ¸üУ¬Òò´ËÔÚÕÒµ½¶ÔÓ¦Êý¾ÝÐк󣬸ù¾ÝÕâ¸öÔ­ÔòÀ´½øÐÐÌæ»»¸üС£

Ö®ËùÒÔÒªÈíɾ³ýºÍ¼ÓÈë_is_active_ÁУ¬ÊÇΪÁËÕâÑùÒ»ÖÖÇé¿ö£º

Èç¹ûÒѾ­²åÈëµÄ_ums_id_±È½Ï´ó£¬ÊÇɾ³ýµÄÊý¾Ý(±íÃ÷Õâ¸öÊý¾ÝÒѾ­É¾³ýÁË)£¬ Èç¹û²»ÊÇÈíɾ³ý£¬´Ëʱ²åÈëÒ»¸ö_ums_id_СµÄÊý¾Ý(¾ÉÊý¾Ý)£¬¾Í»áÕæµÄ²åÈë½øÈ¥¡£

Õâ¾Íµ¼Ö¾ÉÊý¾Ý±»²åÈëÁË¡£²»ÃݵÈÁË¡£ËùÒÔ±»É¾³ýµÄÊý¾ÝÒÀÈ»±£Áô(Èíɾ³ý)ÊÇÓмÛÖµµÄ£¬ËüÄܱ»ÓÃÓÚ±£Ö¤Êý¾ÝµÄÃݵÈÐÔ¡£

HBaseµÄ±£´æ

²åÈëÊý¾Ýµ½HbaseÖУ¬Ï൱Ҫ¼òµ¥Ò»Ð©¡£²»Í¬µÄÊÇHBase¿ÉÒÔ±£Áô¶à¸ö°æ±¾µÄÊý¾Ý(µ±È»Ò²¿ÉÒÔÖ»±£ÁôÒ»¸ö°æ±¾)ĬÈÏÊDZ£Áô3¸ö°æ±¾;

Òò´Ë²åÈëÊý¾Ýµ½HBase£¬ÐèÒª½â¾öµÄÎÊÌâÊÇ£º

1.Ñ¡ÔñºÏÊʵÄrowkey£ºRowkeyµÄÉè¼ÆÊÇ¿ÉÒÔÑ¡µÄ£¬Óû§¿ÉÒÔÑ¡ÔñÔ´±íµÄÖ÷¼ü£¬Ò²¿ÉÒÔÑ¡ÔñÈô¸ÉÁÐ×öÁªºÏÖ÷¼ü¡£

2.Ñ¡ÔñºÏÊʵÄversion£ºÊ¹ÓÃ_ums_id_+ ½Ï´óµÄÆ«ÒÆÁ¿(±ÈÈç100ÒÚ) ×÷ΪrowµÄversion¡£

VersionµÄÑ¡ÔñºÜÓÐÒâ˼£¬ÀûÓÃ_ums_id_µÄΨһÐÔºÍ×ÔÔöÐÔ£¬Óëversion×ÔÉíµÄ±È½Ï¹ØÏµÒ»Ö£º¼´version½Ï´óµÈ¼ÛÓÚ_ums_id_½Ï´ó£¬¶ÔÓ¦µÄ°æ±¾½ÏС£

´ÓÌá¸ßÐÔÄܵĽǶȣ¬ÎÒÃÇ¿ÉÒÔ½«Õû¸öSpark StreamingµÄDataset¼¯ºÏÖ±½Ó²åÈëµ½HBase£¬²»ÐèÒª±È½Ï¡£ÈÃHBase»ùÓÚversion×Ô¶¯ÌæÎÒÃÇÅжÏÄÄЩÊý¾Ý¿ÉÒÔ±£Áô£¬ÄÄЩÊý¾Ý²»ÐèÒª±£Áô¡£

JdbcµÄ²åÈëÊý¾Ý£º

²åÈëÊý¾Ýµ½Êý¾Ý¿âÖУ¬±£Ö¤ÃݵȵÄÔ­ÀíËäÈ»¼òµ¥£¬ÒªÏëÌá¸ßÐÔÄÜÔÚʵÏÖÉϾͱäµÃ¸´ÔӺܶ࣬×ܲ»ÄÜÒ»ÌõÒ»ÌõµÄ±È½ÏÈ»ºóÔÚ²åÈë»ò¸üС£

ÎÒÃÇÖªµÀSparkµÄRDD/dataset¶¼ÊÇÒÔ¼¯ºÏµÄ·½Ê½À´²Ù×÷ÒÔÌá¸ßÐÔÄÜ£¬Í¬ÑùµÄÎÒÃÇÐèÒªÒÔ¼¯ºÏ²Ù×÷µÄ·½Ê½ÊµÏÖÃݵÈÐÔ¡£

¾ßÌå˼·ÊÇ£º

1.Ê×Ïȸù¾Ý¼¯ºÏÖеÄÖ÷¼üµ½Ä¿±êÊý¾Ý¿âÖвéѯ£¬µÃµ½Ò»¸öÒÑÓÐÊý¾Ý¼¯ºÏ;

2.ÓëdatasetÖеļ¯ºÏ±È½Ï£¬·Ö³öÁ½Àࣺ

A£º²»´æÔÚµÄÊý¾Ý£¬¼´Õⲿ·ÖÊý¾Ýinsert¾Í¿ÉÒÔ;

B£º´æÔÚµÄÊý¾Ý£¬±È½Ï_ums_id_£¬ ×îÖÕÖ»½«ÄÄЩ_ums_id_¸üнϴórowµ½Ä¿±êÊý¾Ý¿â£¬Ð¡µÄÖ±½ÓÅׯú¡£

ʹÓÃSparkµÄͬѧ¶¼ÖªµÀ£¬RDD/dataset¶¼ÊÇ¿ÉÒÔpartitionµÄ£¬¿ÉÒÔʹÓöà¸öworker²¢½øÐвÙ×÷ÒÔÌá¸ßЧÂÊ¡£

ÔÚ¿¼ÂDz¢·¢Çé¿öÏ£¬²åÈëºÍ¸üж¼¿ÉÄܳöÏÖʧ°Ü£¬ÄÇô»¹Óп¼ÂÇʧ°ÜºóµÄ²ßÂÔ¡£

±ÈÈ磺ÒòΪ±ðµÄworkerÒѾ­²åÈ룬ÄÇôÒòΪΨһÐÔÔ¼Êø²åÈëʧ°Ü£¬ÄÇôÐèÒª¸ÄΪ¸üУ¬»¹Òª±È½Ï_ums_id_¿´ÊÇ·ñÄܹ»¸üС£

¶ÔÓÚÎÞ·¨²åÈëÆäËûÇé¿ö(±ÈÈçÄ¿±êϵͳÓÐÎÊÌâ)£¬Wormhole»¹ÓÐÖØÊÔ»úÖÆ¡£ËµÆðÀ´Ï¸½ÚÌØ±ð¶à¡£ÕâÀï¾Í²»¶à½éÉÜÁË¡£

ÓÐЩ»¹ÔÚ¿ª·¢ÖС£

²åÈëµ½ÆäËû´æ´¢ÖеľͲ»¶à½éÉÜÁË£¬×ܵÄÔ­ÔòÊÇ£º¸ù¾Ý¸÷×Ô´æ´¢×ÔÉíÌØÐÔ£¬Éè¼Æ»ùÓÚ¼¯ºÏµÄ£¬²¢·¢µÄ²åÈëÊý¾ÝʵÏÖ¡£ÕâЩ¶¼ÊÇWormholeΪÁËÐÔÄܶø×öµÄŬÁ¦£¬Ê¹ÓÃWormholeµÄÓû§²»±Ø¹ØÐÄ ¡£

Îå¡¢ÔËÓð¸Àý

ʵʱӪÏú

˵ÁËÄÇô¶à£¬DWSÓÐʲôʵ¼ÊÔËÓÃÄØ?ÏÂÃæÎÒÀ´½éÉÜijϵͳʹÓÃDWSʵÏÖÁ˵ÄʵʱӪÏú¡£

ÈçÉÏͼËùʾ£º

ϵͳAµÄÊý¾Ý¶¼±£´æµ½×Ô¼ºµÄÊý¾Ý¿âÖУ¬ÎÒÃÇÖªµÀ£¬ÒËÐÅÌṩºÜ¶à½ðÈÚ·þÎñ£¬ÆäÖаüÀ¨½è¿î£¬¶ø½è¿î¹ý³ÌÖкÜÖØÒªµÄ¾ÍÊÇÐÅÓÃÉóºË¡£

½è¿îÈËÐèÒªÌṩ֤Ã÷¾ßÓÐÐÅÓüÛÖµµÄÐÅÏ¢£¬±ÈÈçÑëÐÐÕ÷Ðű¨¸æ£¬ÊǾßÓÐ×îÇ¿ÐÅÓÃÊý¾ÝµÄÊý¾Ý¡£ ¶øÒøÐÐÁ÷Ë®£¬Íø¹ºÁ÷ˮҲÊǾßÓнÏÇ¿µÄÐÅÓÃÊôÐÔµÄÊý¾Ý¡£

½è¿îÈËͨ¹ýWeb»òÊÖ»úAPPÔÚϵͳAÖÐÌîдÐÅÓÃÐÅϢʱ£¬¿ÉÄÜ»áijЩԭÒòÎÞ·¨¼ÌÐø£¬ËäÈ»¿ÉÄÜÕâ¸ö½è¿îÈËÊÇÒ»¸öÓÅÖÊDZÔÚ¿Í»§£¬µ«ÒÔǰÓÉÓÚÎÞ·¨»òºÜ¾Ã²ÅÄÜÖªµÀÕâ¸öÐÅÏ¢£¬ËùÒÔʵ¼ÊÉÏÕâÑùµÄ¿Í»§ÊÇÁ÷ʧÁË¡£

Ó¦ÓÃÁËDWSÒԺ󣬽è¿îÈËÒѾ­ÌîдµÄÐÅÏ¢ÒѾ­¼Ç¼µ½Êý¾Ý¿âÖУ¬²¢Í¨¹ýDWSʵʱµÄ½øÐгéÈ¡¡¢¼ÆËãºÍÂ䵨µ½Ä¿±ê¿âÖС£¸ù¾Ý¶Ô¿Í»§µÄ´ò·Ö£¬ÆÀ¼Û³öÓÅÖʿͻ§¡£È»ºóÁ¢¿Ì½«Õâ¸ö¿Í»§µÄÐÅÏ¢Êä³öµ½¿Í·þϵͳÖС£

¿Í·þÈËÔ±Ôں̵ܶÄʱ¼ä(¼¸·ÖÖÓÒÔÄÚ)¾Íͨ¹ý´òµç»°µÄ·½Ê½ÁªÏµÉÏÕâ¸ö½è¿îÈË(DZ¿Í)£¬½øÐпͻ§¹Ø»³£¬½«Õâ¸öDZ¿Íת»»ÎªÕæÕýµÄ¿Í»§¡£ÎÒÃÇÖªµÀ½è¿îÊÇÓÐʱЧÐԵģ¬Èç¹ûʱ¼äÌ«¾Ã¾ÍûÓмÛÖµÁË¡£

Èç¹ûûÓÐʵʱ³éÈ¡/¼ÆËã/Âä¿âµÄÄÜÁ¦£¬ÄÇôÕâÒ»Çж¼ÎÞ·¨ÊµÏÖ¡£

ʵʱ±¨±íϵͳ

ÁíÍâÒ»¸öʵʱ±¨±íµÄÓ¦ÓÃÈçÏ£º

ÎÒÃÇÊý¾ÝʹÓ÷½µÄÊý¾ÝÀ´×Ô¶à¸öϵͳ£¬ÒÔǰÊÇͨ¹ýT+1µÄ·½Ê½»ñµÃ±¨±íÐÅÏ¢£¬È»ºóÖ¸µ¼µÚ¶þÌìµÄÔËÓª£¬ÕâÑùʱЧÐԺܲ

ͨ¹ýDWS£¬½«Êý¾Ý´Ó¶à¸öϵͳÖÐʵʱ³éÈ¡£¬¼ÆËãºÍÂ䵨£¬²¢Ìṩ±¨±íչʾ£¬Ê¹µÃÔËÓª¿ÉÒÔ¼°Ê±×÷³ö²¿ÊðºÍµ÷Õû£¬¿ìËÙÓ¦¶Ô¡£

Áù¡¢×ܽá

˵ÁËÄÇô¶à£¬´óÖÂ×ܽáһϣº

DWS¼¼ÊõÉÏ»ùÓÚÖ÷Á÷ʵʱÁ÷ʽ´óÊý¾Ý¼¼Êõ¿ò¼Ü£¬¸ß¿ÉÓôóÍÌÍÂǿˮƽÀ©ÈÝ£¬µÍÑÓ³Ù¸ßÈÝ´í×îÖÕÒ»Ö¡£

DWSÄÜÁ¦ÉÏÖ§³ÖÒì¹¹¶àÔ´¶àÄ¿±êϵͳ£¬Ö§³Ö¶àÊý¾Ý¸ñʽ(½á¹¹»¯°ë½á¹¹»¯·Ç½á¹¹»¯Êý¾Ý)ºÍʵʱ¼¼ÊõÄÜÁ¦¡£

DWS½«Èý¸ö×ÓÏîÄ¿ºÏ²¢×÷Ϊһ¸öÆ½Ì¨ÍÆ³ö£¬Ê¹µÃÎÒÃǾ߱¸ÁËʵʱµÄÄÜÁ¦£¬ Çý¶¯¸÷ÖÖʵʱ³¡¾°Ó¦Óá£

Êʺϳ¡¾°°üÀ¨£ºÊµÊ±Í¬²½/ʵʱ¼ÆËã/ʵʱ¼à¿Ø/ʵʱ±¨±í/ʵʱ·ÖÎö/ʵʱ¶´²ì/ʵʱ¹ÜÀí/ʵʱÔËÓª/ʵʱ¾ö²ß

¸Ðл´ó¼ÒµÄñöÌý£¬´Ë´Î·ÖÏíµ½´ËΪֹ¡£

Q&A

Q1£ºOracle log readerÓпªÔ´·½°¸Âð?

A1£º¶ÔÓÚOracleÒµ½çÒ²ÓÐÐí¶àÉÌÒµ½â¾ö·½°¸£¬ÀýÈ磺Oracle GoldenGate(Ô­À´µÄgoldengate), Oracle Xstream, IBM InfoSphere Change Data Capture(Ô­À´µÄDataMirror)£¬Dell SharePlex (Ô­À´µÄQuest)£¬¹úÄÚµÄDSG superSyncµÈ£¬¿ªÔ´µÄ·½°¸ºÃÓõĺÜÉÙ¡£

Q2£ºÕâ¸öÏîĿͶÈëÁ˶àÉÙÈËÁ¦ÎïÁ¦?¸Ð¾õÓе㸴ÔÓ¡£

Q2£ºDWSÊÇÈý¸ö×ÓÏîÄ¿×é³É£¬Æ½¾ùÿ¸öÏîÄ¿5~7ÈË¡£ÊÇÓе㸴ÔÓ£¬ÆäʵҲÊÇÊÔͼʹÓôóÊý¾Ý¼¼ÊõÀ´½â¾öÎÒÃǹ«Ë¾Ä¿Ç°Óöµ½µÄÀ§ÄÑ¡£

ÒòΪÊǸã´óÊý¾ÝÏà¹Ø¼¼Êõ£¬ËùÓÐÍŶÓÀïÃæµÄÐֵܽãÃö¼»¹ÊDZȽÏhappyµÄ£º)

ÆäʵÕâÀïÃæ£¬DbusºÍWormholeÏà¶Ô¹Ì¶¨Ä£Ê½»¯£¬ÈÝÒ×ÇáËɸ´Óá£Swiftsʵʱ¼ÆËãÊÇÓëÿ¸öÒµÎñÏà¹Ø±È½Ï´óµÄ£¬×Ô¶¨Òå±È½ÏÇ¿£¬Ïà¶Ô±È½ÏÂ鷳һЩ¡£

Q3£ºÒËÐŵÄÕâ¸öDWSϵͳ»á¿ªÔ´Ã´?

A3£ºÎÒÃÇÒ²¿¼ÂǹýÏòÉçÇø¹±Ï×£¬¾ÍÏñÒËÐŵįäËû¿ªÔ´ÏîĿһÑù£¬Ä¿Ç°ÏîÄ¿¸Õ¸Õ³ÉÐΣ¬»¹Óдý½øÒ»²½Ä¥Á¶£¬ÎÒÏàÐÅδÀ´µÄij¸öʱºò£¬ÎÒÃÇ»á¸øËü¿ªÔ´³öÀ´¡£

Q4£º¼Ü¹¹Ê¦ÔõôÀí½â£¬ÊDz»ÊÇϵͳ¹¤³Ìʦ?

A4£º²»ÊÇϵͳ¹¤³Ìʦ£¬ÔÚÎÒÃÇÒËÐÅÓжàλ¼Ü¹¹Ê¦£¬Ó¦¸ÃËãÊÇÒÔ¼¼ÊõÇý¶¯ÒµÎñµÄ¼¼Êõ¹ÜÀíÈËÔ±¡£°üº¬²úÆ·Éè¼Æ£¬¼¼Êõ¹ÜÀíµÈ¡£

Q5£º¸´ÖÆ·½°¸ÊÇ·ñÊÇOGG?

A5£ºOGGÓëÉÏÃæÌáµ½µÄÆäËûÉÌÒµ½â¾ö·½°¸¶¼ÊÇ¿ÉÑ¡·½°¸¡£

   
5918 ´Îä¯ÀÀ       52
Ïà¹ØÎÄÕÂ

»ùÓÚEAµÄÊý¾Ý¿â½¨Ä£
Êý¾ÝÁ÷½¨Ä££¨EAÖ¸ÄÏ£©
¡°Êý¾Ýºþ¡±£º¸ÅÄî¡¢ÌØÕ÷¡¢¼Ü¹¹Óë°¸Àý
ÔÚÏßÉ̳ÇÊý¾Ý¿âϵͳÉè¼Æ ˼·+Ч¹û
 
Ïà¹ØÎĵµ

GreenplumÊý¾Ý¿â»ù´¡Åàѵ
MySQL5.1ÐÔÄÜÓÅ»¯·½°¸
ijµçÉÌÊý¾ÝÖÐ̨¼Ü¹¹Êµ¼ù
MySQL¸ßÀ©Õ¹¼Ü¹¹Éè¼Æ
Ïà¹Ø¿Î³Ì

Êý¾ÝÖÎÀí¡¢Êý¾Ý¼Ü¹¹¼°Êý¾Ý±ê×¼
MongoDBʵս¿Î³Ì
²¢·¢¡¢´óÈÝÁ¿¡¢¸ßÐÔÄÜÊý¾Ý¿âÉè¼ÆÓëÓÅ»¯
PostgreSQLÊý¾Ý¿âʵսÅàѵ