Äú¿ÉÒÔ¾èÖú£¬Ö§³ÖÎÒÃǵĹ«ÒæÊÂÒµ¡£

1Ôª 10Ôª 50Ôª





ÈÏÖ¤Â룺  ÑéÖ¤Âë,¿´²»Çå³þ?Çëµã»÷Ë¢ÐÂÑéÖ¤Âë ±ØÌî



  ÇóÖª ÎÄÕ ÎÄ¿â Lib ÊÓÆµ iPerson ¿Î³Ì ÈÏÖ¤ ×Éѯ ¹¤¾ß ½²×ù Model Center   Code  
»áÔ±   
   
 
     
   
 ¶©ÔÄ
  ¾èÖú
Lambda¼Ü¹¹Êµ¼ù-´òÔì¸ß²¢·¢ÊµÊ±¼ÆÁ¿µÄÖÇÄÜÊý¾ÝÉ̳¡
 
×÷ÕߣºÍõ·Ç·²
  3316  次浏览      27
 2020-2-26
 
±à¼­ÍƼö:
±¾ÎĽ²ÊöSmart Data Market ÊÇ TalkingData ×÷ΪÊý¾ÝÐÐÒµµÄÏÈÐÐÕßÍÆ³öµÄÖÇÄÜÊý¾Ý·þÎñÉ̳ǡ£Smart Data Market ÒÔϼò³Æ£¨SDMK£©Ìṩ¶àÖÖÐÎʽµÄÊý¾Ý·þÎñ£¬°üÀ¨ API ·þÎñ¡¢ÈËȺÊý¾Ý·þÎñ¡¢Òì²½·þÎñµÈ£¬TalkingData Ï£Íûͨ¹ýÕâЩÊý¾Ý·þÎñ½µµÍ Êý¾ÝÓ¦Óó¡¾°µÄÄѶȣ¬Ï£Íû¶ÔÄúÓÐËù°ïÖú
±¾ÎÄÀ´×ÔÓÚ΢ÐźŰ¢ÀïÔÆÔÆÆÜºÅ£¬ÓÉ»ðÁú¹ûÈí¼þDelores±à¼­¡¢ÍƼö¡£

API ·þÎñµÄÒ»¸öÖØÒª¹¦ÄÜÊǽ«Óû§¶Ô API ½Ó¿ÚµÄµ÷ÓýøÐÐ׼ȷ¼ÆÁ¿£¬ÔÚ´Ë»ù´¡ÉϲÅÄܽøÐÐÓû§¶Ô·þÎñµÄ·ÃÎÊ¿ØÖÆ¡¢¼Æ·Ñ¼ÆÁ¿µÈ¡£½ñÌìÒª¸ø´ó¼Ò·ÖÏíµÄ¾ÍÊÇÎÒÃÇÒ»²½²½¹¹½¨²¢ÍêÉÆ¼ÆÁ¿ÏµÍ³µÄ¹ý³Ì¡£

Ê×ÏÈ SDMK ÉÏ API ·þÎñµÄµ÷ÓÃÖÐÓë¼ÆÁ¿Ïà¹ØµÄÓÐÒÔϼ¸¸ö¹Ø¼üÁ÷³Ì£¨Óë±¾´Î·ÖÏíÄÚÈÝÎ޹صÄÁ÷³Ìδ»­³ö£©:

SDMK ÊÕµ½Óû§µÄµ÷ÓÃÇëÇóºó£¬»á²éѯ¸ÃÓû§¶Ô¸Ã·þÎñµÄÅä¶î£¬È»ºó²éѯÒÑÓÃÁ¿£¬¼ÆËãÓàÁ¿ÊÇ·ñ´óÓÚÁãÀ´¾ö¶¨ÊÇ·ñÔÊÐí´Ë´Îµ÷Óá£Èç¹ûÔÊÐí£¬Ôò½«ÇëÇóת·¢ÖÁ¾ßÌåµÄÄÏÏò·þÎñ²¢¸üÐÂÓÃÁ¿¡£ºóÐø·ÖÏíµÄÄÚÈݾùÎ§ÈÆ×ÅÎÒÃÇÊÇÈçºÎʵÏÖ¼ÆËãÒÑÓÃÁ¿Õâ¸ö·Ç³£¼òµ¥µÄÁ÷³Ì£¬²¢Ò»²½²½¸Ä½ø¼Ü¹¹£¬Ìá¸ßÆäÐÔÄÜ¡¢½¡×³ÐԺͿÉÀ©Õ¹ÐÔ¡£

ÔçÆÚʵÏÖ - ¼òµ¥¿ìËÙʵÏÖ¹¦ÄÜ

ÔÚ SDMK ×îÔçÆÚ¿ª·¢½×¶Î£¬¿ÉÔ¤ÆÚµÄʱ¼äÄÚÒµÎñÁ¿²»»áºÜ´ó£¬¿ìËÙʵÏÖ¹¦ÄÜÊÇ×î»ù±¾µÄÐèÇó¡£µ±Ê±¼ÆÁ¿ÏµÍ³µÄʵÏÖÈçÏ£º

Óû§µ÷Óà SDMK É쵀 API ·þÎñ£¬ÓÉ Gateway Ä£¿é½ÓÊÕÓû§µÄµ÷ÓÃÇëÇó£»

Gateway ѯÎÊ Charging Ä£¿é¸ÃÓû§¶Ô¸Ã·þÎñµÄÅä¶îÊÇ·ñÔÊÐí£»

Charging Ä£¿éÔÚ Mysql ÖÐά»¤ÓÐÓû§-·þÎñµÄÅä¶î£¬Í¬Ê±´Ó ES ÖвéѯÓû§¶Ô¸Ã·þÎñµÄÒÑÓÃÁ¿£»

Gateway ¸ù¾Ý Charging µÄ·µ»Ø½á¹û¾ö¶¨ÊÇ·ñÏòÄÏÏò·þÎñ·¢ÆðÇëÇó»òÖ±½Ó¾Ü¾øÓû§ÇëÇó£»

Gateway Òì²½µØ½«´Ë´Îµ÷ÓõÄÐÅϢдÈë ElasticSearch£»

ÕâÖÖ¼òµ¥¼Ü¹¹ÖУ¬Gateway Ä£¿é×÷Ϊµ÷ÓÃÍø¹Ø£¬·Ö·¢´¦ÀíËùÓÐÓû§¶ÔÄÏÏò·þÎñµÄµ÷Ó㻲ÉÓà ElasticSearch£¨ÒÔϼò³Æ ES£©´æ´¢ËùÓе÷ÓÃÈÕÖ¾£¬Gateway Òì²½µØ½«µ÷ÓÃÈÕ־дÈë ES ÖУ¬Charging Ä£¿é¸ºÔðÅä¶î¹ÜÀíºÍ´Ó ES ÖвéѯÓÃÁ¿¡£ÔÚϵͳ¹¹½¨Ö®³õʹÓÃÕâ¸ö¼Ü¹¹Äܹ»·Ç³£·½±ã¿ìËٵĿª·¢³öÂú×㹦ÄÜÐèÇóµÄ¼ÆÁ¿ÏµÍ³£¬ÔÚÔçÆÚҲȷʵÄܹ»Âú×ã SDMK µÄÒµÎñÐèÇó¡£

µ«Ëæ×Å SDMK µÄÒµÎñÁ¿ËæÊ±¼ä¼¤Ôö£¬ÕâÖּܹ¹µÄȱµãÒ²·Ç³£Ã÷ÏԵı©Â¶³öÀ´£º

ÿ´Îµ÷Óö¼ÐèÒªµÄÒÑÓÃÁ¿¼ÆËãÑÏÖØÒÀÀµÓÚ¶Ô ES µÄ²éѯ£¬¶øËæ×ŵ÷ÓÃÊý¾ÝµÄ»ýÀÛºÍËæÒµÎñ·¢Õ¹µÄµ÷ÓÃÁ¿¼±ËÙÔö¸ß£¬´Ó ES ²éѯÒÑÓÃÁ¿µÄʱÑÓ²»¶ÏÉý¸ß¡£´ÓÔçÆÚµÄÊýÊ®ºÁÃ룬µ½ºóÀ´µÄÉÏǧºÁÃ룬ÒѾ­µ½Á˲»¿É½ÓÊܵij̶ȣ»

ÿÌõµ÷ÓüǼÈë ES µÄʱÑÓÒ²Ô½À´Ô½¸ß£¬Ó°Ïì¼ÆÁ¿µÄʵʱÐÔ¡££»

ElasticSearch-2.3.x Ë÷Òý²»Ö§³Öµ÷Õû·ÖƬÊý£¬²»·½±ãˮƽÀ©Õ¹£»

ÐÔÄÜÓÅ»¯ - ʹÓÃLambda¼Ü¹¹µÄÖØ¹¹

Ãæ¶ÔÔçÆÚ°æ±¾µÄÎÊÌ⣬ÎÒÃDz»µÃÖØ¹¹¼ÆÁ¿ÏµÍ³¡£¾­¹ýÌÖÂÛ£¬ÎÒÃǾö¶¨±£Áôµ÷ÓÃÈÕÖ¾Èë ES µÄ·¾¶£¬²¢Ê¹Óà ES ÖеÄÊý¾Ý×÷Ϊ»ù´¡Êý¾Ý¼ÆËã< Óû§,·þÎñ >µÄ°´ÌìÓÃÁ¿£»Í¬Ê±½«µ÷ÓÃÐÅÏ¢ÍÆÈë Kafka ÖУ¬Ôö¼ÓÒ»¸öʵʱ´¦ÀíÁ÷³ÌÀ´¼ÆËã½üÁ½ÌìµÄÓÃÁ¿¡£×îÖÕÐγÉÁËÈçϵÄÒÑÓÃÁ¿¼ÆËã·½°¸£º

ÕâÊÇÒ»¸öµäÐ굀 Lambda ¼Ü¹¹ÏµÍ³¡£¶ÔÓÃÁ¿µÄ¼ÆËã·ÖΪÁ½¸ö²¿·Ö£¬Åú´¦Àí²¿·Ö£¨Åú´¦Àí²ã£©ºÍʵʱÁ÷´¦Àí²¿·Ö£¨ËٶȲ㣩£¬×îºóÓɲéѯ·þÎñ£¨·þÎñ²ã£©¾ÛºÏÅú´¦Àí²ãºÍ¿ìËÙ²ãµÄÊý¾ÝÌṩ²éѯ·þÎñ¡£

Åú´¦Àí²ã

ΪÁ˾¡Á¿Éٵĸ͝£¬ÎÒÃÇÑ¡Ôñ±£Áôµ÷ÓÃÐÅÏ¢->ES µÄÁ÷³Ì£¬²¢°ÑËü×÷Ϊ Lambda ¼Ü¹¹µÄ²»±ä²ã¡£Åú´¦ÀíÁ÷³ÌΪµ÷ÓÃÈÕ־дÈë ES£¬Ã¿ÌìÓÐÒ»¸ö¶¨Ê±ÈÎÎñ´Ó ES Àï¼ÆËãǰһÌìµÄËùÓÐ<Óû§,·þÎñ>µ÷ÓÃÓÃÁ¿£¬È»ºó½«¾ÛºÏºó½á¹ûдÈë Mysql ÖС£Åú´¦ÀíµÄ Mysql ¿âÖд洢ÁËÁ½ÌìǰµÄËùÓÐ<Óû§,·þÎñ>µÄ°´Ììµ÷ÓüÆÁ¿ÐÅÏ¢¡£

Ïà½ÏÓÚÔçÆÚʵÏֵİ汾£¬ES ²»ÔÙΪÿ´ÎÓÃÁ¿²éѯÌṩ·þÎñ£¬ÕâÑù ES µÄ²éѯѹÁ¦±äµÃ·Ç³£Ð¡£¬¶ø¸ü¶àµÄÊǵ÷ÓÃÈÕÖ¾Èë ES µÄ²Ù×÷¡£Í¬Ê±ÓÉÓÚʵʱµÄ¼ÆÁ¿Êý¾Ý²»ÔÙͨ¹ýÅú´¦ÀíÁ÷³Ì¼ÆË㣬Òò´ËÊý¾ÝÈë ES µÄÑÓ³Ù²»ÔÙÖØÒª¡£´Ëʱ ES µÄ²éѯ·þÎñÖ÷ÒªÌṩ¸ø±¨±íºÍÓÃÁ¿Êý¾ÝµÄÅú´¦ÀíʹÓ㬲»ÔÙΪ¸ßƵµÄ API ·þÎñµ÷ÓôøÀ´µÄÓÃÁ¿²éѯËùÀÛ¡£¶øÇÒÔÚ¿ÉÔ¤¼ûµÄδÀ´£¬ÔÚµ±Ç°Ã¿ÌìÒ»¸öµÄÅú´¦Àí¼ä¸ôÏ£¬Ã¿´ÎÅú´¦ÀíÈÎÎñÊÇÍêÈ«Äܹ»ÔÚÒ»¸öÅú´¦Àí¼ä¸ôÄÚÍê³ÉµÄ¡£

ÕâÑù»¹ÓÐÒ»¸öÖØÒªµÄºÃ´¦£ºÅú´¦ÀíÊÓͼÊý¾ÝµÄÖØËã±äµÃ·Ç³£ÈÝÒס£ÏµÍ³ÄÑÃâ»áÒòΪҵÎñÐèÇó¡¢³ÌÐò´íÎóÉõÖÁ¹ÊÕ϶øÐèÒªÖØËãijЩÓÃÁ¿Êý¾Ý¡£ÕâʱºòÓÉÓÚ ES Öд洢ÁËËùÓÐԭʼµÄµ÷ÓÃÊý¾Ý£¬¶øÇÒÖØËãÖ»ÐèÒªÔÚÅú´¦Àí¼ä¸ôÄÚÍê³É¾Í²»»áÔì³ÉÓ°Ïì¡£ÕâÑù¶Ôϵͳά»¤¡¢ÒµÎñÑݽø¶¼´øÀ´Á˼«´óµÄ±ãÀû¡£

ËٶȲã

ËٶȲãΪ µ÷ÓÃÊý¾Ý->Kafka->Redis µÄʵʱÁ÷´¦Àí¹ý³Ì¡£¸ÃÁ÷³ÌΪµ÷ÓÃÐÅϢдÈë Kafka£¬ÓÉÏû·ÑÕß´Ó Kafka ÖÐÏû·Ñµ÷ÓÃÐÅÏ¢£¬È»ºó½«µ÷ÓÃÐÅÏ¢ÔÚ Redis ÖнøÐÐÔöÁ¿¼ÆËã¡£Redis Öд洢Á˵±ÌìºÍ×òÌìµÄËùÓÐ< Óû§,·þÎñ >µÄ°´Ììµ÷ÓüÆÁ¿Êý¾Ý¡£Redis ÖÐµÄ key ÓÉ Óû§-·þÎñ-ʱ¼äÇø¼äÆðµã×é³É£¬²¢ÇÒÿ¸ö key ÔÚ¸üк󶼻á¸üРTTL ΪÁ½Ìì¡£ÕâÑù³¬ÆÚµÄ key(Á½ÌìǰµÄÓÃÁ¿Êý¾Ý)»á×Ô¶¯±»É¾³ý£¬ÒÔ´ïµ½ Redis ÖÐÖ»´æ´¢µ±ÌìºÍ×òÌìÓÃÁ¿Êý¾ÝµÄÄ¿µÄ¡£

¾­²âÊÔ£¬Redis ¿ÉÒÔ´ïµ½·Ç³£¸ßµÄ¶ÁдÐÔÄÜ£¬ÍêÈ«Äܹ»Âú×ãÎÒÃÇ API µ÷ÓõIJ¢·¢ÐèÇó¡£¶øÎÒÃÇʹÓÃµÄ Kafka ¼¯ÈºµÄÍÌÍÂÒ²ÍêÈ«Äܹ»Âú×ãÒµÎñÐèÇ󡣸üÖØÒªµÄÊÇ£¬Kafka µÄ topic ·ÖÇøÊý¿ÉÒÔµ÷Õû£¬ÔÚÒµÎñÁ¿¼ÌÐøÔö³¤µÄʱºòÍêÈ«¿ÉÒÔͨ¹ýºáÏòÀ©Õ¹ Kafka ¼¯Èº¡¢Ôö¼Ó topic ·ÖÇøÊýÀ´À©Õ¹ÏµÍ³µÄÈÝÁ¿¡£ºó¼ÌµÄÏû·ÑÕßÒ²¿ÉÒÔͨ¹ýÔö¼Ó½ÚµãÀ´·½±ãµÄÀ©Õ¹Ïû·ÑÄÜÁ¦£¬´Ó¶øÊ¹µ÷ÓÃÊý¾Ý¾¡Á¿²»ÔÚ Kafka ÄÚÓÙ»ý£¬ÒÔ´ËÀ´±£Ö¤¼ÆÁ¿µÄʵʱÐÔ¡£

·þÎñ²ã

·þÎñ²ãÌṩÓÃÁ¿²éѯ½Ó¿Ú£¬ÓÃÁ¿²éѯʱ£¬´ÓÅú´¦ÀíÊÓͼÖвé³ö< Óû§,·þÎñ >Á½ÌìǰµÄËùÓÐÓÃÁ¿Êý¾Ý£»Í¬Ê±´ÓʵʱÊÓͼÖвé³öµ±ÌìºÍ×òÌìµÄÓÃÁ¿Êý¾Ý£»¾ÛºÏµ½Ò»Æð£¬¾ÍÊǸÃÓû§¶Ô¸Ã·þÎñµÄ×ܵÄÓÃÁ¿Êý¾Ý¡£¿É¼û£¬²éѯ²Ù×÷»á¶ÁÒ»´Î Mysql£¬Á½´Î Redis£¬Ïà½ÏÓÚ֮ǰ´Ó ES ÖÐɨһ±éËùÓе÷ÓÃÐÅÏ¢¼ÆËãÓÃÁ¿µÄ·½Ê½¿ìÁËÉϰٱ¶£¨Ö®Ç°µÄ·½°¸µ½¸Ä½øÊ±ºÄʱÒѾ­³¬¹ý 1 Ã룬¸Ä½øºó·½°¸ºÄʱÎȶ¨ÔÚ 10 ºÁÃë×óÓÒ£©¡£

½«ÉÏÃæµÄÓÃÁ¿¼ÆËã·½°¸Ó³É䵽ʵ¼ÊµÄÄ£¿éÉÏ£¬¾ÍÐγÉÁËÈçÏÂËùÊ¾ÖØ¹¹ºó¼ÆÁ¿ÏµÍ³µÄÑù×Ó£º

¢Ù Óû§µ÷Óà SDMK É쵀 API ·þÎñ£¬ÓÉ Gateway Ä£¿é½ÓÊÕÓû§µÄµ÷ÓÃÇëÇó

¢Ú Gateway ѯÎÊ Charging Ä£¿é¸ÃÓû§¶Ô¸Ã·þÎñµÄÅä¶îÊÇ·ñÔÊÐí£»

¢Û Charging ×Ô¼ºÎ¬»¤ÁËÅä¶î£¬²¢µ½ Metering ²éѯ·þÎñÓÃÁ¿£»

¢Ü¡¢¢Ý Metering ²éѯ·þÎñµ½ Mysql ºÍ Redis ÖоۺÏÓÃÁ¿Êý¾Ý£»

¢Þ Gateway ¸ù¾Ý Charging µÄ·µ»Ø½á¹û¾ö¶¨ÊÇ·ñÏòÄÏÏò·þÎñ·¢ÆðÇëÇó»òÖ±½Ó¾Ü¾øÓû§ÇëÇó£»

¢ß¡¢¢à Gateway Òì²½µØ½«´Ë´Îµ÷ÓõÄÐÅϢдÈë ElasticSearch ºÍ Kafka£»

¢á Metering Åú´¦Àí²¿·Ö¶¨Ê±½« ES ÖеÄÊý¾Ý°´Ìì¾ÛºÏµ½ Mysql ÖУ»

¢â Metering ʵʱÁ÷´¦Àí²¿·Ö³ÖÐøµØ´Ó Kafka ÖÐÏû·Ñµ÷ÓÃÏûÏ¢ÔÚ Redis ÖÐ×öÔöÁ¿¼ÆË㣻

ͼÖлÒÉ«µÄ²¿·Ö¾ÍÊÇÖØ¹¹Ê±ÒýÈëµÄ²¿·Ö£ºÔö¼Óµ÷ÓÃÐÅÏ¢Èë Kafka¡¢Ôö¼Ó Metering Ä£¿é½«¼ÆÁ¿²éѯ¹¦ÄÜ´Ó Charging ÖзÖÀë³öÀ´¡£Metering ·ÖΪÈý¸ö²¿·Ö£¬·Ö±ðÊǶ¨Ê±Åú´¦Àí¡¢ÊµÊ±Á÷´¦ÀíºÍ²éѯ·þÎñ¡£Í¬Ê±Ôö¼Ó´æ´¢Åú´¦Àí½á¹ûµÄ Mysql ºÍ´æ´¢ÊµÊ±¼ÆÁ¿Êý¾ÝµÄ Redis¡£

ÖÁ´Ë£¬¼ÆÁ¿ÏµÍ³¾­¹ý Lambda ¼Ü¹¹µÄÖØ¹¹£¬ÐÔÄܵõ½Á˷dz£´óµÄÌá¸ß¡£¶øÇÒÔÚ¿ÉÒÔÔ¤¼ûµÄʱ¼äÄÚÓ¦¸Ã¶¼Äܹ»Í¨¹ý¼òµ¥·½±ãµÄÀ©ÈÝÀ´Âú×ãÒµÎñÔö³¤¡£

³ÖÐø¸Ä½ø - ÔڲɿÓÖÐÍêÉÆ

1. ½â¾ö Kafka Ïû·Ñģʽ´øÀ´µÄÓÃÁ¿Öظ´¼ÆÁ¿

±¾ÒÔΪ¿ÉÒÔ·ÅËÉÒ»¶Îʱ¼ä£¬È´Ã»Ïëµ½ºÜ¿ì¾ÍÓöµ½Á˼ÆÁ¿Öع¹ºóµÄµÚÒ»¸öÎÊÌ⣺ʵʱÊÓͼÖеÄÓÃÁ¿Êý¾Ý»á·Ç³£Ð¡¸ÅÂʵĶàËã¡£ËäÈ»Õâ·¢ÉúµÄ·Ç³£ÉÙ£¬¶øÇÒ³¬ËãµÄÁ¿Ò²·Ç³£ÉÙ£¬²¢ÇÒ³¬ËãµÄÕⲿ·ÖÒ²»áÔÚÁ½ÌìÄÚ±»Åú´¦ÀíÊÓͼÄÚÊý¾Ý³åµô¡£µ«×ܹéÊÇÒ»¸öȱÏÝ¡£

¾­¹ýÅŲ飬·¢ÏÖÊÇÎÒÃÇʹÓÃµÄ Kafka ×éÏû·Ñģʽ´øÀ´µÄÎÊÌâ¡£ËùÓеĵ÷ÓÃÈÕÖ¾»á±»ÍÆË͵½ Kafka µÄÒ»¸ö topic ÄÚ£¬ÓÃÀ´¼ÆËãʵʱÓÃÁ¿µÄÏû·ÑÕßÔÚͬһ¸ö×éÄÚ¶©ÔÄÕâ¸ö topic¡£

Kafka ×éÏû·Ñģʽ£º

ÔÚÎÒÃÇʹÓõÄ×éÏû·ÑģʽÏ£¬Ã¿Ò»ÌõÏûÏ¢»á±»¸Ã topic µÄÿ¸öÏû·ÑÕß×éÖеÄÏû·ÑÕßÖÁÉÙÏû·ÑÒ»´Î¡£ÕâÖÖÏûÏ¢´«µÝÓïÒ屣֤ÿһÌõÏûÏ¢»á±»Ã¿Ò»¸ö×éÏû·Ñ£¬µ«ÓпÉÄܻᱻͬһ¸ö×éÏû·Ñ¶à´Î£¬ÕâÑùÔÚ¼ÆËãÓÃÁ¿µÄʱºò¾ÍÓпÉÄÜ»áÖØ¸´¼ÆËã¡£

½â¾öµÄ·½Ê½Ò²ºÜ¼òµ¥£¬ÔÚ consumer ¶ËÏû·Ñµ½µ÷ÓÃÈÕÖ¾ºó½øÐÐÅÅÖØ¡£µ±È»¿ÉÄÜÓÐÉùÒô˵ Kafka µÄºóÐø°æ±¾ÊµÏÖÁ˾«È·Ò»´ÎµÄÏûÏ¢´«µÝÓïÒ壬ÎÒÃÇËäȻûÓе÷ÑÐÊDz»ÊÇÕæµÄÕâÑù£¬µ«ÔÚ consumer ¶Ë½øÐÐÅÅÖØÈÔÈ»ÊǺÜÓÐÒâÒåµÄ¡£ÒòΪÕâÑù¾ÍÔÊÐíµ÷ÓÃÈÕÖ¾ÔÚ·¢ËͶ˱»Öظ´·¢ËÍ£¬ºÍÏû·ÑÕßµÄÖØÐÂÏû·Ñ¡£ÕâÖÖ¿íÈÝ¿ÉÒÔ´øÀ´ºÜ¶àºÃ´¦£¬ÀýÈç·½±ã¹ÊÕϻָ´ºóµÄ¿ìËÙ´¦Àí¿ÉÄܶªÊ§µÄÏûÏ¢µÈ¡£

ÎÒÃǾßÌåʵÏÖÏûÏ¢ÅÅÖØÊ±ÓÖÒ»´ÎʹÓÃÁË Redis¡£Ã¿Ò»Ìõµ÷ÓÃÈÕÖ¾¶¼»áÓÐÒ»¸öΨһµÄ traceId£¬Ã¿Äõ½Ò»Ìõµ÷ÓÃÏûÏ¢£¬Òªµ½ÅÅÖØ¿âÀïÈ¥¿´Ò»ÏÂÕâ¸ö traceId ÊÇ·ñÒѾ­³öÏÖ¹ý£¬Í¬Ê±½«Õâ¸ö traceId д½øÅÅÖØ¿â¡£Redis µÄ GETSET ¿ÉÒÔÔ­×ÓµÄÍê³ÉÕâÁ½¸ö²Ù×÷£¬±ÜÃâÁ˲¢·¢Ê±¿ÉÄÜ»á´øÀ´µÄÎÊÌ⡣ͬʱ£¬ÓÉÓÚ Redis ÀïÖ»ÐèÒª¼ÆËã½üÁ½ÌìÄÚµÄÓÃÁ¿Êý¾Ý£¬Òò´Ë¿ÉÒÔ¸øÅÅÖØ¿âÀïµÄÿ¸ö traceId ÉèÖÃÁ½ÌìµÄ TTL¡£ÕâÑùÅÅÖØ¿â¾Í²»»áÂýÂý±»³Å±¬£¬¶øÇÒ¿ÉÒÔ¸ù¾Ýƽ̨ÉÏËùÓÐ API µ÷ÓÃµÄÆ½¾ùƵ¶ÈÀ´Ô¤¹ÀÅÅÖØ¿âÐèÒªµÄÄÚ´æ¡£

2. ²éѯ·þÎñ½ø³ÌÄÚ»º´æÅú´¦Àí½á¹û½øÒ»²½Ìá¸ßÐÔÄÜ

ÉÏÃæµÄÁ÷³ÌÖдó¼Ò»á·¢ÏÖ£¬´æ´¢Åú´¦Àí½á¹ûµÄ Mysql ÄÚµÄÊý¾Ýÿһ¸öÅú´¦ÀíÍê³Éºó²Å»áÓÐËù¸üУ¬¶øÕâ¸öʱ¼ä³¤´ïÒ»Ì죬µ« SDMK ÉÏÿÃëÊýǧ´ÎµÄ API µ÷Óñ³ºóÈ´¶¼»áÓвéѯ·þÎñ´Ó Mysql ÖвéѯÀúÊ·ÓÃÁ¿µÄ¹ý³Ì¡£ËäÈ»Õâ¸ö²éѯ¹ý³ÌºÜ¿ì £¨¼¸ºÁÃëµ½¼¸Ê®ºÁÃ룩£¬µ«¶ÔÓÚ¶Ô²¢·¢ºÍʱÑÓÒªÇóºÜ¸ßµÄ Gateway À´ËµÒ²ÖµµÃÓÅ»¯¡£Ò»¸ö¼òµ¥Ã÷Á˵ķ½Ê½ÊÇÔÚ Metering µÄ²éѯ·þÎñ½ø³ÌÄÚ»º´æ Mysql ÖеÄÀúÊ·ÓÃÁ¿Êý¾Ý£¬ÎÒÃÇҲȷʵÊÇÕâô×öµÄ¡£ÓÉÓÚÓû§¶Ô API ·þÎñµÄµ÷ÓöàΪһ¶Îʱ¼äÄÚÁ¬ÐøµÄµ÷Óã¬Òò´ËÖ»ÐèÒªºÜСµÄ»º´æ¿Õ¼ä¾Í¿ÉÒÔ´ïµ½·Ç³£¸ßµÄ»º´æÃüÖÐÂÊ£¬Ð§¹ûÊ®·ÖÀíÏë¡£ÕâÒ»¸Ä½øºó£¬²éѯÁ½ÌìǰÓÃÁ¿Êý¾ÝÊý¾ÝµÄʱ¼äÏûºÄ´ÓÊýºÁÃëµ½ÊýÊ®ºÁÃë¼õÉÙµ½Æ½¾ù²»µ½Ò»ºÁÃë¡£

3. ʵʱ¼ÆËãÁ÷³ÌµÄ½µ¼¶´¦Àí

Éú²ú»·¾³ÖÐÔø¾­Óöµ½¹ý Kafka ¼¯ÈºµÄ¹ÊÕϵ¼Öµ÷ÓÃÈÕÖ¾ÎÞ·¨Ð´Èë Kafka ÖУ¬½ø¶øµ¼ÖÂʵʱÓÃÁ¿Ã»ÓÐËãÉÏ¡£Ê¹ÎÒÃÇÒâʶµ½ÐèÒªÓÐÒ»¸ö Failover µÄͨ·¡£ÎÒÃÇÑ¡ÔñÁËÒ»¸ö¼òµ¥ÊµÏÖ£ºMetering µÄÁ÷¼ÆË㲿·ÖÔö¼ÓÒ»¸ö HTTP ½Ó¿Ú£¬ÓÃ×ö³ý Kafka Ïû·ÑÕßÍâÁíÒ»¸öµ÷ÓÃÈÕÖ¾µÄÀ´Ô´¡£Gateway ÔÚ½«µ÷ÓÃÈÕ־д Kafka ʧ°Üºóµ÷ÓøýӿÚÏòÁ÷´¦Àí²¿·Ö´«µÝ¸ÃÌõµ÷ÓÃÈÕÖ¾¡£ÕâÑùÈç¹ûÔٴη¢Éú Kafka ¹ÊÕÏ£¬²»ÖÁÓÚÓ°Ïì¼ÆÁ¿µÄʵʱÐÔ¡£

¾­¹ýÕâ´Î¸ÄÔ죬ÐγÉÁ˼ÆÁ¿ÏµÍ³Ä¿Ç°µÄÑù×Ó£º

½á Óï

Àú¾­Ò»´ÎÖØ¹¹ºÍ¶à´ÎСµÄ¸Ä½ø£¬SDMK µÄ¼ÆÁ¿ÏµÍ³Ò»²½²½ÔÚÐÔÄÜ¡¢½¡×³ÐÔ¡¢¿ÉÀ©Õ¹ÐÔÉϲ»¶ÏÌá¸ß£¬Ö§³ÅÁË SDMK ƽ̨²»¶ÏµÄÒµÎñÔö³¤¡£²»¶ÏÍêÉÆÏµÍ³ÊÇÍ´¿à²¢¿ìÀֵģ¬ÕâÖÖ¿ìÀÖÖ»ÓÐÑз¢µÄͬѧÇ×Éí¾­Àú²ÅÄÜÌå»áµÄµ½

 
   
3316 ´Îä¯ÀÀ       27
Ïà¹ØÎÄÕÂ

»ùÓÚEAµÄÊý¾Ý¿â½¨Ä£
Êý¾ÝÁ÷½¨Ä££¨EAÖ¸ÄÏ£©
¡°Êý¾Ýºþ¡±£º¸ÅÄî¡¢ÌØÕ÷¡¢¼Ü¹¹Óë°¸Àý
ÔÚÏßÉ̳ÇÊý¾Ý¿âϵͳÉè¼Æ ˼·+Ч¹û
 
Ïà¹ØÎĵµ

GreenplumÊý¾Ý¿â»ù´¡Åàѵ
MySQL5.1ÐÔÄÜÓÅ»¯·½°¸
ijµçÉÌÊý¾ÝÖÐ̨¼Ü¹¹Êµ¼ù
MySQL¸ßÀ©Õ¹¼Ü¹¹Éè¼Æ
Ïà¹Ø¿Î³Ì

Êý¾ÝÖÎÀí¡¢Êý¾Ý¼Ü¹¹¼°Êý¾Ý±ê×¼
MongoDBʵս¿Î³Ì
²¢·¢¡¢´óÈÝÁ¿¡¢¸ßÐÔÄÜÊý¾Ý¿âÉè¼ÆÓëÓÅ»¯
PostgreSQLÊý¾Ý¿âʵսÅàѵ