±à¼ÍƼö: |
±¾ÎÄÖ÷Òª¼ÛÉÜÁËÈçÏÂÕ⼸¸ö·½ÃæÄÚÈÝ£¬°üÀ¨£ºÊ²Ã´ÊÇÊý¾Ýºþ£»Êý¾ÝºþµÄ»ù±¾ÌØÕ÷£¬»ù±¾¼Ü¹¹£»¸÷³§É̵ÄÊý¾Ýºþ½â¾ö·½°¸£»µäÐ͵ÄÓ¦Óó¡¾°£»Êý¾Ýºþ½¨ÉèµÄ»ù±¾¹ý³Ì£»
±¾ÎÄÀ´×Ô¼òÊ飬ÓÉ»ðÁú¹ûÈí¼þAnna±à¼¡¢ÍƼö¡£
|
|
дÔÚÇ°Ã棺
×î½ü£¬Êý¾ÝºþµÄ¸ÅÄî·Ç³£ÈÈ£¬Ðí¶àÇ°ÏßµÄͬѧ¶¼ÔÚÌÖÂÛÊý¾ÝºþÓ¦¸ÃÔõô½¨£¿°¢ÀïÔÆÓÐûÓгÉÊìµÄÊý¾Ýºþ½â¾ö·½°¸£¿°¢ÀïÔƵÄÊý¾Ýºþ½â¾ö·½°¸µ½µ×ÓÐûÓÐʵ¼ÊÂäµØµÄ°¸Àý£¿ÔõôÀí½âÊý¾Ýºþ£¿Êý¾ÝºþºÍ´óÊý¾Ýƽ̨ÓÐʲô²»Í¬£¿Í·²¿µÄÔƼÆËãÍæ¼Ò¶¼¸÷×ÔÍƳöÁËʲôÑùµÄÊý¾Ýºþ½â¾ö·½°¸£¿´ø×ÅÕâЩÎÊÌ⣬ÎÒÃdz¢ÊÔдÁËÕâÑùһƪÎÄÕ£¬Ï£ÍûÄÜÅ×שÒýÓñ£¬ÒýÆð´ó¼ÒһЩ˼¿¼ºÍ¹²Ãù¡£¸ÐлÄϾ¸Í¬Ñ§Îª±¾ÎıàдÁË5.1½ÚµÄ°¸Àý£¬¸ÐлÎ÷±ÚµÄreview¡£
±¾ÎÄ°üÀ¨Æ߸öС½Ú£º1¡¢Ê²Ã´ÊÇÊý¾Ýºþ£»2¡¢Êý¾ÝºþµÄ»ù±¾ÌØÕ÷£»3¡¢Êý¾Ýºþ»ù±¾¼Ü¹¹£»4¡¢¸÷³§É̵ÄÊý¾Ýºþ½â¾ö·½°¸£»5¡¢µäÐ͵ÄÊý¾ÝºþÓ¦Óó¡¾°£»6¡¢Êý¾Ýºþ½¨ÉèµÄ»ù±¾¹ý³Ì£»7¡¢×ܽᡣÊÜÏÞÓÚ¸öÈËˮƽ£¬ÃýÎóÔÚËùÄÑÃ⣬»¶ÓͬѧÃÇÒ»Æð̽ÌÖ£¬ÅúÆÀÖ¸Õý£¬²»Áߴͽ̡£
Ò»¡¢Ê²Ã´ÊÇÊý¾Ýºþ
Êý¾ÝºþÊÇÄ¿Ç°±È½ÏÈȵÄÒ»¸ö¸ÅÄÐí¶àÆóÒµ¶¼ÔÚ¹¹½¨»òÕ߼ƻ®¹¹½¨×Ô¼ºµÄÊý¾Ýºþ¡£µ«ÊÇÔڼƻ®¹¹½¨Êý¾Ýºþ֮ǰ£¬¸ãÇå³þʲôÊÇÊý¾Ýºþ£¬Ã÷È·Ò»¸öÊý¾ÝºþÏîÄ¿µÄ»ù±¾×é³É£¬½ø¶øÉè¼ÆÊý¾ÝºþµÄ»ù±¾¼Ü¹¹£¬¶ÔÓÚÊý¾ÝºþµÄ¹¹½¨ÖÁ¹ØÖØÒª¡£¹ØÓÚʲôÊÇÊý¾Ýºþ£¬ÓÐÈç϶¨Òå¡£
WikipediaÊÇÕâÑù¶¨ÒåµÄ£º
A data lake is a system or repository of data stored
in its natural/raw format,[1] usually object blobs
or files. A data lake is usually a single store of
all enterprise data including raw copies of source
system data and transformed data used for tasks such
as reporting, visualization, advanced analytics and
machine learning. A data lake can include structured
data from relational databases (rows and columns),
semi-structured data (CSV, logs, XML, JSON), unstructured
data (emails, documents, PDFs) and binary data (images,
audio, video). [2]A data swamp is a deteriorated and
unmanaged data lake that is either inaccessible to
its intended users or is providing little value
Êý¾ÝºþÊÇÒ»Àà´æ´¢Êý¾Ý×ÔÈ»/Ôʼ¸ñʽµÄϵͳ»ò´æ´¢£¬Í¨³£ÊǶÔÏó¿é»òÕßÎļþ¡£Êý¾Ýºþͨ³£ÊÇÆóÒµÖÐÈ«Á¿Êý¾ÝµÄµ¥Ò»´æ´¢¡£È«Á¿Êý¾Ý°üÀ¨ÔʼϵͳËù²úÉúµÄÔʼÊý¾Ý¿½±´ÒÔ¼°ÎªÁ˸÷ÀàÈÎÎñ¶ø²úÉúµÄת»»Êý¾Ý£¬¸÷ÀàÈÎÎñ°üÀ¨±¨±í¡¢¿ÉÊÓ»¯¡¢¸ß¼¶·ÖÎöºÍ»úÆ÷ѧϰ¡£Êý¾ÝºþÖаüÀ¨À´×ÔÓÚ¹ØϵÐÍÊý¾Ý¿âÖеĽṹ»¯Êý¾Ý£¨ÐкÍÁУ©¡¢°ë½á¹¹»¯Êý¾Ý£¨ÈçCSV¡¢ÈÕÖ¾¡¢XML¡¢JSON£©¡¢·Ç½á¹¹»¯Êý¾Ý£¨Èçemail¡¢Îĵµ¡¢PDFµÈ£©ºÍ¶þ½øÖÆÊý¾Ý£¨ÈçͼÏñ¡¢ÒôƵ¡¢ÊÓƵ£©¡£Êý¾ÝÕÓÔóÊÇÒ»ÖÖÍË»¯µÄ¡¢È±·¦¹ÜÀíµÄÊý¾Ýºþ£¬Êý¾ÝÕÓÔó¶ÔÓÚÓû§À´ËµÒªÃ´ÊDz»¿É·ÃÎʵÄҪô¾ÍÊÇÎÞ·¨Ìṩ×ã¹»µÄ¼ÛÖµ¡£
AWSµÄ¶¨ÒåÏà¶Ô¾Í¼ò½àÒ»µã£º
A data lake is a centralized repository that allows
you to store all your structured and unstructured
data at any scale. You can store your data as-is,
without having to first structure the data, and run
different types of analytics¡ªfrom dashboards and visualizations
to big data processing, real-time analytics, and machine
learning to guide better decisions.
Êý¾ÝºþÊÇÒ»¸ö¼¯ÖÐʽ´æ´¢¿â£¬ÔÊÐíÄúÒÔÈÎÒâ¹æÄ£´æ´¢ËùÓнṹ»¯ºÍ·Ç½á¹¹»¯Êý¾Ý¡£Äú¿ÉÒÔ°´ÔÑù´æ´¢Êý¾Ý£¨ÎÞÐèÏȶÔÊý¾Ý½øÐнṹ»¯´¦Àí£©£¬²¢ÔËÐв»Í¬ÀàÐ͵ķÖÎö
¨C ´Ó¿ØÖÆÃæ°åºÍ¿ÉÊÓ»¯µ½´óÊý¾Ý´¦Àí¡¢ÊµÊ±·ÖÎöºÍ»úÆ÷ѧϰ£¬ÒÔÖ¸µ¼×ö³ö¸üºÃµÄ¾ö²ß¡£
΢ÈíµÄ¶¨Òå¾Í¸ü¼ÓÄ£ºýÁË£¬²¢Ã»ÓÐÃ÷È·¸ø³öʲôÊÇData Lake£¬¶øÊÇÈ¡ÇɵĽ«Êý¾ÝºþµÄ¹¦ÄÜ×÷Ϊ¶¨Ò壺
Azure Data Lake includes all the capabilities required
to make it easy for developers, data scientists, and
analysts to store data of any size, shape, and speed,
and do all types of processing and analytics across
platforms and languages. It removes the complexities
of ingesting and storing all of your data while making
it faster to get up and running with batch, streaming,
and interactive analytics. Azure Data Lake works with
existing IT investments for identity, management,
and security for simplified data management and governance.
It also integrates seamlessly with operational stores
and data warehouses so you can extend current data
applications. We¡¯ve drawn on the experience of working
with enterprise customers and running some of the
largest scale processing and analytics in the world
for Microsoft businesses like Office 365, Xbox Live,
Azure, Windows, Bing, and Skype. Azure Data Lake solves
many of the productivity and scalability challenges
that prevent you from maximizing the value of your
data assets with a service that¡¯s ready to meet your
current and future business needs.
AzureµÄÊý¾Ýºþ°üÀ¨Ò»ÇÐʹµÃ¿ª·¢Õß¡¢Êý¾Ý¿Æѧ¼Ò¡¢·ÖÎöʦÄܸü¼òµ¥µÄ´æ´¢¡¢´¦ÀíÊý¾ÝµÄÄÜÁ¦£¬ÕâЩÄÜÁ¦Ê¹µÃÓû§¿ÉÒÔ´æ´¢ÈÎÒâ¹æÄ£¡¢ÈÎÒâÀàÐÍ¡¢ÈÎÒâ²úÉúËٶȵÄÊý¾Ý£¬²¢ÇÒ¿ÉÒÔ¿çƽ̨¡¢¿çÓïÑÔµÄ×öËùÓÐÀàÐ͵ķÖÎöºÍ´¦Àí¡£Êý¾ÝºþÔÚÄÜ°ïÖúÓû§¼ÓËÙÓ¦ÓÃÊý¾ÝµÄͬʱ£¬Ïû³ýÁËÊý¾Ý²É¼¯ºÍ´æ´¢µÄ¸´ÔÓÐÔ£¬Í¬Ê±Ò²ÄÜÖ§³ÖÅú´¦Àí¡¢Á÷ʽ¼ÆËã¡¢½»»¥Ê½·ÖÎöµÈ¡£Êý¾ÝºþÄÜͬÏÖÓеÄÊý¾Ý¹ÜÀíºÍÖÎÀíµÄITͶ×ÊÒ»Æð¹¤×÷£¬±£Ö¤Êý¾ÝµÄÒ»Ö¡¢¿É¹ÜÀíºÍ°²È«¡£ËüÒ²ÄÜͬÏÖÓеÄÒµÎñÊý¾Ý¿âºÍÊý¾Ý²Ö¿âÎ޷켯³É£¬°ïÖúÀ©Õ¹ÏÖÓеÄÊý¾ÝÓ¦Óá£AzureÊý¾ÝºþÎüÈ¡ÁË´óÁ¿ÆóÒµ¼¶Óû§µÄ¾Ñ飬²¢ÇÒÔÚ΢ÈíһЩҵÎñÖÐÖ§³ÖÁË´ó¹æÄ£´¦ÀíºÍ·ÖÎö³¡¾°£¬°üÀ¨Office
365, Xbox Live, Azure, Windows, BingºÍSkype¡£Azure½â¾öÁËÐí¶àЧÂʺͿÉÀ©Õ¹ÐÔµÄÌôÕ½£¬×÷ΪһÀà·þÎñʹµÃÓû§¿ÉÒÔ×î´ó»¯Êý¾Ý×ʲúµÄ¼ÛÖµÀ´Âú×㵱ǰºÍδÀ´ÐèÇó¡£
¹ØÓÚÊý¾ÝºþµÄ¶¨ÒåÆäʵºÜ¶à£¬µ«ÊÇ»ù±¾É϶¼Î§ÈÆ×ÅÒÔϼ¸¸öÌØÐÔÕ¹¿ª¡£
1¡¢ Êý¾ÝºþÐèÒªÌṩ×ã¹»ÓõÄÊý¾Ý´æ´¢ÄÜÁ¦£¬Õâ¸ö´æ´¢±£´æÁËÒ»¸öÆóÒµ/×éÖ¯ÖеÄËùÓÐÊý¾Ý¡£
2¡¢ Êý¾Ýºþ¿ÉÒÔ´æ´¢º£Á¿µÄÈÎÒâÀàÐ͵ÄÊý¾Ý£¬°üÀ¨½á¹¹»¯¡¢°ë½á¹¹»¯ºÍ·Ç½á¹¹»¯Êý¾Ý¡£
3¡¢ Êý¾ÝºþÖеÄÊý¾ÝÊÇÔʼÊý¾Ý£¬ÊÇÒµÎñÊý¾ÝµÄÍêÕû¸±±¾¡£Êý¾ÝºþÖеÄÊý¾Ý±£³ÖÁËËûÃÇÔÚÒµÎñϵͳÖÐÔÀ´µÄÑù×Ó¡£
4¡¢ Êý¾ÝºþÐèÒª¾ß±¸ÍêÉƵÄÊý¾Ý¹ÜÀíÄÜÁ¦£¨ÍêÉƵÄÔªÊý¾Ý£©£¬¿ÉÒÔ¹ÜÀí¸÷ÀàÊý¾ÝÏà¹ØµÄÒªËØ£¬°üÀ¨Êý¾ÝÔ´¡¢Êý¾Ý¸ñʽ¡¢Á¬½ÓÐÅÏ¢¡¢Êý¾Ýschema¡¢È¨ÏÞ¹ÜÀíµÈ¡£
5¡¢ Êý¾ÝºþÐèÒª¾ß±¸¶àÑù»¯µÄ·ÖÎöÄÜÁ¦£¬°üÀ¨µ«²»ÏÞÓÚÅú´¦Àí¡¢Á÷ʽ¼ÆËã¡¢½»»¥Ê½·ÖÎöÒÔ¼°»úÆ÷ѧϰ£»Í¬Ê±£¬»¹ÐèÒªÌṩһ¶¨µÄÈÎÎñµ÷¶ÈºÍ¹ÜÀíÄÜÁ¦¡£
6¡¢ Êý¾ÝºþÐèÒª¾ß±¸ÍêÉƵÄÊý¾ÝÉúÃüÖÜÆÚ¹ÜÀíÄÜÁ¦¡£²»¹âÐèÒª´æ´¢ÔʼÊý¾Ý£¬»¹ÐèÒªÄܹ»±£´æ¸÷Àà·ÖÎö´¦ÀíµÄÖмä½á¹û£¬²¢ÍêÕûµÄ¼Ç¼Êý¾ÝµÄ·ÖÎö´¦Àí¹ý³Ì£¬ÄÜ°ïÖúÓû§ÍêÕûÏêϸ׷ËÝÈÎÒâÒ»ÌõÊý¾ÝµÄ²úÉú¹ý³Ì¡£
7¡¢ Êý¾ÝºþÐèÒª¾ß±¸ÍêÉƵÄÊý¾Ý»ñÈ¡ºÍÊý¾Ý·¢²¼ÄÜÁ¦¡£Êý¾ÝºþÐèÒªÄÜÖ§³Å¸÷ÖÖ¸÷ÑùµÄÊý¾ÝÔ´£¬²¢ÄÜ´ÓÏà¹ØµÄÊý¾ÝÔ´ÖлñÈ¡È«Á¿/ÔöÁ¿Êý¾Ý£»È»ºó¹æ·¶´æ´¢¡£Êý¾ÝºþÄܽ«Êý¾Ý·ÖÎö´¦ÀíµÄ½á¹ûÍÆË͵½ºÏÊʵĴ洢ÒýÇæÖУ¬Âú×㲻ͬµÄÓ¦Ó÷ÃÎÊÐèÇó¡£
8¡¢ ¶ÔÓÚ´óÊý¾ÝµÄÖ§³Ö£¬°üÀ¨³¬´ó¹æÄ£´æ´¢ÒÔ¼°¿ÉÀ©Õ¹µÄ´ó¹æÄ£Êý¾Ý´¦ÀíÄÜÁ¦¡£
×ÛÉÏ£¬¸öÈËÈÏΪÊý¾ÝºþÓ¦¸ÃÊÇÒ»ÖÖ²»¶ÏÑݽøÖС¢¿ÉÀ©Õ¹µÄ´óÊý¾Ý´æ´¢¡¢´¦Àí¡¢·ÖÎöµÄ»ù´¡ÉèÊ©£»ÒÔÊý¾ÝΪµ¼Ïò£¬ÊµÏÖÈÎÒâÀ´Ô´¡¢ÈÎÒâËٶȡ¢ÈÎÒâ¹æÄ£¡¢ÈÎÒâÀàÐÍÊý¾ÝµÄÈ«Á¿»ñÈ¡¡¢È«Á¿´æ´¢¡¢¶àģʽ´¦ÀíÓëÈ«ÉúÃüÖÜÆÚ¹ÜÀí£»²¢Í¨¹ýÓë¸÷ÀàÍⲿÒì¹¹Êý¾ÝÔ´µÄ½»»¥¼¯³É£¬Ö§³Ö¸÷ÀàÆóÒµ¼¶Ó¦Óá£
ͼ1. Êý¾Ýºþ»ù±¾ÄÜÁ¦Ê¾Òâ
ÕâÀïÐèÒªÔÙÌرðÖ¸³öÁ½µã£º1£©¿ÉÀ©Õ¹ÊÇÖ¸¹æÄ£µÄ¿ÉÀ©Õ¹ºÍÄÜÁ¦µÄ¿ÉÀ©Õ¹£¬¼´Êý¾Ýºþ²»µ«ÒªÄܹ»Ëæ×ÅÊý¾ÝÁ¿µÄÔö´ó£¬Ìṩ¡°×ã¹»¡±µÄ´æ´¢ºÍ¼ÆËãÄÜÁ¦£»»¹ÐèÒª¸ù¾ÝÐèÒª²»¶ÏÌṩеÄÊý¾Ý´¦Àíģʽ£¬ÀýÈç¿ÉÄÜÒ»¿ªÊ¼ÒµÎñÖ»ÐèÒªÅú´¦ÀíÄÜÁ¦£¬µ«Ëæ×ÅÒµÎñµÄ·¢Õ¹£¬¿ÉÄÜÐèÒª½»»¥Ê½µÄ¼´Ï¯·ÖÎöÄÜÁ¦£»ÓÖËæ×ÅÒµÎñµÄʵЧÐÔÒªÇ󲻶ÏÌáÉý£¬¿ÉÄÜÐèÒªÖ§³Öʵʱ·ÖÎöºÍ»úÆ÷ѧϰµÈ·á¸»µÄÄÜÁ¦¡£2£©ÒÔÊý¾ÝΪµ¼Ïò£¬ÊÇÖ¸Êý¾Ýºþ¶ÔÓÚÓû§À´ËµÒª×ã¹»µÄ¼òµ¥¡¢Ò×Ó㬰ïÖúÓû§´Ó¸´ÔÓµÄIT»ù´¡ÉèÊ©ÔËά¹¤×÷ÖнâÍѳöÀ´£¬¹Ø×¢ÒµÎñ¡¢¹ØעģÐÍ¡¢¹Ø×¢Ëã·¨¡¢¹Ø×¢Êý¾Ý¡£Êý¾ÝºþÃæÏòµÄÊÇÊý¾Ý¿Æѧ¼Ò¡¢·ÖÎöʦ¡£Ä¿Ç°À´¿´£¬ÔÆÔÉúÓ¦¸ÃÊǹ¹½¨Êý¾ÝºþµÄÒ»ÖֱȽÏÀíÏëµÄ¹¹½¨·½Ê½£¬ºóÃæÔÚ¡°Êý¾Ýºþ»ù±¾¼Ü¹¹¡±Ò»½Ú»áÏêϸÂÛÊöÕâÒ»¹Ûµã¡£
¶þ¡¢Êý¾ÝºþµÄ»ù±¾ÌØÕ÷
¶ÔÊý¾ÝºþµÄ¸ÅÄîÓÐÁË»ù±¾µÄÈÏÖªÖ®ºó£¬ÎÒÃÇÐèÒª½øÒ»²½Ã÷È·Êý¾ÝºþÐèÒª¾ß±¸ÄÄЩ»ù±¾ÌØÕ÷£¬ÌرðÊÇÓë´óÊý¾Ýƽ̨»òÕß´«Í³Êý¾Ý²Ö¿âÏà±È£¬Êý¾Ýºþ¾ßÓÐÄÄЩÌص㡣ÔÚ¾ßÌå·ÖÎö֮ǰ£¬ÎÒÃÇÏÈ¿´Ò»ÕÅÀ´×ÔAWS¹ÙÍøµÄ¶Ô±È±í¸ñ
Éϱí¶Ô±ÈÁËÊý¾ÝºþÓ봫ͳÊý²ÖµÄÇø±ð£¬¸öÈ˾õµÃ¿ÉÒÔ´ÓÊý¾ÝºÍ¼ÆËãÁ½¸ö²ãÃæ½øÒ»²½·ÖÎöÊý¾ÝºþÓ¦¸Ã¾ß±¸ÄÄЩÌØÕ÷¡£ÔÚÊý¾Ý·½Ã棺
1£©¡°±£ÕæÐÔ¡±¡£Êý¾ÝºþÖжÔÓÚÒµÎñϵͳÖеÄÊý¾Ý¶¼»á´æ´¢Ò»·Ý¡°Ò»Ä£Ò»Ñù¡±µÄÍêÕû¿½±´¡£ÓëÊý¾Ý²Ö¿â²»Í¬µÄµØ·½ÔÚÓÚ£¬Êý¾ÝºþÖбØÐëÒª±£´æÒ»·ÝÔʼÊý¾Ý£¬ÎÞÂÛÊÇÊý¾Ý¸ñʽ¡¢Êý¾Ýģʽ¡¢Êý¾ÝÄÚÈݶ¼²»Ó¦¸Ã±»Ð޸ġ£ÔÚÕâ·½Ã棬Êý¾ÝºþÇ¿µ÷µÄÊǶÔÓÚÒµÎñÊý¾Ý¡°ÔÖÔζ¡±µÄ±£´æ¡£Í¬Ê±£¬Êý¾ÝºþÓ¦¸ÃÄܹ»´æ´¢ÈÎÒâÀàÐÍ/¸ñʽµÄÊý¾Ý¡£
2£©¡°Áé»îÐÔ¡±£º ÉϱíÒ»¸öµãÊÇ ¡°Ð´ÈëÐÍschema¡± v.s.¡°¶ÁÈ¡ÐÍschema¡±£¬Æäʵ±¾ÖÊÉÏÀ´½²ÊÇÊý¾ÝschemaµÄÉè¼Æ·¢ÉúÔÚÄĸö½×¶ÎµÄÎÊÌâ¡£¶ÔÓÚÈκÎÊý¾ÝÓ¦ÓÃÀ´Ëµ£¬ÆäʵschemaµÄÉè¼Æ¶¼ÊDZز»¿ÉÉٵģ¬¼´Ê¹ÊÇmongoDBµÈһЩǿµ÷¡°ÎÞģʽ¡±µÄÊý¾Ý¿â£¬Æä×î¼Ñʵ¼ùÀïÒÀÈ»½¨Òé¼Ç¼¾¡Á¿²ÉÓÃÏàͬ/ÏàËƵĽṹ¡£¡°Ð´ÈëÐÍschema¡±±³ºóÒþº¬µÄÂß¼ÊÇÊý¾ÝÔÚдÈë֮ǰ£¬¾ÍÐèÒª¸ù¾ÝÒµÎñµÄ·ÃÎÊ·½Ê½È·¶¨Êý¾ÝµÄschema£¬È»ºó°´Õռȶ¨schema£¬Íê³ÉÊý¾Ýµ¼È룬´øÀ´µÄºÃ´¦ÊÇÊý¾ÝÓëÒµÎñµÄÁ¼ºÃÊÊÅ䣻µ«ÊÇÕâÒ²Òâζ×ÅÊý²ÖµÄÇ°ÆÚÓµÓгɱ¾»á±È½Ï¸ß£¬ÌرðÊǵ±ÒµÎñģʽ²»ÇåÎú¡¢ÒµÎñ»¹´¦ÓÚ̽Ë÷½×¶Îʱ£¬Êý²ÖµÄÁé»îÐÔ²»¹»¡£
Êý¾ÝºþÇ¿µ÷µÄ¡°¶ÁÈ¡ÐÍschema¡±£¬±³ºóµÄDZÔÚÂß¼ÔòÊÇÈÏΪҵÎñµÄ²»È·¶¨ÐÔÊdz£Ì¬£ºÎÒÃÇÎÞ·¨Ô¤ÆÚÒµÎñµÄ±ä»¯£¬ÄÇôÎÒÃǾͱ£³ÖÒ»¶¨µÄÁé»îÐÔ£¬½«Éè¼ÆÈ¥ÑÓºó£¬ÈÃÕû¸ö»ù´¡ÉèÊ©¾ß±¸Ê¹Êý¾Ý¡°°´Ð衱ÌùºÏÒµÎñµÄÄÜÁ¦¡£Òò´Ë£¬¸öÈËÈÏΪ¡°±£ÕæÐÔ¡±ºÍ¡°Áé»îÐÔ¡±ÊÇÒ»ÂöÏà³ÐµÄ£º¼ÈȻû°ì·¨Ô¤¹ÀÒµÎñµÄ±ä»¯£¬ÄÇôË÷ÐÔ±£³ÖÊý¾Ý×îΪÔʼµÄ״̬£¬Ò»µ©ÐèҪʱ£¬¿ÉÒÔ¸ù¾ÝÐèÇó¶ÔÊý¾Ý½øÐмӹ¤´¦Àí¡£Òò´Ë£¬Êý¾Ýºþ¸ü¼ÓÊʺϴ´ÐÂÐÍÆóÒµ¡¢ÒµÎñ¸ßËٱ仯·¢Õ¹µÄÆóÒµ¡£Í¬Ê±£¬Êý¾ÝºþµÄÓû§Ò²ÏàÓ¦µÄÒªÇó¸ü¸ß£¬Êý¾Ý¿Æѧ¼Ò¡¢ÒµÎñ·ÖÎöʦ£¨ÅäºÏÒ»¶¨µÄ¿ÉÊÓ»¯¹¤¾ß£©ÊÇÊý¾ÝºþµÄÄ¿±ê¿Í»§¡£
3£©¡°¿É¹ÜÀí¡±£ºÊý¾ÝºþÓ¦¸ÃÌṩÍêÉƵÄÊý¾Ý¹ÜÀíÄÜÁ¦¡£¼ÈÈ»Êý¾ÝÒªÇó¡°±£ÕæÐÔ¡±ºÍ¡°Áé»îÐÔ¡±£¬ÄÇôÖÁÉÙÊý¾ÝºþÖлá´æÔÚÁ½ÀàÊý¾Ý£ºÔʼÊý¾ÝºÍ´¦ÀíºóµÄÊý¾Ý¡£Êý¾ÝºþÖеÄÊý¾Ý»á²»¶ÏµÄ»ýÀÛ¡¢ÑÝ»¯¡£Òò´Ë£¬¶ÔÓÚÊý¾Ý¹ÜÀíÄÜÁ¦Ò²»áÒªÇóºÜ¸ß£¬ÖÁÉÙÓ¦¸Ã°üº¬ÒÔÏÂÊý¾Ý¹ÜÀíÄÜÁ¦£ºÊý¾ÝÔ´¡¢Êý¾ÝÁ¬½Ó¡¢Êý¾Ý¸ñʽ¡¢Êý¾Ýschema£¨¿â/±í/ÁÐ/ÐУ©¡£Í¬Ê±£¬Êý¾ÝºþÊǵ¥¸öÆóÒµ/×éÖ¯ÖÐͳһµÄÊý¾Ý´æ·Å³¡Ëù£¬Òò´Ë£¬»¹ÐèÒª¾ßÓÐÒ»¶¨µÄȨÏÞ¹ÜÀíÄÜÁ¦¡£
4£©¡°¿É×·ËÝ¡±£ºÊý¾ÝºþÊÇÒ»¸ö×éÖ¯/ÆóÒµÖÐÈ«Á¿Êý¾ÝµÄ´æ´¢³¡Ëù£¬ÐèÒª¶ÔÊý¾ÝµÄÈ«ÉúÃüÖÜÆÚ½øÐйÜÀí£¬°üÀ¨Êý¾ÝµÄ¶¨Òå¡¢½ÓÈë¡¢´æ´¢¡¢´¦Àí¡¢·ÖÎö¡¢Ó¦ÓõÄÈ«¹ý³Ì¡£Ò»¸öÇ¿´óµÄÊý¾ÝºþʵÏÖ£¬ÐèÒªÄÜ×öµ½¶ÔÆä¼äµÄÈÎÒâÒ»ÌõÊý¾ÝµÄ½ÓÈë¡¢´æ´¢¡¢´¦Àí¡¢Ïû·Ñ¹ý³ÌÊÇ¿É×·Ëݵģ¬Äܹ»Çå³þµÄÖØÏÖÊý¾ÝÍêÕûµÄ²úÉú¹ý³ÌºÍÁ÷¶¯¹ý³Ì¡£
ÔÚ¼ÆËã·½Ã棬¸öÈËÈÏΪÊý¾Ýºþ¶ÔÓÚ¼ÆËãÄÜÁ¦ÒªÇóÆäʵ·Ç³£¹ã·º£¬ÍêÈ«È¡¾öÓÚÒµÎñ¶ÔÓÚ¼ÆËãµÄÒªÇó¡£
5£©·á¸»µÄ¼ÆËãÒýÇæ¡£´ÓÅú´¦Àí¡¢Á÷ʽ¼ÆËã¡¢½»»¥Ê½·ÖÎöµ½»úÆ÷ѧϰ£¬¸÷Àà¼ÆËãÒýÇ涼ÊôÓÚÊý¾ÝºþÓ¦¸ÃÄÒÀ¨µÄ·¶³ë¡£Ò»°ãÇé¿öÏ£¬Êý¾ÝµÄ¼ÓÔØ¡¢×ª»»¡¢´¦Àí»áʹÓÃÅú´¦Àí¼ÆËãÒýÇ棻ÐèҪʵʱ¼ÆËãµÄ²¿·Ö£¬»áʹÓÃÁ÷ʽ¼ÆËãÒýÇ棻¶ÔÓÚһЩ̽Ë÷ʽµÄ·ÖÎö³¡¾°£¬¿ÉÄÜÓÖÐèÒªÒýÈë½»»¥Ê½·ÖÎöÒýÇæ¡£Ëæ×Å´óÊý¾Ý¼¼ÊõÓëÈ˹¤ÖÇÄܼ¼ÊõµÄ½áºÏÔ½À´Ô½½ôÃÜ£¬¸÷Àà»úÆ÷ѧϰ/Éî¶ÈѧϰËã·¨Ò²±»²»¶ÏÒýÈ룬ÀýÈçTensorFlow/PyTorch¿ò¼ÜÒѾ֧³Ö´ÓHDFS/S3/OSSÉ϶ÁÈ¡Ñù±¾Êý¾Ý½øÐÐѵÁ·¡£Òò´Ë£¬¶ÔÓÚÒ»¸öºÏ¸ñµÄÊý¾ÝºþÏîÄ¿¶øÑÔ£¬¼ÆËãÒýÇæµÄ¿ÉÀ©Õ¹/¿É²å°Î£¬Ó¦¸ÃÊÇÒ»Àà»ù´¡ÄÜÁ¦¡£
6£©¶àģ̬µÄ´æ´¢ÒýÇæ¡£ÀíÂÛÉÏ£¬Êý¾Ýºþ±¾ÉíÓ¦¸ÃÄÚÖöàģ̬µÄ´æ´¢ÒýÇ棬ÒÔÂú×㲻ͬµÄÓ¦ÓöÔÓÚÊý¾Ý·ÃÎÊÐèÇó£¨×ۺϿ¼ÂÇÏìӦʱ¼ä/²¢·¢/·ÃÎÊƵ´Î/³É±¾µÈÒòËØ£©¡£µ«ÊÇ£¬ÔÚʵ¼ÊµÄʹÓùý³ÌÖУ¬Êý¾ÝºþÖеÄÊý¾Ýͨ³£²¢²»»á±»¸ßƵ´ÎµÄ·ÃÎÊ£¬¶øÇÒÏà¹ØµÄÓ¦ÓÃÒ²¶àÔÚ½øÐÐ̽Ë÷ʽµÄÊý¾ÝÓ¦Óã¬ÎªÁË´ïµ½¿É½ÓÊܵÄÐԼ۱ȣ¬Êý¾Ýºþ½¨Éèͨ³£»áÑ¡ÔñÏà¶Ô±ãÒ˵Ĵ洢ÒýÇ棨ÈçS3/OSS/HDFS/OBS£©£¬²¢ÇÒÔÚÐèҪʱÓëÍâÖô洢ÒýÇæÐͬ¹¤×÷£¬Âú×ã¶àÑù»¯µÄÓ¦ÓÃÐèÇó¡£
Èý¡¢Êý¾Ýºþ»ù±¾¼Ü¹¹
Êý¾Ýºþ¿ÉÒÔÈÏΪÊÇÐÂÒ»´úµÄ´óÊý¾Ý»ù´¡ÉèÊ©¡£ÎªÁ˸üºÃµÄÀí½âÊý¾ÝºþµÄ»ù±¾¼Ü¹¹£¬ÎÒÃÇÏÈÀ´¿´¿´´óÊý¾Ý»ù´¡ÉèÊ©¼Ü¹¹µÄÑݽø¹ý³Ì¡£
1£© µÚÒ»½×¶Î£ºÒÔHadoopΪ´ú±íµÄÀëÏßÊý¾Ý´¦Àí»ù´¡ÉèÊ©¡£ÈçÏÂͼËùʾ£¬HadoopÊÇÒÔHDFSΪºËÐÄ´æ´¢£¬ÒÔMapReduce£¨¼ò³ÆMR£©Îª»ù±¾¼ÆËãÄ£Ð͵ÄÅúÁ¿Êý¾Ý´¦Àí»ù´¡ÉèÊ©¡£Î§ÈÆHDFSºÍMR£¬²úÉúÁËһϵÁеÄ×é¼þ£¬²»¶ÏÍêÉÆÕû¸ö´óÊý¾Ýƽ̨µÄÊý¾Ý´¦ÀíÄÜÁ¦£¬ÀýÈçÃæÏòÔÚÏßKV²Ù×÷µÄHBase¡¢ÃæÏòSQLµÄHIVE¡¢ÃæÏò¹¤×÷Á÷µÄPIGµÈ¡£Í¬Ê±£¬Ëæ×Å´ó¼Ò¶ÔÓÚÅú´¦ÀíµÄÐÔÄÜÒªÇóÔ½À´Ô½¸ß£¬ÐµļÆËãÄ£ÐͲ»¶Ï±»Ìá³ö£¬²úÉúÁËTez¡¢Spark¡¢PrestoµÈ¼ÆËãÒýÇ棬MRÄ£ÐÍÒ²Öð½¥½ø»¯³ÉDAGÄ£ÐÍ¡£DAGÄ£ÐÍÒ»·½Ã棬Ôö¼Ó¼ÆËãÄ£Ð͵ijéÏó²¢·¢ÄÜÁ¦£º¶Ôÿһ¸ö¼ÆËã¹ý³Ì½øÐзֽ⣬¸ù¾Ý¼ÆËã¹ý³ÌÖеľۺϲÙ×÷µã¶ÔÈÎÎñ½øÐÐÂß¼Çз֣¬ÈÎÎñ±»ÇзֳÉÒ»¸ö¸öµÄstage£¬Ã¿¸östage¶¼¿ÉÒÔÓÐÒ»¸ö»òÕ߶à¸öTask×é³É£¬TaskÊÇ¿ÉÒÔ²¢·¢Ö´Ðеģ¬´Ó¶øÌáÉýÕû¸ö¼ÆËã¹ý³ÌµÄ²¢ÐÐÄÜÁ¦£»ÁíÒ»·½Ã棬Ϊ¼õÉÙÊý¾Ý´¦Àí¹ý³ÌÖеÄÖмä½á¹ûдÎļþ²Ù×÷£¬Spark¡¢PrestoµÈ¼ÆËãÒýÇ澡Á¿Ê¹ÓüÆËã½ÚµãµÄÄÚ´æ¶ÔÊý¾Ý½øÐлº´æ£¬´Ó¶øÌá¸ßÕû¸öÊý¾Ý¹ý³ÌµÄЧÂʺÍϵͳÍÌÍÂÄÜÁ¦¡£
ͼ2. HadoopÌåϵ½á¹¹Ê¾Òâ
2£© µÚ¶þ½×¶Î£ºlambda¼Ü¹¹¡£Ëæ×ÅÊý¾Ý´¦ÀíÄÜÁ¦ºÍ´¦ÀíÐèÇóµÄ²»¶Ï±ä»¯£¬Ô½À´Ô½¶àµÄÓû§·¢ÏÖ£¬Åú´¦ÀíģʽÎÞÂÛÈçºÎÌáÉýÐÔÄÜ£¬Ò²ÎÞ·¨Âú×ãһЩʵʱÐÔÒªÇó¸ßµÄ´¦Àí³¡¾°£¬Á÷ʽ¼ÆËãÒýÇæÓ¦Ô˶øÉú£¬ÀýÈçStorm¡¢Spark
Streaming¡¢FlinkµÈ¡£È»¶ø£¬Ëæ×ÅÔ½À´Ô½¶àµÄÓ¦ÓÃÉÏÏߣ¬´ó¼Ò·¢ÏÖ£¬ÆäʵÅú´¦ÀíºÍÁ÷¼ÆËãÅäºÏʹÓ㬲ÅÄÜÂú×ã´ó²¿·ÖÓ¦ÓÃÐèÇ󣻶ø¶ÔÓÚÓû§¶øÑÔ£¬ÆäʵËûÃDz¢²»¹ØÐĵײãµÄ¼ÆËãÄ£ÐÍÊÇʲô£¬Óû§Ï£ÍûÎÞÂÛÊÇÅú´¦Àí»¹ÊÇÁ÷¼ÆË㣬¶¼ÄÜ»ùÓÚͳһµÄÊý¾ÝÄ£ÐÍÀ´·µ»Ø´¦Àí½á¹û£¬ÓÚÊÇLambda¼Ü¹¹±»Ìá³ö£¬ÈçÏÂͼËùʾ¡££¨ÎªÁËÊ¡Ê£¬lambda¼Ü¹¹ºÍKappa¼Ü¹¹Í¼¾ùÀ´×ÔÓÚÍøÂ磩
ͼ3. Lambda¼Ü¹¹Ê¾Òâ
Lambda¼Ü¹¹µÄºËÐÄÀíÄîÊÇ¡°Á÷ÅúÒ»Ì塱£¬ÈçÉÏͼËùʾ£¬Õû¸öÊý¾ÝÁ÷Ïò×Ô×óÏòÓÒÁ÷Èëƽ̨¡£½øÈëƽ̨ºóÒ»·ÖΪ¶þ£¬Ò»²¿·Ö×ßÅú´¦Àíģʽ£¬Ò»²¿·Ö×ßÁ÷ʽ¼ÆËãģʽ¡£ÎÞÂÛÄÄÖÖ¼ÆËãģʽ£¬×îÖյĴ¦Àí½á¹û¶¼Í¨¹ý·þÎñ²ã¶ÔÓ¦ÓÃÌṩ£¬È·±£·ÃÎʵÄÒ»ÖÂÐÔ¡£
3£© µÚÈý½×¶Î£ºKappa¼Ü¹¹¡£Lambda¼Ü¹¹½â¾öÁËÓ¦ÓöÁÈ¡Êý¾ÝµÄÒ»ÖÂÐÔÎÊÌ⣬µ«ÊÇ¡°Á÷Åú·ÖÀ롱µÄ´¦ÀíÁ´Â·Ôö´óÁËÑз¢µÄ¸´ÔÓÐÔ¡£Òò´Ë£¬ÓÐÈ˾ÍÌá³öÄܲ»ÄÜÓÃÒ»Ì×ϵͳÀ´½â¾öËùÓÐÎÊÌ⡣Ŀǰ±È½ÏÁ÷ÐеÄ×ö·¨¾ÍÊÇ»ùÓÚÁ÷¼ÆËãÀ´×ö¡£Á÷¼ÆËãÌìÈ»µÄ·Ö²¼Ê½ÌØÕ÷£¬×¢¶¨ÁËËûµÄÀ©Õ¹ÐÔ¸üºÃ¡£Í¨¹ý¼Ó´óÁ÷¼ÆËãµÄ²¢·¢ÐÔ£¬¼Ó´óÁ÷ʽÊý¾ÝµÄ¡°Ê±¼ä´°¿Ú¡±£¬À´Í³Ò»Åú´¦ÀíÓëÁ÷ʽ´¦ÀíÁ½ÖÖ¼ÆËãģʽ¡£
ͼ4. Kappa¼Ü¹¹Ê¾Òâ
×ÛÉÏ£¬´Ó´«Í³µÄhadoop¼Ü¹¹Íùlambda¼Ü¹¹£¬´Ólambda¼Ü¹¹ÍùKappa¼Ü¹¹µÄÑݽø£¬´óÊý¾Ýƽ̨»ù´¡¼Ü¹¹µÄÑݽøÖð½¥ÄÒÀ¨ÁËÓ¦ÓÃËùÐèµÄ¸÷ÀàÊý¾Ý´¦ÀíÄÜÁ¦£¬´óÊý¾Ýƽ̨Öð½¥ÑÝ»¯³ÉÁËÒ»¸öÆóÒµ/×éÖ¯µÄÈ«Á¿Êý¾Ý´¦Àíƽ̨¡£µ±Ç°µÄÆóҵʵ¼ùÖУ¬³ýÁ˹ØϵÐÍÊý¾Ý¿âÒÀÍÐÓÚ¸÷¸ö¶ÀÁ¢µÄÒµÎñϵͳ£»ÆäÓàµÄÊý¾Ý£¬¼¸ºõ¶¼±»¿¼ÂÇÄÉÈë´óÊý¾Ýƽ̨À´½øÐÐͳһµÄ´¦Àí¡£È»¶ø£¬Ä¿Ç°µÄ´óÊý¾Ýƽ̨»ù´¡¼Ü¹¹£¬¶¼½«ÊÓ½ÇËø¶¨ÔÚÁË´æ´¢ºÍ¼ÆË㣬¶øºöÂÔÁ˶ÔÓÚÊý¾ÝµÄ×ʲú»¯¹ÜÀí£¬ÕâÇ¡Ç¡ÊÇÊý¾Ýºþ×÷ΪÐÂÒ»´úµÄ´óÊý¾Ý»ù´¡ÉèÊ©ËùÖصã¹Ø×¢µÄ·½ÏòÖ®Ò»¡£
Ôø¾¿´¹ýÒ»¸öºÜÓÐÒâ˼µÄÎÄÕ£¬Ìá³ö¹ýÈçÏÂÎÊÌ⣺Êý¾ÝºþΪʲô½ÐÊý¾Ýºþ¶ø²»½ÐÊý¾ÝºÓ»òÕßÊý¾Ýº££¿Ò»¸öÓÐÒâ˼µÄ»Ø´ðÊÇ£º
1£©¡°ºÓ¡±Ç¿µ÷µÄÊÇÁ÷¶¯ÐÔ£¬¡°º£ÄÉ°Ù´¨¡±£¬ºÓÖÕ¾¿ÊÇÒªÁ÷Èë´óº£µÄ£¬¶øÆóÒµ¼¶Êý¾ÝÊÇÐèÒª³¤ÆÚ³ÁµíµÄ£¬Òò´Ë½Ð¡°ºþ¡±±È½Ð¡°ºÓ¡±ÒªÌùÇУ»Í¬Ê±£¬ºþË®ÌìÈ»ÊÇ·Ö²ãµÄ£¬Âú×㲻ͬµÄÉú̬ϵͳҪÇó£¬ÕâÓëÆóÒµ½¨ÉèͳһÊý¾ÝÖÐÐÄ£¬´æ·Å¹ÜÀíÊý¾ÝµÄÐèÇóÊÇÒ»Öµģ¬¡°ÈÈ¡±Êý¾ÝÔÚÉϲ㣬·½±ãÓ¦ÓÃËæʱʹÓã»ÎÂÊý¾Ý¡¢ÀäÊý¾ÝλÓÚÊý¾ÝÖÐÐIJ»Í¬µÄ´æ´¢½éÖÊÖУ¬´ïµ½Êý¾Ý´æ´¢ÈÝÁ¿Óë³É±¾µÄƽºâ¡£
2£©²»½Ð¡°º£¡±µÄÔÒòÔÚÓÚ£¬º£ÊÇÎÞ±ßÎÞ½çµÄ£¬¶ø¡°ºþ¡±ÊÇÓб߽çµÄ£¬Õâ¸ö±ß½ç¾ÍÊÇÆóÒµ/×éÖ¯µÄÒµÎñ±ß½ç£»Òò´ËÊý¾ÝºþÐèÒª¸ü¶àµÄÊý¾Ý¹ÜÀíºÍȨÏÞ¹ÜÀíÄÜÁ¦¡£
3£©½Ð¡°ºþ¡±µÄÁíÒ»¸öÖØÒªÔÒòÊÇÊý¾ÝºþÊÇÐèÒª¾«Ï¸ÖÎÀíµÄ£¬Ò»¸öȱ·¦¹Ü¿Ø¡¢È±·¦ÖÎÀíµÄÊý¾Ýºþ×îÖÕ»áÍË»¯Îª¡°Êý¾ÝÕÓÔó¡±£¬´Ó¶øʹӦÓÃÎÞ·¨ÓÐЧ·ÃÎÊÊý¾Ý£¬Ê¹´æÓÚÆäÖеÄÊý¾Ýʧȥ¼ÛÖµ¡£
´óÊý¾Ý»ù´¡¼Ü¹¹µÄÑݽø£¬Æäʵ·´Ó¦ÁËÒ»µã£ºÔÚÆóÒµ/×éÖ¯ÄÚ²¿£¬Êý¾ÝÊÇÒ»ÀàÖØÒª×ʲúÒѾ³ÉΪÁ˹²Ê¶£»ÎªÁ˸üºÃµÄÀûÓÃÊý¾Ý£¬ÆóÒµ/×éÖ¯ÐèÒª¶ÔÊý¾Ý×ʲú1£©½øÐг¤ÆÚµÄÔÑù´æ´¢£»2£©½øÐÐÓÐЧ¹ÜÀíÓ뼯ÖÐÖÎÀí£»3£©Ìṩ¶àģʽµÄ¼ÆËãÄÜÁ¦Âú×ã´¦ÀíÐèÇó£»4£©ÒÔ¼°ÃæÏòÒµÎñ£¬ÌṩͳһµÄÊý¾ÝÊÓͼ¡¢Êý¾ÝÄ£ÐÍÓëÊý¾Ý´¦Àí½á¹û¡£Êý¾Ýºþ¾ÍÊÇÔÚÕâ¸ö´ó±³¾°Ï²úÉúµÄ£¬³ýÁË´óÊý¾Ýƽ̨ËùÓµÓеĸ÷Àà»ù´¡ÄÜÁ¦Ö®Í⣬Êý¾Ýºþ¸üÇ¿µ÷¶ÔÓÚÊý¾ÝµÄ¹ÜÀí¡¢ÖÎÀíºÍ×ʲú»¯ÄÜÁ¦¡£Âäµ½¾ßÌåµÄʵÏÖÉÏ£¬Êý¾ÝºþÐèÒª°üÀ¨Ò»ÏµÁеÄÊý¾Ý¹ÜÀí×é¼þ£¬°üÀ¨£º1£©Êý¾Ý½ÓÈ룻2£©Êý¾Ý°áǨ£»3£©Êý¾ÝÖÎÀí£»4£©ÖÊÁ¿¹ÜÀí£»5£©×ʲúĿ¼£»6£©·ÃÎÊ¿ØÖÆ£»7£©ÈÎÎñ¹ÜÀí£»8£©ÈÎÎñ±àÅÅ£»9£©ÔªÊý¾Ý¹ÜÀíµÈ¡£ÈçÏÂͼËùʾ£¬¸ø³öÁËÒ»¸öÊý¾ÝºþϵͳµÄ²Î¿¼¼Ü¹¹¡£¶ÔÓÚÒ»¸öµäÐ͵ÄÊý¾Ýºþ¶øÑÔ£¬ËüÓë´óÊý¾Ýƽ̨ÏàͬµÄµØ·½ÔÚÓÚËüÒ²¾ß±¸´¦Àí³¬´ó¹æÄ£Êý¾ÝËùÐèµÄ´æ´¢ºÍ¼ÆËãÄÜÁ¦£¬ÄÜÌṩ¶àģʽµÄÊý¾Ý´¦ÀíÄÜÁ¦£»ÔöÇ¿µãÔÚÓÚÊý¾ÝºþÌṩÁ˸üΪÍêÉƵÄÊý¾Ý¹ÜÀíÄÜÁ¦£¬¾ßÌåÌåÏÖÔÚ£º
1£© ¸üÇ¿´óµÄÊý¾Ý½ÓÈëÄÜÁ¦¡£Êý¾Ý½ÓÈëÄÜÁ¦ÌåÏÖÔÚ¶ÔÓÚ¸÷ÀàÍⲿÒì¹¹Êý¾ÝÔ´µÄ¶¨Òå¹ÜÀíÄÜÁ¦£¬ÒÔ¼°¶ÔÓÚÍⲿÊý¾ÝÔ´Ïà¹ØÊý¾ÝµÄ³éȡǨÒÆÄÜÁ¦£¬³éȡǨÒƵÄÊý¾Ý°üÀ¨ÍⲿÊý¾ÝÔ´µÄÔªÊý¾ÝÓëʵ¼Ê´æ´¢µÄÊý¾Ý¡£
2£© ¸üÇ¿´óµÄÊý¾Ý¹ÜÀíÄÜÁ¦¡£¹ÜÀíÄÜÁ¦¾ßÌåÓÖ¿É·ÖΪ»ù±¾¹ÜÀíÄÜÁ¦ºÍÀ©Õ¹¹ÜÀíÄÜÁ¦¡£»ù±¾¹ÜÀíÄÜÁ¦°üÀ¨¶Ô¸÷ÀàÔªÊý¾ÝµÄ¹ÜÀí¡¢Êý¾Ý·ÃÎÊ¿ØÖÆ¡¢Êý¾Ý×ʲú¹ÜÀí£¬ÊÇÒ»¸öÊý¾ÝºþϵͳËù±ØÐëµÄ£¬ºóÃæÎÒÃÇ»áÔÚ¡°¸÷³§É̵ÄÊý¾Ýºþ½â¾ö·½°¸¡±Ò»½ÚÏàÐÅÌÖÂÛ¸÷¸ö³§É̶ÔÓÚ»ù±¾¹ÜÀíÄÜÁ¦µÄÖ§³Ö·½Ê½¡£À©Õ¹¹ÜÀíÄÜÁ¦°üÀ¨ÈÎÎñ¹ÜÀí¡¢Á÷³Ì±àÅÅÒÔ¼°ÓëÊý¾ÝÖÊÁ¿¡¢Êý¾ÝÖÎÀíÏà¹ØµÄÄÜÁ¦¡£ÈÎÎñ¹ÜÀíºÍÁ÷³Ì±àÅÅÖ÷ÒªÓÃÀ´¹ÜÀí¡¢±àÅÅ¡¢µ÷¶È¡¢¼à²âÔÚÊý¾ÝºþϵͳÖд¦ÀíÊý¾ÝµÄ¸÷ÀàÈÎÎñ£¬Í¨³£Çé¿öÏ£¬Êý¾Ýºþ¹¹½¨Õß»áͨ¹ý¹ºÂò/ÑÐÖƶ¨ÖƵÄÊý¾Ý¼¯³É»òÊý¾Ý¿ª·¢×Óϵͳ/Ä£¿éÀ´Ìṩ´ËÀàÄÜÁ¦£¬¶¨ÖƵÄϵͳ/Ä£¿é¿ÉÒÔͨ¹ý¶ÁÈ¡Êý¾ÝºþµÄÏà¹ØÔªÊý¾Ý£¬À´ÊµÏÖÓëÊý¾ÝºþϵͳµÄÈںϡ£¶øÊý¾ÝÖÊÁ¿ºÍÊý¾ÝÖÎÀíÔòÊǸüΪ¸´ÔÓµÄÎÊÌ⣬һ°ãÇé¿öÏ£¬Êý¾Ýºþϵͳ²»»áÖ±½ÓÌṩÏà¹Ø¹¦ÄÜ£¬µ«ÊǻῪ·Å¸÷Àà½Ó¿Ú»òÕßÔªÊý¾Ý£¬¹©ÓÐÄÜÁ¦µÄÆóÒµ/×éÖ¯ÓëÒÑÓеÄÊý¾ÝÖÎÀíÈí¼þ¼¯³É»òÕß×ö¶¨ÖÆ¿ª·¢¡£
3£© ¿É¹²ÏíµÄÔªÊý¾Ý¡£Êý¾ÝºþÖеĸ÷Àà¼ÆËãÒýÇæ»áÓëÊý¾ÝºþÖеÄÊý¾ÝÉî¶ÈÈںϣ¬¶øÈںϵĻù´¡¾ÍÊÇÊý¾ÝºþµÄÔªÊý¾Ý¡£ºÃµÄÊý¾Ýºþϵͳ£¬¼ÆËãÒýÇæÔÚ´¦ÀíÊý¾Ýʱ£¬ÄÜ´ÓÔªÊý¾ÝÖÐÖ±½Ó»ñÈ¡Êý¾Ý´æ´¢Î»Öá¢Êý¾Ý¸ñʽ¡¢Êý¾Ýģʽ¡¢Êý¾Ý·Ö²¼µÈÐÅÏ¢£¬È»ºóÖ±½Ó½øÐÐÊý¾Ý´¦Àí£¬¶øÎÞÐè½øÐÐÈ˹¤/±à³Ì¸ÉÔ¤¡£¸ü½øÒ»²½£¬ºÃµÄÊý¾Ýºþϵͳ»¹¿ÉÒÔ¶ÔÊý¾ÝºþÖеÄÊý¾Ý½øÐзÃÎÊ¿ØÖÆ£¬¿ØÖƵÄÁ¦¶È¿ÉÒÔ×öµ½¡°¿â±íÁÐÐС±µÈ²»Í¬¼¶±ð¡£
ͼ5. Êý¾Ýºþ×é¼þ²Î¿¼¼Ü¹¹
»¹ÓÐÒ»µãÓ¦¸ÃÖ¸³öµÄÊÇ£¬ÉÏͼµÄ¡°¼¯ÖÐʽ´æ´¢¡±¸ü¶àµÄÊÇÒµÎñ¸ÅÄîÉϵļ¯ÖУ¬±¾ÖÊÉÏÊÇÏ£ÍûÒ»¸öÆóÒµ/×éÖ¯ÄÚ²¿µÄÊý¾ÝÄÜÔÚÒ»¸öÃ÷ȷͳһµÄµØ·½½øÐгÁµí¡£ÊÂʵÉÏ£¬Êý¾ÝºþµÄ´æ´¢Ó¦¸ÃÊÇÒ»Àà¿É°´ÐèÀ©Õ¹µÄ·Ö²¼Ê½Îļþϵͳ£¬´ó¶àÊýÊý¾Ýºþʵ¼ùÖÐÒ²ÊÇÍƼö²ÉÓÃS3/OSS/OBS/HDFSµÈ·Ö²¼Ê½ÏµÍ³×÷ΪÊý¾ÝºþµÄͳһ´æ´¢¡£
ÎÒÃÇ¿ÉÒÔÔÙÇл»µ½Êý¾Ýά¶È£¬´ÓÊý¾ÝÉúÃüÖÜÆÚµÄÊÓ½ÇÀ´¿´´ýÊý¾Ýºþ¶ÔÓÚÊý¾ÝµÄ´¦Àí·½Ê½£¬Êý¾ÝÔÚÊý¾ÝºþÖеÄÕû¸öÉúÃüÖÜÆÚÈçͼ6Ëùʾ¡£ÀíÂÛÉÏ£¬Ò»¸ö¹ÜÀíÍêÉƵÄÊý¾ÝºþÖеÄÊý¾Ý»áÓÀ¾ÃµÄ±£ÁôÔʼÊý¾Ý£¬Í¬Ê±¹ý³ÌÊý¾Ý»á²»¶ÏµÄÍêÉÆ¡¢ÑÝ»¯£¬ÒÔÂú×ãÒµÎñµÄÐèÒª¡£
ͼ6. Êý¾ÝºþÖеÄÊý¾ÝÉúÃüÖÜÆÚʾÒâ
ËÄ¡¢¸÷³§É̵ÄÊý¾Ýºþ½â¾ö·½°¸
Êý¾Ýºþ×÷Ϊµ±Ç°µÄÒ»¸ö·ç¿Ú£¬¸÷´óÔƳ§ÉÌ·×·×ÍƳö×Ô¼ºµÄÊý¾Ýºþ½â¾ö·½°¸¼°Ïà¹Ø²úÆ·¡£±¾½Ú½«·ÖÎö¸÷¸öÖ÷Á÷³§ÉÌÍƳöµÄÊý¾Ýºþ½â¾ö·½°¸£¬²¢½«ÆäÓ³Éäµ½Êý¾Ýºþ²Î¿¼¼Ü¹¹ÉÏ£¬°ïÖú´ó¼ÒÀí½â¸÷Àà·½°¸µÄÓÅȱµã¡£
4.1 AWSÊý¾Ýºþ½â¾ö·½°¸
ͼ7. AWSÊý¾Ýºþ½â¾ö·½°¸
ͼ7ÊÇAWSÍƼöµÄÊý¾Ýºþ½â¾ö·½°¸¡£Õû¸ö·½°¸»ùÓÚAWS Lake Formation¹¹½¨£¬AWS Lake
Formation±¾ÖÊÉÏÊÇÒ»¸ö¹ÜÀíÐÔÖʵÄ×é¼þ£¬ËüÓëÆäËûAWS·þÎñ»¥ÏàÅäºÏ£¬À´Íê³ÉÕû¸öÆóÒµ¼¶Êý¾Ýºþ¹¹½¨¹¦ÄÜ¡£ÉÏͼ×Ô×óÏòÓÒ£¬ÌåÏÖÁËÊý¾ÝÁ÷Èë¡¢Êý¾Ý³Áµí¡¢Êý¾Ý¼ÆËã¡¢Êý¾ÝÓ¦ÓÃËĸö²½Öè¡£ÎÒÃǽøÒ»²½À´¿´Æä¹Ø¼üµã£º
1£© Êý¾ÝÁ÷Èë¡£
Êý¾ÝÁ÷ÈëÊÇÕû¸öÊý¾Ýºþ¹¹½¨µÄÆðʼ£¬°üÀ¨ÔªÊý¾ÝµÄÁ÷ÈëºÍÒµÎñÊý¾ÝÁ÷ÈëÁ½¸ö²¿·Ö¡£ÔªÊý¾ÝÁ÷Èë°üÀ¨Êý¾ÝÔ´´´½¨¡¢ÔªÊý¾ÝץȡÁ½²½£¬×îÖÕ»áÐγÉÊý¾Ý×ÊԴĿ¼£¬²¢Éú³É¶ÔÓ¦µÄ°²È«ÉèÖÃÓë·ÃÎÊ¿ØÖƲßÂÔ¡£½â¾ö·½°¸ÌṩרÃŵÄ×é¼þ£¬»ñÈ¡ÍⲿÊý¾ÝÔ´µÄÏà¹ØÔªÐÅÏ¢£¬¸Ã×é¼þÄÜÁ¬½ÓÍⲿÊý¾ÝÔ´¡¢¼ì²âÊý¾Ý¸ñʽºÍģʽ£¨schema£©£¬²¢ÔÚ¶ÔÓ¦µÄÊý¾Ý×ÊԴĿ¼Öд´½¨ÊôÓÚÊý¾ÝºþµÄÔªÊý¾Ý¡£ÒµÎñÊý¾ÝµÄÁ÷ÈëÊÇͨ¹ýETLÀ´Íê³ÉµÄ¡£
ÔÚ¾ßÌåµÄ²úÆ·ÐÎʽÉÏ£¬ÔªÊý¾Ýץȡ¡¢ETLºÍÊý¾Ý×¼±¸AWS½«Æäµ¥¶À³éÏó³öÀ´£¬ÐγÉÁËÒ»¸ö²úÆ·½ÐAWS GLUE¡£AWS
GLUEÓëAWS Lake Formation¹²Ïíͬһ¸öÊý¾Ý×ÊԴĿ¼£¬ÔÚAWS GLUE¹ÙÍøÎĵµÉÏÃ÷È·Ö¸³ö£º¡°Each
AWS account has one AWS Glue Data Catalog per AWS
region¡±¡£
¶ÔÓÚÒì¹¹Êý¾ÝÔ´µÄÖ§³Ö¡£AWSÌṩµÄÊý¾Ýºþ½â¾ö·½°¸£¬Ö§³ÖS3¡¢AWS¹ØϵÐÍÊý¾Ý¿â¡¢AWS NoSQLÊý¾Ý¿â£¬AWSÀûÓÃGLUE¡¢EMR¡¢AthenaµÈ×é¼þÖ§³ÖÊý¾ÝµÄ×ÔÓÉÁ÷¶¯¡£
2£© Êý¾Ý³Áµí¡£
²ÉÓÃAmazon S3×÷ΪÕû¸öÊý¾ÝºþµÄ¼¯Öд洢£¬°´ÐèÀ©Õ¹/°´Ê¹ÓÃÁ¿¸¶·Ñ¡£
3£© Êý¾Ý¼ÆËã¡£
Õû¸ö½â¾ö·½°¸ÀûÓÃAWS GLUEÀ´½øÐлù±¾µÄÊý¾Ý´¦Àí¡£GLUE»ù±¾µÄ¼ÆËãÐÎʽÊǸ÷ÀàÅú´¦ÀíģʽµÄETLÈÎÎñ£¬ÈÎÎñµÄ³ö·¢·½Ê½·ÖΪÊÖ¶¯´¥·¢¡¢¶¨Ê±´¥·¢¡¢Ê¼þ´¥·¢ÈýÖÖ¡£²»µÃ²»Ëµ£¬AWSµÄ¸÷Àà·þÎñÔÚÉú̬ÉÏʵÏֵķdz£ºÃ£¬Ê¼þ´¥·¢Ä£Ê½ÉÏ£¬¿ÉÒÔÀûÓÃAWS
Lambda½øÐÐÀ©Õ¹¿ª·¢£¬Í¬Ê±´¥·¢Ò»¸ö»ò¶à¸öÈÎÎñ£¬¼«´óµÄÌáÉýÁËÈÎÎñ´¥·¢µÄ¶¨ÖÆ¿ª·¢ÄÜÁ¦£»Í¬Ê±£¬¸÷ÀàETLÈÎÎñ£¬¿ÉÒÔͨ¹ýCloudWatch½øÐкܺõļà¿Ø¡£
4£© Êý¾ÝÓ¦Óá£
ÔÚÌṩ»ù±¾µÄÅú´¦Àí¼ÆËãģʽ֮Í⣬AWSͨ¹ý¸÷ÀàÍⲿ¼ÆËãÒýÇ棬À´Ìṩ·á¸»µÄ¼ÆËãģʽ֧³Ö£¬ÀýÈçͨ¹ýAthena/RedshiftÀ´Ìṩ»ùÓÚSQLµÄ½»»¥Ê½Åú´¦ÀíÄÜÁ¦£»Í¨¹ýEMRÀ´Ìṩ¸÷Àà»ùÓÚSparkµÄ¼ÆËãÄÜÁ¦£¬°üÀ¨SparkÄÜÌṩµÄÁ÷¼ÆËãÄÜÁ¦ºÍ»úÆ÷ѧϰÄÜÁ¦¡£
5£© ȨÏÞ¹ÜÀí¡£
AWSµÄÊý¾Ýºþ½â¾ö·½°¸Í¨¹ýLake FormationÀ´ÌṩÏà¶ÔÍêÉƵÄȨÏÞ¹ÜÀí£¬Á£¶È°üÀ¨¡°¿â-±í-ÁС±¡£µ«ÊÇ£¬ÓÐÒ»µãÀýÍâµÄÊÇ£¬GLUE·ÃÎÊLake
Formationʱ£¬Á£¶ÈÖ»ÓС°¿â-±í¡±Á½¼¶£»ÕâÒ²´ÓÁíÒ»¸ö²àÃæ˵Ã÷£¬GLUEºÍLake FormationµÄ¼¯³ÉÊǸüΪ½ôÃܵģ¬GLUE¶ÔÓÚLake
FormationÖеÄÊý¾ÝÓиü´óµÄ·ÃÎÊȨÏÞ¡£
Lake FormationµÄȨÏÞ½øÒ»²½¿ÉÒÔϸ·ÖΪÊý¾Ý×ÊԴĿ¼·ÃÎÊȨÏ޺͵ײãÊý¾Ý·ÃÎÊȨÏÞ£¬·Ö±ð¶ÔÓ¦ÔªÊý¾ÝÓëʵ¼Ê´æ´¢µÄÊý¾Ý¡£Êµ¼Ê´æ´¢Êý¾ÝµÄ·ÃÎÊȨÏÞÓÖ½øÒ»²½·ÖΪÊý¾Ý´æȡȨÏÞºÍÊý¾Ý´æ´¢·ÃÎÊȨÏÞ¡£Êý¾Ý´æȡȨÏÞÀàËÆÓÚÊý¾Ý¿âÖжÔÓÚ¿â±íµÄ·ÃÎÊȨÏÞ£¬Êý¾Ý´æ´¢È¨ÏÞÔò½øÒ»²½Ï¸»¯Á˶ÔÓÚS3ÖоßÌåĿ¼µÄ·ÃÎÊȨÏÞ£¨·ÖΪÏÔʾºÍÒþʽÁ½ÖÖ£©¡£Èçͼ8Ëùʾ£¬Óû§AÔÚÖ»ÓÐÊý¾Ý´æÈ¡µÄȨÏÞÏ£¬ÎÞ·¨´´½¨Î»ÓÚS3Ö¸¶¨bucketÏÂµÄ±í¡£
¸öÈËÈÏΪÕâ½øÒ»²½ÌåÏÖÁËÊý¾ÝºþÐèÒªÖ§³Ö¸÷ÖÖ²»Í¬µÄ´æ´¢ÒýÇ棬δÀ´µÄÊý¾Ýºþ¿ÉÄܲ»Ö»S3/OSS/OBS/HDFSÒ»ÀàºËÐÄ´æ´¢£¬¿ÉÄܸù¾ÝÓ¦ÓõķÃÎÊÐèÇó£¬ÄÉÈë¸ü¶àÀàÐ͵Ĵ洢ÒýÇ棬ÀýÈ磬S3´æ´¢ÔʼÊý¾Ý£¬NoSQL´æ´¢´¦Àí¹ýºóÊʺÏÒÔ¡°¼üÖµ¡±Ä£Ê½·ÃÎʵÄÊý¾Ý£¬OLAPÒýÇæ´æ´¢ÐèҪʵʱ³ö¸÷À౨±í/adhoc²éѯµÄÊý¾Ý¡£ËäÈ»µ±Ç°¸÷Àà²ÄÁ϶¼ÔÚÇ¿µ÷Êý¾ÝºþÓëÊý¾Ý²Ö¿âµÄ²»Í¬£»µ«ÊÇ£¬´Ó±¾ÖÊÉÏ£¬Êý¾Ýºþ¸üÓ¦¸ÃÊÇÒ»ÀàÈںϵÄÊý¾Ý¹ÜÀí˼ÏëµÄ¾ßÌåʵÏÖ£¬¡°ºþ²ÖÒ»Ì廯¡±Ò²ºÜ¿ÉÄÜÊÇδÀ´µÄÒ»¸ö·¢Õ¹Ç÷ÊÆ¡£
ͼ8. AWSÊý¾Ýºþ½â¾ö·½°¸È¨ÏÞ·ÖÀëʾÒâ
×ÛÉÏ£¬AWSÊý¾Ýºþ·½°¸³ÉÊì¶È¸ß£¬ÌرðÊÇÔªÊý¾Ý¹ÜÀí¡¢È¨ÏÞ¹ÜÀíÉÏ¿¼Âdzä·Ö£¬´òͨÁËÒì¹¹Êý¾ÝÔ´Óë¸÷Àà¼ÆËãÒýÇæµÄÉÏÏÂÓιØϵ£¬ÈÃÊý¾ÝÄܹ»×ÔÓÉ¡°Òƶ¯¡±ÆðÀ´¡£ÔÚÁ÷¼ÆËãºÍ»úÆ÷ѧϰÉÏ£¬AWSµÄ½â¾ö·½°¸Ò²±È½ÏÍêÉÆ¡£Á÷¼ÆËã·½ÃæAWSÍƳöÁËרÃŵÄÁ÷¼ÆËã×é¼þKinesis£¬KinesisÖеÄKinesis
data Firehose·þÎñ¿ÉÒÔ´´½¨Ò»¸öÍêÈ«±»ÍйܵÄÊý¾Ý·Ö·¢·þÎñ£¬Í¨¹ýKinesis data Streamʵʱ´¦ÀíµÄÊý¾Ý£¬¿ÉÒÔ½èÖúFirehose·½±ãµÄдÈëS3ÖУ¬²¢Ö§³ÖÏàÓ¦µÄ¸ñʽת»»£¬È罫JSONת»»³ÉParquet¸ñʽ¡£AWSÕû¸ö·½°¸×îÅ£µÄµØ·½»¹ÔÚÓëKinesis¿ÉÒÔ·ÃÎÊGLUEÖеÄÔªÊý¾Ý£¬ÕâÒ»µã³ä·ÖÌåÏÖÁËAWSÊý¾Ýºþ½â¾ö·½°¸ÔÚÉú̬ÉϵÄÍ걸ÐÔ¡£Í¬Ñù£¬ÔÚ»úÆ÷ѧϰ·½Ã棬AWSÌṩÁËSageMaker·þÎñ£¬SageMaker¿ÉÒÔ¶ÁÈ¡S3ÖеÄѵÁ·Êý¾Ý£¬²¢½«ÑµÁ·ºÃµÄÄ£ÐÍ»ØдÖÁS3ÖС£µ«ÊÇ£¬ÓÐÒ»µãÐèÒªÖ¸³öµÄÊÇ£¬ÔÚAWSµÄÊý¾Ýºþ½â¾ö·½°¸ÖУ¬Á÷¼ÆËãºÍ»úÆ÷ѧϰ²¢²»Êǹ̶¨À¦°óµÄ£¬Ö»ÊÇ×÷Ϊ¼ÆËãÄÜÁ¦À©Õ¹£¬ÄÜ·½±ãµÄ¼¯³É¡£
×îºó£¬ÈÃÎÒÃǻص½Í¼6µÄÊý¾Ýºþ×é¼þ²Î¿¼¼Ü¹¹£¬¿´¿´AWSµÄÊý¾Ýºþ½â¾ö·½°¸µÄ×é¼þ¸²¸ÇÇé¿ö£¬²Î¼ûͼ9¡£
ͼ9. AWS Êý¾Ýºþ½â¾ö·½°¸Ôڲο¼¼Ü¹¹ÖеÄÓ³Éä
×ÛÉÏ£¬AWSµÄÊý¾Ýºþ½â¾ö·½°¸¸²¸ÇÁ˳ýÖÊÁ¿¹ÜÀíºÍÊý¾ÝÖÎÀíµÄËùÓй¦ÄÜ¡£ÆäʵÖÊÁ¿¹ÜÀíºÍÊý¾ÝÖÎÀíÕâ¸ö¹¤×÷ºÍÆóÒµµÄ×éÖ¯½á¹¹¡¢ÒµÎñÀàÐÍÇ¿Ïà¹Ø£¬ÐèÒª×ö´óÁ¿µÄ¶¨ÖÆ¿ª·¢¹¤×÷£¬Òò´ËͨÓýâ¾ö·½°¸²»ÄÒÀ¨Õâ¿éÄÚÈÝ£¬Ò²ÊÇ¿ÉÒÔÀí½âµÄ¡£ÊÂʵÉÏ£¬ÏÖÔÚÒ²ÓбȽÏÓÅÐãµÄ¿ªÔ´ÏîÄ¿Ö§³ÖÕâ¸öÏîÄ¿£¬±ÈÈçApache
Griffin£¬Èç¹û¶ÔÖÊÁ¿¹ÜÀíºÍÊý¾ÝÖÎÀíÓÐÇ¿ËßÇ󣬿ÉÒÔ×ÔÐж¨ÖÆ¿ª·¢¡£
4.2 »ªÎªÊý¾Ýºþ½â¾ö·½°¸
ͼ10.»ªÎªÊý¾Ýºþ½â¾ö·½°¸
»ªÎªµÄÊý¾Ýºþ½â¾ö·½°¸Ïà¹ØÐÅÏ¢À´×Ô»ªÎª¹ÙÍø¡£Ä¿Ç°¹ÙÍø¿É¼ûµÄÏà¹Ø²úÆ·°üÀ¨Êý¾Ýºþ̽Ë÷£¨Data Lake
Insight£¬DLI£©ºÍÖÇÄÜÊý¾ÝºþÔËӪƽ̨£¨DAYU£©¡£ÆäÖÐDLIÏ൱ÓÚÊÇAWSµÄLake Formation¡¢GLUE¡¢Athena¡¢EMR£¨Flink&Spark£©µÄ¼¯ºÏ¡£¹ÙÍøÉÏûÕÒµ½¹ØÓÚDLIµÄÕûÌå¼Ü¹¹Í¼£¬ÎÒ¸ù¾Ý×Ô¼ºµÄÀí½â£¬³¢ÊÔ»ÁËÒ»¸ö£¬Ö÷ÒªÊǺÍAWSµÄ½â¾ö·½°¸ÓÐÒ»¸ö¶Ô±È£¬ËùÒÔÐÎʽÉϾ¡Á¿Ò»Ö£¬Èç¹ûÓзdz£Á˽⻪ΪDLIµÄͬѧ£¬Ò²Çë²»Áߴͽ̡£
»ªÎªµÄÊý¾Ýºþ½â¾ö·½°¸±È½ÏÍêÕû£¬DLI³Ðµ£ÁËËùÓеÄÊý¾Ýºþ¹¹½¨¡¢Êý¾Ý´¦Àí¡¢Êý¾Ý¹ÜÀí¡¢Êý¾ÝÓ¦ÓõĺËÐŦÄÜ¡£DLI×î´óµÄÌØÉ«ÊÇÔÚÓÚ·ÖÎöÒýÇæµÄÍ걸ÐÔ£¬°üÀ¨»ùÓÚSQLµÄ½»»¥Ê½·ÖÎöÒÔ¼°»ùÓÚSpark+FlinkµÄÁ÷ÅúÒ»Ìå´¦ÀíÒýÇæ¡£ÔÚºËÐÄ´æ´¢ÒýÇæÉÏ£¬DLIÒÀȻͨ¹ýÄÚÖõÄOBSÀ´Ìṩ£¬ºÍAWS
S3µÄÄÜÁ¦»ù±¾¶Ô±ê¡£»ªÎªÊý¾Ýºþ½â¾ö·½°¸ÔÚÉÏÏÂÓÎÉú̬ÉÏ×öµÄ±ÈAWSÏà¶ÔÍêÉÆ£¬¶ÔÓÚÍⲿÊý¾ÝÔ´£¬¼¸ºõÖ§³ÖËùÓÐÄ¿Ç°»ªÎªÔÆÉÏÌṩµÄÊý¾ÝÔ´·þÎñ¡£
DLI¿ÉÒÔÓ뻪ΪµÄCDM£¨ÔÆÊý¾ÝǨÒÆ·þÎñ£©ºÍDIS£¨Êý¾Ý½ÓÈë·þÎñ£©¶Ô½Ó£º1£©½èÖúDIS£¬DLI¿ÉÒÔ¶¨Òå¸÷ÀàÊý¾Ýµã£¬ÕâЩµã¿ÉÒÔÔÚFlink×÷ÒµÖб»Ê¹Óã¬×öΪsource»òÕßsink£»2£©½èÖúCDM£¬DLIÉõÖÁÄܽÓÈëIDC¡¢µÚÈý·½ÔÆ·þÎñµÄÊý¾Ý¡£
ΪÁ˸üºÃµÄÖ§³ÖÊý¾Ý¼¯³É¡¢Êý¾Ý¿ª·¢¡¢Êý¾ÝÖÎÀí¡¢ÖÊÁ¿¹ÜÀíµÈÊý¾Ýºþ¸ß¼¶¹¦ÄÜ£¬»ªÎªÔÆÌṩÁËDAYUƽ̨¡£DAYUƽ̨ÊÇ»ªÎªÊý¾ÝºþÖÎÀíÔËÓª·½·¨ÂÛµÄÂäµØʵÏÖ¡£DAYUº¸ÇÁËÕû¸öÊý¾ÝºþÖÎÀíµÄºËÐÄÁ÷³Ì£¬²¢¶ÔÆäÌṩÁËÏàÓ¦µÄ¹¤¾ßÖ§³Ö£»ÉõÖÁÔÚ»ªÎªµÄ¹Ù·½ÎĵµÖУ¬¸ø³öÁËÊý¾ÝÖÎÀí×éÖ¯µÄ¹¹½¨½¨Òé¡£DAYUµÄÊý¾ÝÖÎÀí·½·¨ÂÛµÄÂäµØʵÏÖÈçͼ11Ëùʾ£¨À´×Ô»ªÎªÔƹÙÍø£©¡£
ͼ11 DAYUÊý¾ÝÖÎÀí·½·¨ÂÛÁ÷³Ì
¿ÉÒÔ¿´µ½£¬±¾ÖÊÉÏDAYUÊý¾ÝÖÎÀíµÄ·½·¨ÂÛÆäʵÊÇ´«Í³Êý¾Ý²Ö¿âÖÎÀí·½·¨ÂÛÔÚÊý¾Ýºþ»ù´¡ÉèÊ©ÉϵÄÑÓÉ죺´ÓÊý¾ÝÄ£ÐÍÀ´¿´£¬ÒÀÈ»°üÀ¨ÌùÔ´²ã¡¢¶àÔ´ÕûºÏ²ã¡¢Ã÷ϸÊý¾Ý²ã£¬ÕâµãÓëÊý¾Ý²Ö¿âÍêÈ«Ò»Ö¡£¸ù¾ÝÊý¾ÝÄ£ÐͺÍÖ¸±êÄ£ÐÍ»áÉú³ÉÖÊÁ¿¹æÔòºÍת»»Ä£ÐÍ£¬DAYU»áºÍDLI¶Ô½Ó£¬Ö±½Óµ÷ÓÃDLIÌṩµÄÏà¹ØÊý¾Ý´¦Àí·þÎñ£¬Íê³ÉÊý¾ÝÖÎÀí¡£»ªÎªÔÆÕû¸öµÄÊý¾Ýºþ½â¾ö·½°¸£¬ÍêÕû¸²¸ÇÁËÊý¾Ý´¦ÀíµÄÉúÃüÖÜÆÚ£¬²¢ÇÒÃ÷È·Ö§³ÖÁËÊý¾ÝÖÎÀí£¬²¢ÌṩÁË»ùÓÚÄ£ÐͺÍÖ¸±êµÄÊý¾ÝÖÎÀíÁ÷³Ì¹¤¾ß£¬ÔÚ»ªÎªÔƵÄÊý¾Ýºþ½â¾ö·½°¸ÖÐÖ𽥿ªÊ¼Íù¡°ºþ²ÖÒ»Ì廯¡±·½ÏòÑݽø¡£
4.3 °¢ÀïÔÆÊý¾Ýºþ½â¾ö·½°¸
°¢ÀïÔÆÉÏÊý¾ÝÀà²úÆ·Öڶ࣬ÒòΪ±¾ÈËÄ¿Ç°ÔÚÊý¾ÝBU£¬ËùÒÔ±¾½Ú·½°¸½«¹Ø×¢ÔÚÈçºÎʹÓÃÊý¾Ý¿âBUµÄ²úÆ·À´¹¹½¨Êý¾Ýºþ£¬ÆäËûÔÆÉϲúÆ·»áÂÔÓÐÉæ¼°¡£°¢ÀïÔƵĻùÓÚÊý¾Ý¿â²úÆ·µÄÊý¾Ýºþ½â¾ö·½°¸¸ü¼Ó¾Û½¹£¬Ö÷´òÊý¾Ýºþ·ÖÎöºÍÁª°î·ÖÎöÁ½¸ö³¡¾°¡£°¢ÀïÔÆÊý¾Ýºþ½â¾ö·½°¸Èçͼ12Ëùʾ¡£
ͼ12. °¢ÀïÔÆÊý¾Ýºþ½â¾ö·½°¸
Õû¸ö·½°¸ÒÀÈ»²ÉÓÃOSS×÷ΪÊý¾ÝºþµÄ¼¯Öд洢¡£ÔÚÊý¾ÝÔ´µÄÖ§³ÖÉÏ£¬Ä¿Ç°Ò²Ö§³ÖËùÓеİ¢ÀïÔÆÊý¾Ý¿â£¬°üÀ¨OLTP¡¢OLAPºÍNoSQLµÈ¸÷ÀàÊý¾Ý¿â¡£ºËÐĹؼüµãÈçÏ£º
1£© Êý¾Ý½ÓÈëÓë°áǨ¡£ÔÚ½¨ºþ¹ý³ÌÖУ¬DLAµÄFormation×é¼þ¾ß±¸ÔªÊý¾Ý·¢ÏÖºÍÒ»¼ü½¨ºþµÄÄÜÁ¦£¬ÔÚ±¾ÎÄд×÷֮ʱ£¬Ä¿Ç°¡°Ò»¼ü½¨ºþ¡±»¹Ö»Ö§³ÖÈ«Á¿½¨ºþ£¬µ«ÊÇ»ùÓÚbinlogµÄÔöÁ¿½¨ºþÒѾÔÚ¿ª·¢ÖÐÁË£¬Ô¤¼Æ½üÆÚÉÏÏß¡£ÔöÁ¿½¨ºþÄÜÁ¦»á¼«´óµÄÔö¼ÓÊý¾ÝºþÖÐÊý¾ÝµÄʵʱÐÔ£¬²¢½«¶ÔÔ´¶ËÒµÎñÊý¾Ý¿âµÄѹÁ¦½µµ½×îÏ¡£ÕâÀïÐèҪעÒâµÄÊÇ£¬DLA
FormationÊÇÒ»¸öÄÚ²¿×é¼þ£¬¶ÔÍⲢûÓб©Â¶¡£
2£© Êý¾Ý×ÊԴĿ¼¡£DLAÌṩMeta data catalog×é¼þ¶ÔÓÚÊý¾ÝºþÖеÄÊý¾Ý×ʲú½øÐÐͳһµÄ¹ÜÀí£¬ÎÞÂÛÊý¾ÝÊÇÔÚ¡°ºþÖС±»¹ÊÇÔÚ¡°ºþÍ⡱¡£Meta
data catalogÒ²ÊÇÁª°î·ÖÎöµÄͳһԪÊý¾ÝÈë¿Ú¡£
3£© ÔÚÄÚÖüÆËãÒýÇæÉÏ£¬DLAÌṩÁËSQL¼ÆËãÒýÇæºÍSpark¼ÆËãÒýÇæÁ½ÖÖ¡£ÎÞÂÛÊÇSQL»¹ÊÇSparkÒýÇ棬¶¼ºÍMeta
data catalogÉî¶È¼¯³É£¬ÄÜ·½±ãµÄ»ñÈ¡ÔªÊý¾ÝÐÅÏ¢¡£»ùÓÚSparkµÄÄÜÁ¦£¬DLA½â¾ö·½°¸Ö§³ÖÅú´¦Àí¡¢Á÷¼ÆËãºÍ»úÆ÷ѧϰµÈ¼ÆËãģʽ¡£
4£© ÔÚÍâΧÉú̬ÉÏ£¬³ýÁËÖ§³Ö¸÷ÀàÒì¹¹Êý¾ÝÔ´×öÊý¾Ý½ÓÈëÓë»ã¾ÛÖ®Í⣬ÔÚ¶ÔÍâ·ÃÎÊÄÜÁ¦ÉÏ£¬DLAÓëÔÆÔÉúÊý¾Ý²Ö¿â£¨ÔADB£©Éî¶ÈÕûºÏ¡£Ò»·½Ã棬DLA´¦ÀíµÄ½á¹û¿ÉÖ®¼ÊÍÆËÍÖÁADBÖУ¬Âú×ãʵʱ¡¢½»»¥Ê½¡¢ad
hoc¸´ÔÓ²éѯ£»ÁíÒ»·½Ã棬ADBÀïµÄÊý¾ÝÒ²¿ÉÒÔ½èÖúÍâ±í¹¦ÄÜ£¬ºÜ·½±ãµÄ½øÐÐÊý¾Ý»ØÁ÷ÖÁOSSÖС£»ùÓÚDLA£¬°¢ÀïÔÆÉϸ÷ÀàÒì¹¹Êý¾ÝÔ´¿ÉÒÔÍêÈ«±»´òͨ£¬Êý¾Ý×ÔÓÉÁ÷¶¯¡£
5£© ÔÚÊý¾Ý¼¯³ÉºÍ¿ª·¢ÉÏ£¬°¢ÀïÔƵÄÊý¾Ýºþ½â¾ö·½°¸ÌṩÁ½ÖÖÑ¡Ôñ£ºÒ»ÖÖÊDzÉÓÃdataworksÍê³É£»ÁíÒ»ÖÖÊDzÉÓÃDMSÀ´Íê³É¡£ÎÞÂÛÊÇÑ¡ÔñÄÄÖÖ£¬¶¼ÄܶÔÍâÌṩ¿ÉÊÓ»¯µÄÁ÷³Ì±àÅÅ¡¢ÈÎÎñµ÷¶È¡¢ÈÎÎñ¹ÜÀíÄÜÁ¦¡£ÔÚÊý¾ÝÉúÃüÖÜÆÚ¹ÜÀíÉÏ£¬dataworksµÄÊý¾ÝµØͼÄÜÁ¦Ïà¶Ô¸ü¼Ó³ÉÊì¡£
6£© ÔÚÊý¾Ý¹ÜÀíºÍÊý¾Ý°²È«ÉÏ£¬DMSÌṩÁËÇ¿´óµÄÄÜÁ¦¡£DMSµÄÊý¾Ý¹ÜÀíÁ£¶È·ÖΪ¡°¿â-±í-ÁÐ-ÐС±£¬ÍêÉƵÄÖ§³ÖÆóÒµ¼¶µÄÊý¾Ý°²È«¹Ü¿ØÐèÇó¡£³ýÁËȨÏÞ¹ÜÀíÖ®Í⣬DMS¸ü¾«Ï¸µÄµØ·½ÊÇ°ÑÔÀ´»ùÓÚÊý¾Ý¿âµÄdevopsÀíÄîÀ©Õ¹µ½ÁËÊý¾Ýºþ£¬Ê¹µÃÊý¾ÝºþµÄÔËά¡¢¿ª·¢¸ü¼Ó¾«Ï¸»¯¡£
½øÒ»²½Ï¸»¯Õû¸öÊý¾Ýºþ·½°¸µÄÊý¾ÝÓ¦Óüܹ¹£¬ÈçÏÂͼËùʾ¡£
ͼ13. °¢ÀïÔÆÊý¾ÝºþÊý¾ÝÓ¦Óüܹ¹
×Ô×óÏòÓÒ´ÓÊý¾ÝµÄÁ÷ÏòÀ´¿´£¬Êý¾ÝÉú²úÕß²úÉú¸÷ÀàÊý¾Ý£¨ÔÆÏÂ/ÔÆÉÏ/ÆäËûÔÆ£©£¬ÀûÓø÷À๤¾ß£¬ÉÏ´«ÖÁ¸÷ÀàͨÓÃ/±ê×¼Êý¾ÝÔ´£¬°üÀ¨OSS/HDFS/DBµÈ¡£Õë¶Ô¸÷ÀàÊý¾ÝÔ´£¬DLAͨ¹ýÊý¾Ý·¢ÏÖ¡¢Êý¾Ý½ÓÈë¡¢Êý¾ÝǨÒƵÈÄÜÁ¦£¬ÍêÕû½¨ºþ²Ù×÷¡£¶ÔÓÚ¡°Èëºþ¡±µÄÊý¾Ý£¬DLAÌṩ»ùÓÚSQLºÍSparkµÄÊý¾Ý´¦ÀíÄÜÁ¦£¬²¢¿ÉÒÔ»ùÓÚDataworks/DMS£¬¶ÔÍâÌṩ¿ÉÊÓ»¯µÄÊý¾Ý¼¯³ÉºÍÊý¾Ý¿ª·¢ÄÜÁ¦£»ÔÚ¶ÔÍâÓ¦Ó÷þÎñÄÜÁ¦ÉÏ£¬DLAÌṩ±ê×¼»¯µÄJDBC½Ó¿Ú£¬¿ÉÒÔÖ±½Ó¶Ô½Ó¸÷À౨±í¹¤¾ß¡¢´óÆÁչʾ¹¦Äܵȡ£°¢ÀïÔƵÄDLAµÄÌØÉ«ÔÚÓÚ±³¿¿Õû¸ö°¢ÀïÔÆÊý¾Ý¿âÉú̬£¬°üÀ¨OLTP¡¢OLAP¡¢NoSQLµÈ¸÷ÀàÊý¾Ý¿â£¬¶ÔÍâÌṩ»ùÓÚSQLµÄÊý¾Ý´¦ÀíÄÜÁ¦£¬¶ÔÓÚ´«Í³ÆóÒµ»ùÓÚÊý¾Ý¿âµÄ¿ª·¢¼¼ÊõÕ»¶øÑÔ£¬×ªÐͳɱ¾Ïà¶Ô½ÏµÍ£¬Ñ§Ï°ÇúÏ߱ȽÏƽ»º¡£
°¢ÀïÔƵÄDLA½â¾ö·½°¸µÄÁíÒ»¸öÌØÉ«ÔÚÓÚ¡°»ùÓÚÔÆÔÉúµÄºþ²ÖÒ»Ì廯¡±¡£´«Í³µÄÆóÒµ¼¶Êý¾Ý²Ö¿âÔÚ´óÊý¾Ýʱ´úµÄ½ñÌ죬ÔÚ¸÷À౨±íÓ¦ÓÃÉÏÒÀÈ»ÊÇÎÞ·¨Ìæ´úµÄ£»µ«ÊÇÊý²ÖÎÞ·¨Âú×ã´óÊý¾Ýʱ´úµÄÊý¾Ý·ÖÎö´¦ÀíµÄÁé»îÐÔÐèÇó£»Òò´Ë£¬ÎÒÃÇÍƼöÊý¾Ý²Ö¿âÓ¦¸Ã×÷ΪÊý¾ÝºþµÄÉϲãÓ¦ÓôæÔÚ£º¼´Êý¾ÝºþÊÇÔʼҵÎñÊý¾ÝÔÚÒ»¸öÆóÒµ/×éÖ¯ÖÐΨһ¹Ù·½Êý¾Ý´æ´¢µØ£»Êý¾Ýºþ¸ù¾Ý¸÷ÀàÒµÎñÓ¦ÓÃÐèÇ󣬽«ÔʼÊý¾Ý½øÐмӹ¤´¦Àí£¬ÐγɿÉÔÙ´ÎÀûÓõÄÖмä½á¹û£»µ±Öмä½á¹ûµÄÊý¾Ýģʽ£¨Schema£©Ïà¶Ô¹Ì¶¨ºó£¬DLA¿ÉÒÔ½«Öмä½á¹ûÍÆËÍÖÁÊý¾Ý²Ö¿â£¬¹©ÆóÒµ/×éÖ¯¿ªÕ¹»ùÓÚÊý²ÖµÄÒµÎñÓ¦Óᣰ¢ÀïÔÆÔÚÌṩDLAµÄͬʱ£¬»¹ÌṩÁËÔÆÔÉúÊý²Ö£¨ÔADB£©£¬DLAºÍÔÆÔÉúÊý²ÖÔÚÒÔÏÂÁ½µãÉÏÉî¶ÈÈںϡ£
1£© ʹÓÃͬԴµÄSQL½âÎöÒýÇæ¡£DLAµÄSQLÓëADBµÄSQLÓï·¨ÉÏÍêÈ«¼æÈÝ£¬ÕâÒâζ×Å¿ª·¢ÕßʹÓÃÒ»Ì×¼¼ÊõÕ»¼´ÄÜͬʱ¿ª·¢Êý¾ÝºþÓ¦ÓúÍÊý²ÖÓ¦Óá£
2£© ¶¼ÄÚÖÃÁ˶ÔÓÚOSSµÄ·ÃÎÊÖ§³Ö¡£OSSÖ±½Ó×÷ΪDLAµÄÔÉú´æ´¢´æÔÚ£»¶ÔÓÚADB¶øÑÔ£¬¿ÉÒÔͨ¹ýÍⲿ±íµÄÄÜÁ¦£¬ºÜ·½±ãµÄ·ÃÎÊOSSÉϵĽṹ»¯Êý¾Ý¡£½èÖúÍⲿ±í£¬Êý¾Ý¿ÉÒÔ×ÔÓɵÄÔÚDLAºÍADBÖ®¼äÁ÷ת£¬×öµ½ÕæÕýµÄºþ²ÖÒ»Ìå¡£
DLA+ADBµÄ×éºÏÕæÕý×öµ½ÁËÔÆÔÉúµÄºþ²ÖÒ»Ì壨¹ØÓÚʲôÊÇÔÆÔÉú£¬²»ÔÚ±¾ÎĵÄÌÖÂÛ·¶³ë£©¡£±¾ÖÊÉÏ£¬DLA¿ÉÒÔ¿´³ÉÒ»¸öÄÜÁ¦À©Õ¹µÄÊý¾Ý²Ö¿âÌùÔ´²ã¡£Ó봫ͳÊý²ÖÏà±È£¬¸ÃÌùÔ´²ã£º£¨1£©¿ÉÒÔ±£´æ¸÷Àà½á¹¹»¯¡¢°ë½á¹¹»¯ºÍ·Ç½á¹¹»¯Êý¾Ý£»£¨2£©¿ÉÒÔ¶Ô½Ó¸÷ÀàÒì¹¹Êý¾ÝÔ´£»£¨3£©¾ß±¸ÔªÊý¾Ý·¢ÏÖ¡¢¹ÜÀí¡¢Í¬²½µÈÄÜÁ¦£»£¨4£©ÄÚÖõÄSQL/Spark¼ÆËãÒýÇæ¾ß±¸¸üÇ¿µÄÊý¾Ý´¦ÀíÄÜÁ¦£¬Âú×ã¶àÑù»¯µÄÊý¾Ý´¦ÀíÐèÇ󣻣¨5£©¾ß±¸È«Á¿Êý¾ÝµÄÈ«ÉúÃüÖÜÆÚ¹ÜÀíÄÜÁ¦¡£»ùÓÚDLA+ADBµÄºþ²ÖÒ»Ì廯·½°¸£¬½«Í¬Ê±¸²¸Ç¡°´óÊý¾Ýƽ̨+Êý¾Ý²Ö¿â¡±µÄ´¦ÀíÄÜÁ¦¡£
DLA»¹ÓÐÒ»¸öÖØÒªÄÜÁ¦Êǹ¹½¨ÁËÒ»¸ö¡°ËÄͨ°Ë´ï¡±µÄÊý¾ÝÁ÷¶¯Ìåϵ£¬²¢ÒÔÊý¾Ý¿âµÄÌåÑé¶ÔÍâÌṩÄÜÁ¦£¬ÎÞÂÛÊý¾ÝÔÚÔÆÉÏ»¹ÊÇÔÆÏ£¬ÎÞÂÛÊý¾ÝÔÚ×éÖ¯ÄÚ²¿»¹ÊÇÍⲿ£»½èÖúÊý¾Ýºþ£¬¸÷¸öϵͳ֮¼äµÄÊý¾Ý²»ÔÙ´æÔÚ±ÚÀÝ£¬¿ÉÒÔ×ÔÓɵÄÁ÷½øÁ÷³ö£»¸üÖØÒªµÄÊÇ£¬ÕâÖÖÁ÷¶¯ÊÇÊܼà¹ÜµÄ£¬Êý¾ÝºþÍêÕûµÄ¼Ç¼ÁËÊý¾ÝµÄÁ÷¶¯Çé¿ö¡£
4.4 AzureÊý¾Ýºþ½â¾ö·½°¸
AzureµÄÊý¾Ýºþ½â¾ö·½°¸°üÀ¨Êý¾Ýºþ´æ´¢¡¢½Ó¿Ú²ã¡¢×ÊÔ´µ÷¶ÈÓë¼ÆËãÒýÇæ²ã£¬Èçͼ15Ëùʾ£¨À´×ÔAzure¹ÙÍø£©¡£´æ´¢²ãÊÇ»ùÓÚAzure
object Storage¹¹½¨µÄ£¬ÒÀÈ»ÊǶԽṹ»¯¡¢°ë½á¹¹»¯ºÍ·Ç½á¹¹»¯Êý¾ÝÌṩ֧³Å¡£½Ó¿Ú²ãΪWebHDFS£¬±È½ÏÌرðµÄÊÇÔÚAzure
object StorageʵÏÖÁËHDFSµÄ½Ó¿Ú£¬Azure°ÑÕâ¸öÄÜÁ¦³ÆΪ¡°Êý¾Ýºþ´æ´¢ÉϵĶàÐÒé´æÈ¡¡±¡£ÔÚ×ÊÔ´µ÷¶ÈÉÏ£¬Azure»ùÓÚYARNʵÏÖ¡£¼ÆËãÒýÇæÉÏ£¬AzureÌṩÁËU-SQL¡¢hadoopºÍSparkµÈ¶àÖÖ´¦ÀíÒýÇæ¡£
ͼ15. Azure Data lake analysis ¼Ü¹¹
AzureµÄÌرðÖ®´¦ÊÇ»ùÓÚvisual studioÌṩ¸øÁË¿Í»§¿ª·¢µÄÖ§³Ö¡£
1£©¿ª·¢¹¤¾ßµÄÖ§³Ö£¬Óëvisual studioµÄÉî¶È¼¯³É£»AzureÍƼöʹÓÃU-SQL×÷ΪÊý¾Ýºþ·ÖÎöÓ¦ÓõĿª·¢ÓïÑÔ¡£Visual
studioΪU-SQLÌṩÁËÍ걸µÄ¿ª·¢»·¾³£»Í¬Ê±£¬ÎªÁ˽µµÍ·Ö²¼Ê½Êý¾Ýºþϵͳ¿ª·¢µÄ¸´ÔÓÐÔ£¬visual
studio»ùÓÚÏîÄ¿½øÐзâ×°£¬ÔÚ½øÐÐU-SQL¿ª·¢Ê±£¬¿ÉÒÔ´´½¨¡°U-SQL database project¡±£¬ÔÚ´ËÀàÏîÄ¿ÖУ¬ÀûÓÃvisual
studio£¬¿ÉÒԺܷ½±ãµÄ½øÐбàÂëÓëµ÷ÊÔ£¬Í¬Ê±£¬Ò²ÌṩÏòµ¼£¬½«¿ª·¢ºÃµÄU-SQL½Å±¾·¢²¼µ½Éú³É»·¾³¡£U-SQLÖ§³ÖPython¡¢R½øÐÐÀ©Õ¹£¬Âú×㶨ÖÆ¿ª·¢ÐèÇó¡£
2£©¶à¼ÆËãÒýÇæµÄÊÊÅ䣺 SQL, Apache HadoopºÍApache Spark¡£ÕâÀïµÄhadoop°üÀ¨AzureÌṩµÄHDInsight£¨AzureÍйܵÄHadoop·þÎñ£©£¬Spark°üÀ¨Azure
Databricks¡£
3£©¶àÖÖ²»Í¬ÒýÇæÈÎÎñÖ®¼äµÄ×Ô¶¯×ª»»ÄÜÁ¦¡£Î¢ÈíÍƼöU-SQLΪÊý¾ÝºþµÄȱʡ¿ª·¢¹¤¾ß£¬²¢Ìṩ¸÷Ààת»»¹¤¾ß£¬Ö§³ÖU-SQL½Å±¾ÓëHive¡¢Spark£¨HDSight&databricks£©¡¢Azure
Data Factory data FlowÖ®¼äµÄת»¯¡£
4.5 С½á
±¾ÎÄËùÌÖÂÛµÄÊÇÊý¾ÝºþµÄ½â¾ö·½°¸£¬²»»áÉæ¼°µ½ÈκÎÔƳ§É̵ĵ¥¸ö²úÆ·¡£ÎÒÃÇ´ÓÊý¾Ý½ÓÈë¡¢Êý¾Ý´æ´¢¡¢Êý¾Ý¼ÆËã¡¢Êý¾Ý¹ÜÀí¡¢Ó¦ÓÃÉú̬¼¸¸ö·½Ã棬¼òµ¥×öÁËÒ»¸öÀàËÆϱíµÄ×ܽᡣ
³öÓÚƪ·ù¹Øϵ£¬Æäʵ֪ÃûÔƳ§É̵ÄÊý¾Ýºþ½â¾ö·½°¸»¹ÓйȸèºÍÌÚѶµÄ¡£ÕâÁ½¼Ò´ÓÆä¹Ù·½ÍøÕ¾ÉÏ¿´£¬Êý¾Ýºþ½â¾ö·½°¸Ïà¶ÔÀ´½²±È½Ï¼òµ¥£¬Ò²½ö½öÊÇһЩ¸ÅÄîÉϵIJûÊö£¬ÍƼöµÄÂäµØ·½°¸ÊÇ¡°oss+hadoop£¨EMR£©¡±¡£ÆäʵÊý¾Ýºþ²»Ó¦¸Ã´ÓÒ»¸ö¼òµ¥µÄ¼¼Êõƽ̨ÊÓ½ÇÀ´¿´£¬ÊµÏÖÊý¾ÝºþµÄ·½Ê½Ò²¶àÖÖ¶àÑù£¬ÆÀ¼ÛÒ»¸öÊý¾Ýºþ½â¾ö·½°¸ÊÇ·ñ³ÉÊ죬¹Ø¼üÓ¦¸Ã¿´ÆäÌṩµÄÊý¾Ý¹ÜÀíÄÜÁ¦£¬¾ßÌå°üÀ¨µ«²»ÏÞÓÚÔªÊý¾Ý¡¢Êý¾Ý×ʲúĿ¼¡¢Êý¾ÝÔ´¡¢Êý¾Ý´¦ÀíÈÎÎñ¡¢Êý¾ÝÉúÃüÖÜÆÚ¡¢Êý¾ÝÖÎÀí¡¢È¨ÏÞ¹ÜÀíµÈ£»ÒÔ¼°ÓëÍâΧÉú̬µÄ¶Ô½Ó´òͨÄÜÁ¦¡£
Îå¡¢µäÐ͵ÄÊý¾ÝºþÓ¦Óð¸Àý
5.1 ¹ã¸æÊý¾Ý·ÖÎö
½üÄêÀ´£¬Á÷Á¿»ñÈ¡µÄ³É±¾¾ÍÔ½À´Ô½¸ß£¬ÏßÉÏÇþµÀ»ñ¿Í³É±¾µÄ³É±¶Ôö³¤Èø÷Ðи÷Òµ¶¼ÃæÁÙ×ÅÑϾþµÄÌôÕ½¡£ÔÚ»¥ÁªÍø¹ã¸æ³É±¾²»¶ÏÅÊÉýµÄ´ó±³¾°Ï£¬ÒÔ»¨Ç®ÂòÁ÷Á¿ÀÐÂΪÖ÷ÒªµÄ¾Óª²ßÂÔ±ØÈ»Ðв»Í¨ÁË¡£Á÷Á¿Ç°¶ËµÄÓÅ»¯ÒѳÉÇ¿åó֮ĩ£¬ÀûÓÃÊý¾Ý¹¤¾ßÌá¸ßÁ÷Á¿µ½Õ¾ºóµÄÄ¿±êת»¯£¬¾«Ï¸»¯ÔËÓª¹ã¸æͶ·ÅµÄ¸÷¸ö»·½Ú£¬²ÅÊǸıäÏÖ×´¸üΪֱ½ÓÓÐЧµÄ·½Ê½¡£Ëµµ½µ×£¬ÒªÌá¸ß¹ã¸æÁ÷Á¿µÄת»¯ÂÊ£¬±ØÐëÒÀ¿¿´óÊý¾Ý·ÖÎö¡£
ΪÁËÄܹ»Ìṩ¸ü¶àµÄ¾ö²ßÖ§³ÅÒÀ¾Ý£¬ÐèÒª²ÉÈ¡¸ü¶àµÄÂñµãÊý¾ÝµÄÊÕ¼¯ºÍ·ÖÎö£¬°üÀ¨µ«²»ÏÞÓÚÇþµÀ¡¢Í¶·Åʱ¼ä¡¢Í¶·ÅÈËȺ£¬ÒÔµã»÷ÂÊΪÊý¾ÝÖ¸±ê½øÐÐÊý¾Ý·ÖÎö£¬´Ó¶ø¸ø³ö¸üºÃµÄ¡¢¸üѸËٵķ½°¸ºÍ½¨Ò飬ʵÏÖ¸ßЧÂʸ߲ú³ö¡£Òò´Ë£¬Ãæ¶Ô¹ã¸æͶ·ÅÁìÓò¶àά¶È¡¢¶àýÌå¡¢¶à¹ã¸æλµÈ½á¹¹»¯¡¢°ë½á¹¹»¯ºÍ·Ç½á¹¹»¯Êý¾Ý²É¼¯¡¢´æ´¢¡¢·ÖÎöºÍ¾ö²ß½¨ÒéµÈÒªÇó£¬Êý¾Ýºþ·ÖÎö²úÆ·½â¾ö·½°¸ÔÚ¹ã¸æÖ÷»òÕß·¢²¼É̽øÐÐÐÂÒ»´ú¼¼ÊõÑ¡ÐÍÖÐÉÏÊܵ½Á˺ÜÈÈÁÒµÄÇàíù¡£
DGÊÇÒ»¼ÒÈ«ÇòÁìÏȵÄÆóÒµ¹ú¼Ê»¯ÖÇÄÜÓªÏú·þÎñÉÌ£¬»ùÓÚÏȽøµÄ¹ã¸æ¼¼Êõ¡¢´óÊý¾ÝºÍÔËÓªÄÜÁ¦£¬Îª¿Í»§ÌṩȫÇò¸ßÖÊÁ¿Óû§»ñÈ¡¼°Á÷Á¿±äÏÖ·þÎñ¡£DG´Ó³ÉÁ¢Ö®³õ¾Í¾ö¶¨ÒÔ¹«ÓÐÔÆΪ»ù´¡À´¹¹½¨ÆäIT»ù´¡ÉèÊ©£¬×î³õDGÑ¡ÔñÁËAWSÔÆƽ̨£¬Ö÷Òª½«Æä¹ã¸æÊý¾ÝÔÚS3ÖÐÒÔÊý¾ÝºþµÄÐÎ̬½øÐдæ·Å£¬Í¨¹ýAthena½øÐн»»¥Ê½·ÖÎö¡£È»¶øËæ×Å»¥ÁªÍø¹ã¸æµÄ·ÉËÙ·¢Õ¹£¬¹ã¸æÐÐÒµ´øÀ´Á˼¸´óÌôÕ½£¬Òƶ¯¹ã¸æµÄ·¢²¼Óë×·×Ùϵͳ±ØÐë½â¾ö¼¸¸ö¹Ø¼üÎÊÌ⣺
1£© ²¢·¢ÐÔÓë·åÖµÎÊÌâ¡£ÔÚ¹ã¸æÐÐÒµ£¬Á÷Á¿¸ß·åʱ³£³öÏÖ£¬Ë²¼äµÄµã»÷Á¿¿ÉÄÜ´ïµ½ÊýÍò£¬ÉõÖÁÊýÊ®Íò£¬Õâ¾ÍÒªÇóϵͳ¾ß±¸·Ç³£ºÃµÄ¿ÉÀ©Õ¹ÐÔÒÔ¿ìËÙÏìÓ¦ºÍ´¦Àíÿһ´Îµã»÷
2£© ÈçºÎʵÏÖ¶Ôº£Á¿Êý¾ÝµÄʵʱ·ÖÎö¡£ÎªÁ˼à¿Ø¹ã¸æͶ·ÅЧ¹û£¬ÏµÍ³ÐèҪʵʱ¶ÔÓû§µÄÿһ´Îµã»÷ºÍ¼¤»îÊý¾Ý½øÐзÖÎö£¬Í¬Ê±°ÑÏà¹ØÊý¾Ý´«Êäµ½ÏÂÓεÄýÌ壻
3£© ƽ̨µÄÊý¾ÝÁ¿ÔÚ¼±¾çÔö³¤£¬Ã¿ÌìµÄÒµÎñÈÕÖ¾Êý¾ÝÔÚ³ÖÐøµÄ²úÉúºÍÉÏ´«£¬Æع⡢µã»÷¡¢ÍÆË͵ÄÊý¾ÝÔÚ³ÖÐø´¦Àí£¬Ã¿ÌìÐÂÔöµÄÊý¾ÝÁ¿ÒѾÔÚ10-50TB×óÓÒ£¬¶ÔÕû¸öÊý¾Ý´¦ÀíϵͳÌá³öÁ˸ü¸ßµÄÒªÇó¡£ÈçºÎ¸ßЧµØÍê³É¶Ô¹ã¸æÊý¾ÝµÄÀëÏß/½üʵʱͳ¼Æ£¬°´ÕÕ¹ã¸æ¿Í»§µÄά¶ÈÒªÇó½øÐоۺϷÖÎö¡£
Õë¶ÔÉÏÊöÈýµãÒµÎñÌôÕ½£¬Í¬Ê±DGÕâ¸ö¿Í»§ÈÕÔöÁ¿Êý¾ÝÕýÔÚ¼±¾ç±ä´ó£¨µ±Ç°ÈÕÊý¾ÝɨÃèÁ¿´ïµ½100+TB£©£¬¼ÌÐøÔÚAWSƽ̨ʹÓÃÓöµ½Athena¶ÁÈ¡S3Êý¾Ý´ø¿íÆ¿¾±¡¢Êý¾Ý·ÖÎöÖͺóʱ¼äÔ½À´Ô½³¤¡¢ÎªÓ¦¶ÔÊý¾ÝºÍ·ÖÎöÐèÇóÔö³¤¶ø¼±¾çÅÊÉýµÄͶÈë³É±¾µÈ£¬¾¹ýÈÏÕæ¡¢×ÐϸµÄ²âÊԺͷÖÎö£¬×îÖÕ¾ö¶¨´ÓAWSÔÆƽ̨ȫÁ¿°áÕ¾µ½°¢ÀïÔÆƽ̨£¬Ð¼ܹ¹Í¼ÈçÏ£º
ͼ16. ¸ÄÔìºóµÄ¹ã¸æÊý¾Ýºþ·½°¸¼Ü¹¹
´ÓAWS°áÕ¾µ½°¢ÀïÔƺó£¬ÎÒÃÇΪ¸Ã¿Í»§Éè¼ÆÁË¡°ÀûÓÃData Lake Analytics + OSS¡±¼«Ö·ÖÎöÄÜÁ¦À´Ó¦¶ÔÒµÎñ²¨·å²¨¹È¡£Ò»·½ÃæÇáËÉÓ¦¶ÔÀ´×ÔÆ·ÅÆ¿Í»§µÄÁÙʱ·ÖÎö¡£ÁíÒ»·½ÃæÀûÓÃData
Lake AnalyticsµÄÇ¿´ó¼ÆËãÄÜÁ¦£¬·ÖÎö°´Ô¡¢¼¾¶È¹ã¸æͶ·Å£¬¾«È·¼ÆËã³öÒ»¸öÆ·ÅÆÏÂÃæ»áÓжàÉÙ¸ö»î¶¯£¬Ã¿¸ö»î¶¯·ÖýÌ壬·ÖÊг¡£¬·ÖƵµÀ£¬·ÖDMPµÄͶ·ÅЧ¹û£¬½øÒ»²½ÔöÇ¿Á˼ӺÍÖÇÄÜÁ÷Á¿Æ½Ì¨ÎªÆ·ÅÆÓªÏú´øÀ´µÄÏúÊÛת»¯ÂÊ¡£²¢ÇÒÔÚ¹ã¸æͶ·ÅÓë·ÖÎöµÄ×ÜÓµÓгɱ¾ÉÏ£¬Data
Lake AnalyticsÌṩµÄServerlessµÄµ¯ÐÔ·þÎñΪ°´ÐèÊÕ·Ñ£¬²»ÐèÒª¹ºÂò¹Ì¶¨µÄ×ÊÔ´£¬ÍêÈ«ÆõºÏÒµÎñ³±Ï«´øÀ´µÄ×ÊÔ´²¨¶¯£¬Âú×㵯ÐԵķÖÎöÐèÇó£¬Í¬Ê±¼«´óµØ½µµÍÁËÔËά³É±¾ºÍʹÓóɱ¾¡£
ͼ17 Êý¾Ýºþ²¿ÊðʾÒâͼ
×ÜÌåÉÏ£¬DG´ÓAWSÇл»µ½°¢ÀïÔƺ󣬼«´óµØ½ÚÊ¡ÁËÓ²¼þ³É±¾¡¢ÈËÁ¦³É±¾ºÍ¿ª·¢³É±¾¡£ÓÉÓÚ²ÉÓÃDLA serverlessÔÆ·þÎñ£¬DGÎÞÐèÏÈÆÚͶÈë´óÁ¿µÄ×ʽðÈ¥¹ºÂò·þÎñÆ÷¡¢´æ´¢µÈÓ²¼þÉ豸£¬Ò²ÎÞÐèÒ»´ÎÐÔ¹ºÂò´óÁ¿µÄÔÆ·þÎñ£¬Æä»ù´¡ÉèÊ©µÄ¹æÄ£ÍêÈ«ÊÇ°´ÐèÀ©Õ¹£ºÐèÇó¸ßµÄʱºòÔö¼Ó·þÎñÊýÁ¿£¬ÐèÇó¼õÉÙµÄʱºò¼õÉÙ·þÎñÊýÁ¿£¬Ìá¸ßÁË×ʽðµÄÀûÓÃÂÊ¡£Ê¹Óð¢ÀïÔÆƽ̨´øÀ´µÄµÚ¶þ¸öÏÔÖøºÃ´¦ÊÇÐÔÄܵÄÌáÉý¡£ÔÚDGÒµÎñµÄ¿ìËÙÔö³¤ÆÚÒÔ¼°ºóÐø¶àÌõÒµÎñÏß½ÓÈëÆÚ£¬DGÔÚÒƶ¯¹ã¸æϵͳµÄ·ÃÎÊÁ¿¾³£³Ê±¬·¢Ê½Ôö³¤£¬È»¶øÔÏÈAWS·½°¸ºÍƽ̨ÔÚAthena¶ÁÈ¡S3Êý¾ÝÓöµ½Êý¾Ý¶ÁÈ¡´ø¿íµÄ¼«´óÆ¿¾±£¬Êý¾Ý·ÖÎöµÄʱ¼ä±äµÃÔ½À´Ô½³¤£¬°¢ÀïÔÆDLAÁªºÏOSSÍŶӵȽøÐÐÁ˼«´óµÄÓÅ»¯ºÍ¸ÄÔ죬ͬʱ£¬DLAÊý¾Ý¿â·ÖÎöÔÚ¼ÆËãÒýÇæÉÏ£¨ÓëTPC-DS´ò°ñÊÀ½çµÚÒ»µÄAnalyticDB¹²Ïí¼ÆËãÒýÇ棩±ÈPrestoÔÉú¼ÆËãÒýÇæµÄÄÜÁ¦ÌáÉýÊýÊ®±¶ÐÔÄÜ£¬Ò²¼«´óµÄΪDGÌáÉýÁË·ÖÎöÐÔÄÜ¡£
5.2 ÓÎÏ·ÔËÓª·ÖÎö
Êý¾ÝºþÊÇÒ»ÀàTCO±íÏÖ¼«ÆäÓÅÐãµÄ´óÊý¾Ý»ù´¡ÉèÊ©¡£¶ÔÓںܶà¿ìËÙÔö³¤µÄÓÎÏ·¹«Ë¾¶øÑÔ£¬Ò»¸ö±¬¿îÓÎÏ·£¬ÍùÍùÔÚ¶ÌÆÚÄÚÏà¹ØÊý¾ÝÔö³¤¼«¿ì£»Í¬Ê±£¬¹«Ë¾µÄÑз¢ÈËÔ±µÄ¼¼ÊõÕ»ºÜÄÑÔÚ¶ÌÆÚÄÚÓëÊý¾ÝµÄÔöÁ¿ºÍÔöËÙ½øÐÐÆ¥Å䣻´Ëʱ£¬³Ê±¬·¢Ôö³¤µÄÊý¾ÝºÜÄѱ»ÓÐЧÀûÓá£Êý¾ÝºþÊÇÒ»¸ö½â¾ö´ËÀàÎÊÌâµÄ¼¼ÊõÑ¡Ôñ¡£
YJÊÇÒ»¼Ò¸ßËٳɳ¤µÄÓÎÏ·¹«Ë¾£¬¹«Ë¾Ï£ÍûÄÜÒÀÍÐÏà¹ØÓû§ÐÐΪÊý¾Ý½øÐÐÉîÈë·ÖÎö£¬Ö¸µ¼ÓÎÏ·µÄ¿ª·¢ºÍÔËÓª¡£Êý¾Ý·ÖÎö±³ºóµÄºËÐÄÂß¼ÔÚÓÚËæ×ÅÓÎÏ·ÐÐÒµÊг¡¾ºÕù¾ÖÃæµÄÀ©´ó£¬Íæ¼Ò¶ÔÓÚÆ·ÖʵÄÒªÇóÔ½À´Ô½¸ß£¬ÓÎÏ·ÏîÄ¿µÄÉúÃüÖÜÆÚÔ½À´Ô½¶Ì£¬Ö±½ÓÓ°ÏìÏîÄ¿µÄͶÈë²ú³ö±È£¬Í¨¹ýÊý¾ÝÔËÓªÔò¿ÉÒÔÓÐЧµÄÑÓ³¤ÏîÄ¿µÄÉúÃüÖÜÆÚ£¬¶Ô¸÷¸ö½×¶ÎµÄÒµÎñ×ßÏò½øÐо«×¼°Ñ¿Ø¡£¶øËæ×ÅÁ÷Á¿³É±¾µÄÈÕÒæÉÏÉý£¬ÈçºÎ¹¹½¨¾¼Ã¡¢¸ßЧµÄ¾«Ï¸»¯Êý¾ÝÔËÓªÌåϵ£¬ÒÔ¸üºÃµÄÖ§³ÅÒµÎñ·¢Õ¹£¬Ò²±äµÃÓú·¢ÖØÒªÆðÀ´¡£Êý¾ÝÔËÓªÌåϵ¾ÍÐèÒªÓÐÆäÅäÌ׵Ļù´¡Ö§³ÅÉèÊ©£¬ÈçºÎÑ¡ÔñÕâÀà»ù´¡Ö§³ÅÉèÊ©£¬Êǹ«Ë¾¼¼Êõ¾ö²ßÕßÐèҪ˼¿¼µÄÎÊÌ⡣˼¿¼µÄ³ö·¢µã°üÀ¨£º
1£© ÒªÓÐ×ã¹»µÄµ¯ÐÔ¡£¶ÔÓÚÓÎÏ·¶øÑÔ£¬ÍùÍù¾ÍÊǶÌʱ¼ä±¬·¢£¬Êý¾ÝÁ¿¼¤Ôö£»Òò´Ë£¬ÄÜ·ñÊÊÓ¦Êý¾ÝµÄ±¬·¢ÐÔÔö³¤£¬Âú×㵯ÐÔÐèÇóÊÇÒ»¸öÖص㿼Á¿µÄµã£»ÎÞÂÛÊǼÆË㻹ÊÇ´æ´¢£¬¶¼ÐèÒª¾ß±¸×ã¹»µÄµ¯ÐÔ¡£
2£© ÒªÓÐ×ã¹»µÄÐԼ۱ȡ£¶ÔÓÚÓû§ÐÐΪÊý¾Ý£¬ÍùÍùÐèÒªÀµ½Ò»¸öºÜ³¤µÄÖÜÆÚÈ¥·ÖÎöÈ¥¶Ô±È£¬±ÈÈçÁô´æÂÊ£¬²»ÉÙÇé¿öÏÂÐèÒª¿¼ÂÇ90ÌìÉõÖÁ180Ìì¿Í»§µÄÁô´æÂÊ£»Òò´Ë£¬ÈçºÎÒÔ×î¾ßÐԼ۱ȵķ½Ê½³¤ÆÚ´æ´¢º£Á¿Êý¾ÝÊÇÐèÒªÖص㿼ÂǵÄÎÊÌâ¡£
3£© ÒªÓй»ÓõķÖÎöÄÜÁ¦£¬ÇҾ߱¸¿ÉÀ©Õ¹ÐÔ¡£Ðí¶àÇé¿öÏ£¬Óû§ÐÐΪÌåÏÖÔÚÂñµãÊý¾ÝÖУ¬ÂñµãÊý¾ÝÓÖÐèÒªÓëÓû§×¢²áÐÅÏ¢¡¢µÇ½ÐÅÏ¢¡¢Õ˵¥µÈ½á¹¹»¯Êý¾Ý¹ØÁª·ÖÎö£»Òò´Ë£¬ÔÚÊý¾Ý·ÖÎöÉÏ£¬ÖÁÉÙÐèÒªÓдóÊý¾ÝµÄETLÄÜÁ¦¡¢Òì¹¹Êý¾ÝÔ´µÄ½ÓÈëÄÜÁ¦ºÍ¸´ÔÓ·ÖÎöµÄ½¨Ä£ÄÜÁ¦¡£
4£© ÒªÓ빫˾ÏÖÓм¼ÊõÕ»ÏàÆ¥Å䣬ÇÒºóÐøÀûÓÚÕÐƸ¡£¶ÔÓÚYJ£¬ÆäÔÚ¼¼ÊõÑ¡Ð͵ÄʱºòÒ»¸öÖØÒªµã¾ÍÊÇÆä¼¼ÊõÈËÔ±µÄ¼¼ÊõÕ»£¬YJµÄ¼¼ÊõÍŶӴ󲿷ÖÖ»ÊìϤ´«Í³µÄÊý¾Ý¿â¿ª·¢£¬¼´MySQL£»²¢ÇÒÈËÊÖ½ôÕÅ£¬×öÊý¾ÝÔËÓª·ÖÎöµÄ¼¼ÊõÈËÔ±Ö»ÓÐ1¸ö£¬¶Ìʱ¼äÄÚ¸ù±¾Ã»ÓÐÄÜÁ¦¶ÀÁ¢¹¹½¨´óÊý¾Ý·ÖÎöµÄ»ù´¡ÉèÊ©¡£´ÓYJµÄ½Ç¶È³ö·¢£¬×îºÃ¾ø´ó¶àÊý·ÖÎöÄܹ»Í¨¹ýSQLÍê³É£»²¢ÇÒÔÚÕÐƸÊг¡ÉÏ£¬SQL¿ª·¢ÈËÔ±µÄÊýÁ¿Ò²Ô¶¸ßÓÚ´óÊý¾Ý¿ª·¢¹¤³ÌʦµÄÊýÁ¿¡£Õë¶Ô¿Í»§µÄÇé¿ö£¬ÎÒÃÇ°ïÖú¿Í»§¶ÔÏÖÓз½°¸×öÁ˸ÄÔì¡£
ͼ18. ¸ÄÔìÇ°µÄ·½°¸
¸ÄÔìÇ°£¬¿Í»§ËùÓеĽṹ»¯Êý¾Ý¶¼ÔÚÒ»¸ö¸ß¹æ¸ñµÄMySQLÀïÃ棻¶øÍæ¼ÒÐÐΪÊý¾ÝÔòÊÇͨ¹ýLogTail²É¼¯ÖÁÈÕÖ¾·þÎñ£¨SLS£©ÖУ¬È»ºó´ÓÈÕÖ¾·þÎñÖзֱðͶµÝµ½OSSºÍESÀï¡£Õâ¸ö¼Ü¹¹µÄÎÊÌâÔÚÓÚ£º1£©ÐÐΪÊý¾ÝºÍ½á¹¹»¯Êý¾ÝÍêÈ«¸îÁÑ£¬ÎÞ·¨Áª¶¯·ÖÎö£»2£©¶ÔÓÚÐÐΪÊý¾ÝÖÇÄÜÌṩ¼ìË÷¹¦ÄÜ£¬ÎÞ·¨×öÉî²ã´ÎµÄÍÚ¾ò·ÖÎö£»3£©OSS½ö½ö×÷ΪÊý¾Ý´æ´¢×ÊԴʹÓ㬲¢Ã»ÓÐÍÚ¾ò³ö×ã¹»µÄÊý¾Ý¼ÛÖµ¡£
ÊÂʵÉÏ£¬ÎÒÃÇ·ÖÎö¿Í»§ÏÖ´æ¼Ü¹¹ÆäʵÒѾ¾ß±¸ÁËÊý¾ÝºþµÄ³ûÐΣºÈ«Á¿Êý¾ÝÒѾÔÚOSSÖб£´æÏÂÀ´ÁË£¬ÏÖÔÚÐèÒª½øÒ»²½²¹Æë¿Í»§¶ÔÓÚOSSÖеÄÊý¾ÝµÄ·ÖÎöÄÜÁ¦¡£¶øÇÒÊý¾Ýºþ»ùÓÚSQLµÄÊý¾Ý´¦ÀíģʽҲÂú×ã¿Í»§¶ÔÓÚ¿ª·¢¼¼ÊõÕ»µÄÐèÇó¡£×ÛÉÏ£¬ÎÒÃǶԿͻ§µÄ¼Ü¹¹×öÁËÈçϵ÷Õû£¬°ïÖú¿Í»§¹¹½¨ÁËÊý¾Ýºþ¡£
ͼ19. ¸ÄÔìºóµÄÊý¾Ýºþ½â¾ö·½°¸
×ÜÌåÉÏ£¬ÎÒÃÇûÓиıä¿Í»§µÄÊý¾ÝÁ´Â·Á÷ת£¬Ö»ÊÇÔÚOSSµÄ»ù´¡ÉÏ£¬Ôö¼ÓÁËDLA×é¼þ£¬¶ÔOSSµÄÊý¾Ý½øÐжþ´Î¼Ó¹¤´¦Àí¡£DLAÌṩÁ˱ê×¼SQL¼ÆËãÒýÇ棬ͬʱ֧³Ö½ÓÈë¸÷ÀàÒì¹¹Êý¾ÝÔ´¡£»ùÓÚDLA¶ÔOSSµÄÊý¾Ý½øÐд¦Àíºó£¬Éú³ÉÒµÎñÖ±½Ó¿ÉÓõÄÊý¾Ý¡£µ«ÊÇDLAµÄÎÊÌâÔÚÓÚÎÞ·¨Ö§³ÅµÍÑÓ³ÙÐèÇóµÄ½»»¥Ê½·ÖÎö³¡¾°£¬ÎªÁ˽â¾öÕâ¸öÎÊÌ⣬ÎÒÃÇÒýÈëÁËÔÆÔÉúÊý¾Ý²Ö¿âADBÀ´½â¾ö½»»¥Ê½·ÖÎöµÄÑÓ³ÙÐÔÎÊÌ⣻ͬʱ£¬ÔÚ×îÇ°¶ËÒýÈëQuickBI×÷Ϊ¿Í»§µÄ¿ÉÊÓ»¯·ÖÎö¹¤¾ß¡£YJ·½°¸ÊÇͼ14ËùʾµÄºþ²ÖÒ»Ì廯½â¾ö·½°¸ÔÚÓÎÏ·ÐÐÒµµÄÒ»¸ö¾µäÂäµØ°¸Àý¡£
YMÊÇÒ»¼ÒÊý¾ÝÖÇÄÜ·þÎñÌṩÉÌ£¬ÃæÏò¸÷ÀàÖÐСÉ̼ÒÌṩһϵÁÐÊý¾Ý·ÖÎöÔËÓª·þÎñ¡£¾ßÌåʵÏֵļ¼ÊõÂß¼ÈçÏÂͼËùʾ¡£
ͼ20. YMÖÇÄÜÊý¾Ý·þÎñSaaSģʽʾÒâ
ƽ̨·½Ìṩ¶à¶ËSDK¹©Óû§£¨É̼ÒÌṩÍøÒ³¡¢APP¡¢Ð¡³ÌÐòµÈ¶àÖÖ½ÓÈëÐÎʽ£©½ÓÈë¸÷ÀàÂñµãÊý¾Ý£¬Æ½Ì¨·½ÒÔSaaSµÄÐÎʽÌṩͳһµÄÊý¾Ý½ÓÈë·þÎñºÍÊý¾Ý·ÖÎö·þÎñ¡£É̼Òͨ¹ý·ÃÎʸ÷ÀàÊý¾Ý·ÖÎö·þÎñÀ´½øÐиüϸÁ£¶ÈµÄÂñµãÊý¾Ý·ÖÎö£¬Íê³ÉÐÐΪͳ¼Æ¡¢¿Í»§»Ïñ¡¢¿Í»§È¦Ñ¡¡¢¹ã¸æͶ·Å¼à²âµÈ»ù±¾·ÖÎö¹¦ÄÜ¡£È»¶ø£¬ÕâÖÖSaaSģʽÏ£¬»á´æÔÚÒ»¶¨µÄÎÊÌ⣺
1£© ÓÉÓÚÉ̼ÒÀàÐͺÍÐèÇóµÄ¶àÑù»¯£¬Æ½Ì¨ÌṩSaaSÀà·ÖÎö¹¦ÄܺÜÄѸ²¸ÇËùÓÐÀàÐ͵ÄÉ̼ң¬ÎÞ·¨Âú×ãÉ̼ҵĶ¨ÖÆ»¯ÐèÇó£»ÈçÓÐЩÉ̼ҹØ×¢ÏúÁ¿£¬ÓÐЩ¹Ø×¢¿Í»§ÔËÓª£¬ÓÐЩ¹Ø×¢³É±¾ÓÅ»¯£¬ºÜÄÑÂú×ãËùÓеÄÐèÇó¡£
2£© ¶ÔÓÚһЩ¸ß¼¶·ÖÎö¹¦ÄÜ£¬ÈçÒÀÀµÓÚ×Ô¶¨Òå±êÇ©µÄ¿Í»§È¦Ñ¡¡¢¿Í»§×Ô¶¨ÒåÀ©Õ¹µÈ¹¦ÄÜ£¬Í³Ò»µÄÊý¾Ý·ÖÎö·þÎñÎÞ·¨Âú×ãµÄ£»ÌرðÊÇһЩ×Ô¶¨ÒåµÄ±êÇ©ÒÀÀµÓÚÉ̼Ò×Ô¶¨ÒåµÄËã·¨£¬ÎÞ·¨Âú×ã¿Í»§µÄ¸ß¼¶·ÖÎöÐèÇó¡£
3£© Êý¾ÝµÄ×ʲú»¯¹ÜÀíÐèÇó¡£ÔÚ´óÊý¾Ýʱ´ú£¬Êý¾ÝÊÇÒ»¸öÆóÒµ/×éÖ¯µÄ×ʲúÒѾ³ÉΪÁË´ó¼ÒµÄ¹²Ê¶£¬ÈçºÎÄÜÈÃÊôÓÚÉ̼ҵÄÊý¾ÝºÏÀí¡¢³¤ÆڵijÁµíÏÂÀ´£¬Ò²ÊÇSaaS·þÎñÐèÒª¿¼ÂǵÄÊÂÇé¡£
×ÛÉÏ£¬ÎÒÃÇÔÚÉÏͼµÄ»ù±¾Ä£Ê½ÉÏÒýÈëÁËÊý¾Ýºþģʽ£¬ÈÃÊý¾Ýºþ×÷ΪÉ̼ҳÁµíÊý¾Ý¡¢²ú³öÄ£ÐÍ¡¢·ÖÎöÔËÓªµÄ»ù´¡Ö§³ÅÉèÊ©¡£ÒýÈëÊý¾ÝºþºóµÄSaaSÊý¾ÝÖÇÄÜ·þÎñģʽÈçÏ¡£
ͼ21. »ùÓÚÊý¾ÝºþµÄÊý¾ÝÖÇÄÜ·þÎñ
Èçͼ21Ëùʾ£¬Æ½Ì¨·½ÎªÃ¿¸öÓû§Ìṩһ¼ü½¨ºþ·þÎñ£¬É̼ÒʹÓøù¦Äܹ¹½¨×Ô¼ºµÄÊý¾Ýºþ£¬¡°Ò»¼ü½¨ºþ¡±ÄÜÁ¦Ò»·½Ãæ°ïÖúÉ̼ҽ«ËùÓÐÂñµãÊý¾ÝµÄÊý¾ÝÄ£ÐÍ£¨schema£©Í¬²½ÖÁÊý¾ÝºþÖУ»ÁíÒ»·½Ã棬½«ÊôÓÚ¸ÃÉ̼ҵÄËùÓÐÂñµãÊý¾ÝÈ«Á¿Í¬²½ÖÁÊý¾ÝºþÖУ¬²¢»ùÓÚ¡°T+1¡±µÄģʽ£¬½«Ã¿ÌìµÄÔöÁ¿Êý¾Ý¹éµµÈëºþ¡£»ùÓÚÊý¾ÝºþµÄ·þÎñģʽÔÚ´«Í³µÄÊý¾Ý·ÖÎö·þÎñµÄ»ù´¡ÉÏ£¬¸³ÓèÁËÓû§Êý¾Ý×ʲú»¯¡¢·ÖÎöÄ£ÐÍ»¯ºÍ·þÎñ¶¨ÖÆ»¯Èý´óÄÜÁ¦£º
1£© Êý¾Ý×ʲú»¯ÄÜÁ¦¡£ÀûÓÃÊý¾Ýºþ£¬É̼ҿÉÒÔ½«ÊôÓÚ×Ô¼ºµÄÊý¾Ý³ÖÐø³ÁµíÏÂÀ´£¬±£´æ¶à³¤Ê±¼äµÄÊý¾Ý£¬ºÄ·Ñ¶àÉٳɱ¾£¬ÍêÈ«ÓÉÉ̼Ò×ÔÖ÷¾ö¶¨¡£Êý¾Ýºþ»¹ÌṩÁËÊý¾Ý×ʲú¹ÜÀíÄÜÁ¦£¬É̼ҳýÁËÄܹÜÀíÔʼÊý¾ÝÍ⣬»¹Äܽ«´¦Àí¹ýµÄ¹ý³ÌÊý¾ÝºÍ½á¹ûÊý¾Ý·ÖÃűðÀà±£´æ£¬¼«´óµÄÌáÉýÁËÂñµãÊý¾ÝµÄ¼ÛÖµ¡£
2£© ·ÖÎöÄ£ÐÍ»¯ÄÜÁ¦¡£Êý¾ÝºþÖв»½ö½öÓÐÔʼÊý¾Ý£¬»¹ÓÐÂñµãÊý¾ÝµÄÄ£ÐÍ£¨schema£©¡£ÂñµãÊý¾ÝÄ£ÐÍÌåÏÖÁËÈ«ÓòÊý¾ÝÖÇÄÜ·þÎñƽ̨¶ÔÓÚÒµÎñÂß¼µÄ³éÏó£¬Í¨¹ýÊý¾Ýºþ£¬³ýÁ˽«ÔʼÊý¾Ý×÷Ϊ×ʲúÊä³öÍ⣬»¹½«Êý¾ÝÄ£ÐͽøÐÐÁËÊä³ö£¬½èÖúÂñµãÊý¾ÝÄ£ÐÍ£¬É̼ҿÉÒÔ¸üÉîÈëµÄÀí½âÂñµãÊý¾Ý±³ºóËùÌåÏÖµÄÓû§ÐÐΪÂß¼£¬°ïÖúÉ̼ҸüºÃµÄ¶´²ì¿Í»§ÐÐΪ£¬»ñÈ¡Óû§ÐèÇó¡£
3£© ·þÎñ¶¨ÖÆ»¯ÄÜÁ¦¡£½èÖúÊý¾ÝºþÌṩµÄÊý¾Ý¼¯³ÉºÍÊý¾Ý¿ª·¢ÄÜÁ¦£¬»ùÓÚ¶ÔÂñµãÊý¾ÝÄ£Ð͵ÄÀí½â£¬É̼ҿÉÒÔ¶¨ÖÆÊý¾Ý´¦Àí¹ý³Ì£¬²»¶Ï¶ÔÔʼÊý¾Ý½øÐеü´ú¼Ó¹¤£¬´ÓÊý¾ÝÖÐÌáÁ¶ÓмÛÖµµÄÐÅÏ¢£¬×îÖÕ»ñµÃ³¬Ô½ÔÓÐÊý¾Ý·ÖÎö·þÎñµÄ¼ÛÖµ¡£
Áù¡¢Êý¾Ýºþ½¨ÉèµÄ»ù±¾¹ý³Ì
¸öÈËÈÏΪÊý¾ÝºþÊDZȴ«Í³´óÊý¾Ýƽ̨¸üΪÍêÉƵĴóÊý¾Ý´¦Àí»ù´¡Ö§³ÅÉèÊ©£¬ÍêÉÆÔÚÊý¾ÝºþÊǸüÌù½ü¿Í»§ÒµÎñµÄ¼¼Êõ´æÔÚ¡£ËùÓÐÊý¾ÝºþËù°üÀ¨µÄ¡¢ÇÒ³¬³ö´óÊý¾Ýƽ̨´æÔÚµÄÌØÐÔ£¬ÀýÈçÔªÊý¾Ý¡¢Êý¾Ý×ʲúĿ¼¡¢È¨ÏÞ¹ÜÀí¡¢Êý¾ÝÉúÃüÖÜÆÚ¹ÜÀí¡¢Êý¾Ý¼¯³ÉºÍÊý¾Ý¿ª·¢¡¢Êý¾ÝÖÎÀíºÍÖÊÁ¿¹ÜÀíµÈ£¬ÎÞÒ»²»ÊÇΪÁ˸üºÃµÄÌù½üÒµÎñ£¬¸üºÃµÄ·½±ã¿Í»§Ê¹Óá£Êý¾ÝºþËùÇ¿µ÷µÄһЩ»ù±¾µÄ¼¼ÊõÌØÐÔ£¬ÀýÈ絯ÐÔ¡¢´æ´¢¼ÆËã¶ÀÁ¢À©Õ¹¡¢Í³Ò»µÄ´æ´¢ÒýÇæ¡¢¶àģʽ¼ÆËãÒýÇæµÈµÈ£¬Ò²ÊÇΪÁËÂú×ãÒµÎñÐèÇ󣬲¢ÇÒ¸øÒµÎñ·½Ìṩ×î¾ßÐԼ۱ȵÄTCO¡£
Êý¾ÝºþµÄ½¨Éè¹ý³ÌÓ¦¸ÃÓëÒµÎñ½ôÃܽáºÏ£»µ«ÊÇÊý¾ÝºþµÄ½¨Éè¹ý³ÌÓ봫ͳµÄÊý¾Ý²Ö¿â£¬ÉõÖÁÊÇ´óÈȵÄÊý¾ÝÖÐ̨Ӧ¸ÃÊÇÓÐËùÇø±ðµÄ¡£Çø±ðÔÚÓÚ£¬Êý¾ÝºþÓ¦¸ÃÒÔÒ»ÖÖ¸üÃô½ÝµÄ·½Ê½È¥¹¹½¨£¬¡°±ß½¨±ßÓ㬱ßÓñßÖÎÀí¡±¡£ÎªÁ˸üºÃµÄÀí½âÊý¾Ýºþ½¨ÉèµÄÃô½ÝÐÔ£¬ÎÒÃÇÏÈÀ´¿´Ò»Ï´«Í³Êý²ÖµÄ¹¹½¨¹ý³Ì¡£Òµ½ç¶ÔÓÚ´«Í³Êý²ÖµÄ¹¹½¨Ìá³öÁË¡°×Ô϶øÉÏ¡±ºÍ¡°×Ô¶¥¶øÏ¡±Á½ÖÖģʽ£¬·Ö±ðÓÉInmonºÍKimBallÁ½Î»´óÅ£Ìá³ö¡£¾ßÌåµÄ¹ý³Ì¾Í²»ÏêÊöÁË£¬²»È»¿ÉÒÔÔÙд³ö¼¸°ÙÒ³£¬ÕâÀïÖ»¼òµ¥²ûÊö»ù±¾Ë¼Ïë¡£
1£©InmonÌá³ö×Ô϶øÉÏ£¨EDW-DM£©µÄÊý¾Ý²Ö¿â½¨Éèģʽ£¬¼´²Ù×÷ÐÍ»òÊÂÎñÐÍϵͳµÄÊý¾ÝÔ´£¬Í¨¹ýETL³éȡת»»ºÍ¼ÓÔص½Êý¾Ý²Ö¿âµÄODS²ã£»ODS²ãÖеÄÊý¾Ý£¬¸ù¾ÝÔ¤ÏÈÉè¼ÆºÃµÄEDW£¨ÆóÒµ¼¶Êý¾Ý²Ö¿â£©·¶Ê½½øÐмӹ¤´¦Àí£¬È»ºó½øÈëµ½EDW¡£EDWÒ»°ãÊÇÆóÒµ/×éÖ¯µÄͨÓÃÊý¾ÝÄ£ÐÍ£¬²»·½±ãÉϲãÓ¦ÓÃÖ±½Ó×öÊý¾Ý·ÖÎö£»Òò´Ë£¬¸÷¸öÒµÎñ²¿ÃÅ»áÔٴθù¾Ý×Ô¼ºµÄÐèÒª£¬´ÓEDWÖд¦Àí³öÊý¾Ý¼¯Êв㣨DM£©¡£
ÓÅÊÆ£ºÒ×ÓÚά»¤£¬¸ß¶È¼¯³É£»ÁÓÊÆ£º½á¹¹Ò»µ©È·¶¨£¬Áé»îÐÔ²»×㣬ÇÒΪÁËÊÊÓ¦ÒµÎñ£¬²¿ÊðÖÜÆڽϳ¤¡£´ËÀ෽ʽ¹¹ÔìµÄÊý²Ö£¬ÊʺÏÓڱȽϳÉÊìÎȶ¨µÄÒµÎñ£¬ÀýÈç½ðÈÚ¡£
2£©KimBallÌá³ö×Ô¶¥¶øÏ£¨DM-DW£©µÄÊý¾Ý¼Ü¹¹£¬Í¨¹ý½«²Ù×÷ÐÍ»òÊÂÎñÐÍϵͳµÄÊý¾ÝÔ´£¬³éÈ¡»ò¼ÓÔص½ODS²ã£»È»ºóͨ¹ýODSµÄÊý¾Ý£¬ÀûÓÃά¶È½¨Ä£·½·¨½¨Éè¶àάÖ÷ÌâÊý¾Ý¼¯ÊУ¨DM£©¡£¸÷¸öDM£¬Í¨¹ýÒ»ÖÂÐÔµÄά¶ÈÁªÏµÔÚÒ»Æð£¬×îÖÕÐγÉÆóÒµ/×é֯ͨÓõÄÊý¾Ý²Ö¿â¡£
ÓÅÊÆ£º¹¹½¨Ñ¸ËÙ£¬×î¿ìµÄ¿´µ½Í¶×ʻر¨ÂÊ£¬Ãô½ÝÁé»î£»ÁÓÊÆ£º×÷ΪÆóÒµ×ÊÔ´²»Ì«ºÃά»¤£¬½á¹¹¸´ÔÓ£¬Êý¾Ý¼¯Êм¯³ÉÀ§ÄÑ¡£³£Ó¦ÓÃÓÚÖÐСÆóÒµ»ò»¥ÁªÍøÐÐÒµ¡£
ÆäʵÉÏÊöÖ»ÊÇÒ»¸öÀíÂÛÉϵĹý³Ì£¬ÆäʵÎÞÂÛÊÇÏȹ¹ÔìEDW£¬»¹ÊÇÏȹ¹ÔìDM£¬¶¼Àë²»¿ª¶ÔÓÚÊý¾ÝµÄÃþµ×£¬ÒÔ¼°ÔÚÊý²Ö¹¹½¨Ö®Ç°µÄÊý¾ÝÄ£Ð͵ÄÉè¼Æ£¬°üÀ¨µ±Ç°´óÈȵġ°Êý¾ÝÖÐ̨¡±£¬¶¼ÌÓ²»³öÏÂͼËùʾµÄ»ù±¾½¨Éè¹ý³Ì¡£
ͼ22. Êý¾Ý²Ö¿â/Êý¾ÝÖÐ̨½¨Éè»ù±¾Á÷³Ì
1£© Êý¾ÝÃþµ×¡£¶ÔÓÚÒ»¸öÆóÒµ/×éÖ¯¶øÑÔ£¬ÔÚ¹¹½¨Êý¾Ýºþ³õʼ¹¤×÷¾ÍÊǶÔ×Ô¼ºÆóÒµ/×éÖ¯ÄÚ²¿µÄÊý¾Ý×öÒ»¸öÈ«ÃæµÄÃþµ×ºÍµ÷ÑУ¬°üÀ¨Êý¾ÝÀ´Ô´¡¢Êý¾ÝÀàÐÍ¡¢Êý¾ÝÐÎ̬¡¢Êý¾Ýģʽ¡¢Êý¾Ý×ÜÁ¿¡¢Êý¾ÝÔöÁ¿µÈ¡£ÔÚÕâ¸ö½×¶ÎÒ»¸öÒþº¬µÄÖØÒª¹¤×÷ÊǽèÖúÊý¾ÝÃþµ×¹¤×÷£¬½øÒ»²½ÊáÀíÆóÒµµÄ×éÖ¯½á¹¹£¬Ã÷È·Êý¾ÝºÍ×éÖ¯½á¹¹Ö®¼ä¹Øϵ¡£ÎªºóÐøÃ÷È·Êý¾ÝºþµÄÓû§½ÇÉ«¡¢È¨ÏÞÉè¼Æ¡¢·þÎñ·½Ê½µì¶¨»ù´¡¡£
2£© Ä£ÐͳéÏó¡£Õë¶ÔÆóÒµ/×éÖ¯µÄÒµÎñÌصãÊáÀí¹éÀà¸÷ÀàÊý¾Ý£¬¶ÔÊý¾Ý½øÐÐÁìÓò»®·Ö£¬ÐγÉÊý¾Ý¹ÜÀíµÄÔªÊý¾Ý£¬Í¬Ê±»ùÓÚÔªÊý¾Ý£¬¹¹½¨Í¨ÓõÄÊý¾ÝÄ£ÐÍ¡£
3£© Êý¾Ý½ÓÈë¡£¸ù¾ÝµÚÒ»²½µÄÃþÅŽá¹û£¬È·¶¨Òª½ÓÈëµÄÊý¾ÝÔ´¡£¸ù¾ÝÊý¾ÝÔ´£¬È·¶¨Ëù±ØÐëµÄÊý¾Ý½ÓÈë¼¼ÊõÄÜÁ¦£¬Íê³ÉÊý¾Ý½ÓÈë¼¼ÊõÑ¡ÐÍ£¬½ÓÈëµÄÊý¾ÝÖÁÉÙ°üÀ¨£ºÊý¾ÝÔ´ÔªÊý¾Ý¡¢ÔʼÊý¾ÝÔªÊý¾Ý¡¢ÔʼÊý¾Ý¡£¸÷ÀàÊý¾Ý°´ÕÕµÚ¶þ²½ÐγɵĽá¹û£¬·ÖÀà´æ·Å¡£
4£© ÈÚºÏÖÎÀí¡£¼òµ¥À´Ëµ¾ÍÊÇÀûÓÃÊý¾ÝºþÌṩµÄ¸÷Àà¼ÆËãÒýÇæ¶ÔÊý¾Ý½øÐмӹ¤´¦Àí£¬Ðγɸ÷ÀàÖмäÊý¾Ý/½á¹ûÊý¾Ý£¬²¢Í×ÉƹÜÀí±£´æ¡£Êý¾ÝºþÓ¦¸Ã¾ß±¸ÍêÉƵÄÊý¾Ý¿ª·¢¡¢ÈÎÎñ¹ÜÀí¡¢ÈÎÎñµ÷¶ÈµÄÄÜÁ¦£¬Ïêϸ¼Ç¼Êý¾ÝµÄ´¦Àí¹ý³Ì¡£ÔÚÖÎÀíµÄ¹ý³ÌÖУ¬»áÐèÒª¸ü¶àµÄÊý¾ÝÄ£ÐͺÍÖ¸±êÄ£ÐÍ¡£
5£© ÒµÎñÖ§³Å¡£ÔÚͨÓÃÄ£ÐÍ»ù´¡ÉÏ£¬¸÷¸öÒµÎñ²¿ÃŶ¨ÖÆ×Ô¼ºµÄϸ»¯Êý¾ÝÄ£ÐÍ¡¢Êý¾ÝʹÓÃÁ÷³Ì¡¢Êý¾Ý·ÃÎÊ·þÎñ¡£
ÉÏÊö¹ý³Ì£¬¶ÔÓÚÒ»¸ö¿ìËٳɳ¤µÄ»¥ÁªÍøÆóÒµÀ´Ëµ£¬Ì«ÖØÁË£¬ºÜ¶àÇé¿öÏÂÊÇÎÞ·¨ÂäµØµÄ£¬×îÏÖʵµÄÎÊÌâ¾ÍÊǵڶþ²½Ä£ÐͳéÏ󣬺ܶàÇé¿öÏ£¬ÒµÎñÊÇÔÚÊÔ´í¡¢ÔÚ̽Ë÷£¬¸ù±¾²»Çå³þδÀ´µÄ·½ÏòÔÚÄÄÀҲ¾Í¸ù±¾²»¿ÉÄÜÌáÁ¶³öͨÓõÄÊý¾ÝÄ£ÐÍ£»Ã»ÓÐÊý¾ÝÄ£ÐÍ£¬ºóÃæµÄÒ»ÇвÙ×÷Ò²¾ÍÎÞ´Ó̸Æð£¬ÕâÒ²ÊǺܶà¸ßËٳɳ¤µÄÆóÒµ¾õµÃÊý¾Ý²Ö¿â/Êý¾ÝÖÐ̨ÎÞ·¨ÂäµØ¡¢ÎÞ·¨Âú×ãÐèÇóµÄÖØÒªÔÒòÖ®Ò»¡£
Êý¾ÝºþÓ¦¸ÃÊÇÒ»ÖÖ¸üΪ¡°Ãô½Ý¡±µÄ¹¹½¨·½Ê½£¬ÎÒÃǽ¨Òé²ÉÓÃÈçϲ½ÖèÀ´¹¹½¨Êý¾Ýºþ¡£
ͼ23. Êý¾Ýºþ½¨Éè»ù±¾Á÷³Ì
¶Ô±Èͼ22£¬ÒÀÈ»ÊÇÎå²½£¬µ«ÊÇÕâÎå²½ÊÇÒ»¸öÈ«ÃæµÄ¼ò»¯ºÍ¡°¿ÉÂäµØ¡±µÄ¸Ä½ø¡£
1£© Êý¾ÝÃþµ×¡£ÒÀÈ»ÐèÒªÃþÇå³þÊý¾ÝµÄ»ù±¾Çé¿ö£¬°üÀ¨Êý¾ÝÀ´Ô´¡¢Êý¾ÝÀàÐÍ¡¢Êý¾ÝÐÎ̬¡¢Êý¾Ýģʽ¡¢Êý¾Ý×ÜÁ¿¡¢Êý¾ÝÔöÁ¿¡£µ«ÊÇ£¬Ò²¾ÍÐèÒª×öÕâô¶àÁË¡£Êý¾ÝºþÊǶÔÔʼÊý¾Ý×öÈ«Á¿±£´æ£¬Òò´ËÎÞÐèÊÂÏȽøÐÐÉî²ã´ÎµÄÉè¼Æ¡£
2£© ¼¼ÊõÑ¡ÐÍ¡£¸ù¾ÝÊý¾ÝÃþµ×µÄÇé¿ö£¬È·¶¨Êý¾Ýºþ½¨ÉèµÄ¼¼ÊõÑ¡ÐÍ¡£ÊÂʵÉÏ£¬ÕâÒ»²½Ò²·Ç³£µÄ¼òµ¥£¬ÒòΪ¹ØÓÚÊý¾ÝºþµÄ¼¼ÊõÑ¡ÐÍ£¬Òµ½çÓкܶàµÄͨÐеÄ×ö·¨£¬»ù±¾ÔÔò¸öÈ˽¨ÒéÓÐÈý¸ö£º¡°¼ÆËãÓë´æ´¢·ÖÀ롱¡¢¡°µ¯ÐÔ¡±¡¢¡°¶ÀÁ¢À©Õ¹¡±¡£½¨ÒéµÄ´æ´¢Ñ¡ÐÍÊÇ·Ö²¼Ê½¶ÔÏó´æ´¢ÏµÍ³£¨ÈçS3/OSS/OBS£©£»¼ÆËãÒýÇæÉϽ¨ÒéÖص㿼ÂÇÅú´¦ÀíÐèÇóºÍSQL´¦ÀíÄÜÁ¦£¬ÒòΪÔÚʵ¼ùÖУ¬ÕâÁ½ÀàÄÜÁ¦ÊÇÊý¾Ý´¦ÀíµÄ¹Ø¼ü£¬¹ØÓÚÁ÷¼ÆËãÒýÇæºóÃæ»áÔÙÌÖÂÛһϡ£ÎÞÂÛÊǼÆË㻹ÊÇ´æ´¢£¬½¨ÒéÓÅÏÈ¿¼ÂÇserverlessµÄÐÎʽ£»ºóÐø¿ÉÒÔÔÚÓ¦ÓÃÖÐÖð²½Ñݽø£¬ÕæµÄÐèÒª¶ÀÁ¢×ÊÔ´³ØÁË£¬ÔÙ¿¼Âǹ¹½¨×¨Êô¼¯Èº¡£
3£© Êý¾Ý½ÓÈ롣ȷ¶¨Òª½ÓÈëµÄÊý¾ÝÔ´£¬Íê³ÉÊý¾ÝµÄÈ«Á¿³éÈ¡ÓëÔöÁ¿½ÓÈë¡£
4£© Ó¦ÓÃÖÎÀí¡£ÕâÒ»²½ÊÇÊý¾ÝºþµÄ¹Ø¼ü£¬ÎÒ¸öÈË°Ñ¡°ÈÚºÏÖÎÀí¡±¸Ä³ÉÁË¡°Ó¦ÓÃÖÎÀí¡±¡£´ÓÊý¾ÝºþµÄ½Ç¶ÈÀ´¿´£¬Êý¾ÝÓ¦ÓúÍÊý¾ÝÖÎÀíÓ¦¸ÃÊÇÏ໥Èںϡ¢Ãܲ»¿É·ÖµÄ¡£´ÓÊý¾ÝÓ¦ÓÃÈëÊÖ£¬ÔÚÓ¦ÓÃÖÐÃ÷È·ÐèÇó£¬ÔÚÊý¾ÝETLµÄ¹ý³ÌÖУ¬Öð²½ÐγÉÒµÎñ¿ÉʹÓõÄÊý¾Ý£»Í¬Ê±ÐγÉÊý¾ÝÄ£ÐÍ¡¢Ö¸±êÌåϵºÍ¶ÔÓ¦µÄÖÊÁ¿±ê×¼¡£Êý¾ÝºþÇ¿µ÷¶ÔÔʼÊý¾ÝµÄ´æ´¢£¬Ç¿µ÷¶ÔÊý¾ÝµÄ̽Ë÷ʽ·ÖÎöÓëÓ¦Ó㬵«Õâ¾ø¶Ô²»ÊÇ˵Êý¾Ýºþ²»ÐèÒªÊý¾ÝÄ£ÐÍ£»Ç¡Ç¡Ïà·´£¬¶ÔÒµÎñµÄÀí½âÓë³éÏ󣬽«¼«´óµÄÍƶ¯Êý¾ÝºþµÄ·¢Õ¹ÓëÓ¦Óã¬Êý¾Ýºþ¼¼ÊõʹµÃÊý¾ÝµÄ´¦ÀíÓ뽨ģ£¬±£ÁôÁ˼«´óµÄÃô½ÝÐÔ£¬ÄÜ¿ìËÙÊÊÓ¦ÒµÎñµÄ·¢Õ¹Óë±ä»¯¡£
´Ó¼¼ÊõÊÓ½ÇÀ´¿´£¬Êý¾Ýºþ²»Í¬ÓÚ´óÊý¾Ýƽ̨»¹ÔÚÓÚÊý¾ÝºþΪÁËÖ§³ÅÊý¾ÝµÄÈ«ÉúÃüÖÜÆÚ¹ÜÀíÓëÓ¦Óã¬ÐèÒª¾ß±¸Ïà¶ÔÍêÉƵÄÊý¾Ý¹ÜÀí¡¢ÀàÄ¿¹ÜÀí¡¢Á÷³Ì±àÅÅ¡¢ÈÎÎñµ÷¶È¡¢Êý¾ÝËÝÔ´¡¢Êý¾ÝÖÎÀí¡¢ÖÊÁ¿¹ÜÀí¡¢È¨ÏÞ¹ÜÀíµÈÄÜÁ¦¡£ÔÚ¼ÆËãÄÜÁ¦ÉÏ£¬Ä¿Ç°Ö÷Á÷µÄÊý¾Ýºþ·½°¸¶¼Ö§³ÖSQLºÍ¿É±à³ÌµÄÅú´¦ÀíÁ½ÖÖģʽ£¨¶Ô»úÆ÷ѧϰµÄÖ§³Ö£¬¿ÉÒÔ²ÉÓÃSpark»òÕßFlinkµÄÄÚÖÃÄÜÁ¦£©£»ÔÚ´¦Àí·¶Ê½ÉÏ£¬¼¸ºõ¶¼²ÉÓûùÓÚÓÐÏòÎÞ»·Í¼µÄ¹¤×÷Á÷µÄģʽ£¬²¢ÌṩÁ˶ÔÓ¦µÄ¼¯³É¿ª·¢»·¾³¡£¶ÔÓÚÁ÷ʽ¼ÆËãµÄÖ§³Ö£¬Ä¿Ç°¸÷¸öÊý¾Ýºþ½â¾ö·½°¸²ÉÈ¡Á˲»Í¬µÄ·½Ê½¡£ÔÚÌÖÂÛ¾ßÌåµÄ·½Ê½Ö®Ç°£¬ÎÒÃÇÏȶÔÁ÷¼ÆËã×öÒ»¸ö·ÖÀࣺ
1£© ģʽһ£ºÊµÊ±Ä£Ê½¡£ÕâÖÖÁ÷¼ÆËãģʽÏ൱ÓÚ¶ÔÊý¾Ý²ÉÓá°À´Ò»Ìõ´¦ÀíÒ»Ìõ¡±/¡°Î¢Åú¡±µÄ·½Ê½½øÐд¦Àí£»¶à¼ûÓÚÔÚÏßÒµÎñ£¬Èç·ç¿Ø¡¢ÍƼö¡¢Ô¤¾¯µÈ¡£
2£© ģʽ¶þ£ºÀàÁ÷ʽ¡£ÕâÖÖģʽÐèÒª»ñÈ¡Ö¸¶¨Ê±¼äµãÖ®ºó±ä»¯µÄÊý¾Ý/¶Áȡijһ¸ö°æ±¾µÄÊý¾Ý/¶ÁÈ¡µ±Ç°µÄ×îÐÂÊý¾ÝµÈ£¬ÊÇÒ»ÖÖÀàÁ÷ʽµÄģʽ£»¶à¼ûÓÚÊý¾Ý̽Ë÷ÀàÓ¦Óã¬Èç·ÖÎöijһʱ¼ä¶ÎÄÚµÄÈջÁô´æ¡¢×ª»¯µÈ¡£
¶þÕߵı¾Öʲ»Í¬ÔÚÓÚ£¬Ä£Ê½Ò»´¦ÀíÊý¾Ýʱ£¬Êý¾ÝÍùÍù»¹Ã»Óд洢µ½Êý¾ÝºþÖУ¬½ö½öÊÇÔÚÍø·/ÄÚ´æÖÐÁ÷¶¯£»Ä£Ê½¶þ´¦ÀíÊý¾Ýʱ£¬Êý¾ÝÒѾ´æ´¢µ½Êý¾ÝºþÖÐÁË¡£×ÛÉÏ£¬ÎÒ¸öÈ˽¨Òé²ÉÓÃÈçÏÂͼģʽ£º
ͼ24 Êý¾ÝºþÊý¾ÝÁ÷ÏòʾÒâͼ
Èçͼ24Ëùʾ£¬ÔÚÐèÒªÊý¾Ýºþ¾ß±¸Ä£Ê½Ò»µÄ´¦ÀíÄÜÁ¦Ê±£¬»¹ÊÇÓ¦¸ÃÒýÈëÀàKafkaÖмä¼þ£¬×÷ΪÊý¾Ýת·¢µÄ»ù´¡ÉèÊ©¡£ÍêÕûµÄÊý¾Ýºþ½â¾ö·½°¸·½°¸Ó¦¸ÃÌṩ½«ÔʼÊý¾Ýµ¼Á÷ÖÁKafkaµÄÄÜÁ¦¡£Á÷ʽÒýÇæ¾ß±¸´ÓÀàKafka×é¼þÖжÁÈ¡Êý¾ÝµÄÄÜÁ¦¡£Á÷ʽ¼ÆËãÒýÇæÔÚ´¦ÀíÊý¾Ý¹ýºó£¬¸ù¾ÝÐèÒª£¬¿ÉÒÔ½«½á¹ûдÈëOSS/RDBMS/NoSQL/DW£¬¹©Ó¦Ó÷ÃÎÊ¡£Ä³ÖÖÒâÒåÉÏ£¬Ä£Ê½Ò»µÄÁ÷¼ÆËãÒýÇæ²¢·ÇÒ»¶¨Òª×÷ΪÊý¾Ýºþ²»¿É·Ö¸îµÄÒ»²¿·Ö´æÔÚ£¬Ö»ÐèÒªÔÚÓ¦ÓÃÐèҪʱ£¬Äܹ»·½±ãµÄÒýÈë¼´¿É¡£µ«ÊÇ£¬ÕâÀïÐèÒªÖ¸³öµÄÊÇ£º
1£©Á÷ʽÒýÇæÒÀÈ»ÐèÒªÄܹ»ºÜ·½±ãµÄ¶ÁÈ¡Êý¾ÝºþµÄÔªÊý¾Ý£»
2£©Á÷ʽÒýÇæÈÎÎñÒ²ÐèҪͳһµÄÄÉÈëÊý¾ÝºþµÄÈÎÎñ¹ÜÀí£»
3£©Á÷ʽ´¦ÀíÈÎÎñÒÀÈ»ÐèÒªÄÉÈ뵽ͳһµÄȨÏÞ¹ÜÀíÖС£
¶ÔÓÚģʽ¶þ£¬±¾ÖÊÉϸü½Ó½üÓÚÅú´¦Àí¡£ÏÖÔÚÐí¶à¾µäµÄ´óÊý¾Ý×é¼þÒѾÌṩÁËÖ§³Ö·½Ê½£¬ÈçHUDI/IceBerg/DeltaµÈ£¬¾ùÖ§³ÖSpark¡¢PrestoµÈ¾µäµÄ¼ÆËãÒýÇæ¡£ÒÔHUDIΪÀý£¬Í¨¹ýÖ§³ÖÌØÊâÀàÐÍµÄ±í£¨COW/MOR£©£¬Ìṩ·ÃÎÊ¿ìÕÕÊý¾Ý£¨Ö¸¶¨°æ±¾£©¡¢ÔöÁ¿Êý¾Ý¡¢×¼ÊµÊ±Êý¾ÝµÄÄÜÁ¦¡£Ä¿Ç°AWS¡¢ÌÚѶµÈÒѾ½«HUDI¼¯³Éµ½ÁËÆäEMR·þÎñÖУ¬°¢ÀïÔƵÄDLAÒ²ÕýÔڼƻ®ÍƳöDLA
on HUDIµÄÄÜÁ¦¡£
ÈÃÎÒÃÇÔٻص½±¾ÎÄ¿ªÍ·µÄµÚÒ»Õ£¬ÎÒÃÇ˵¹ý£¬Êý¾ÝºþµÄÖ÷ÒªÓû§ÊÇÊý¾Ý¿Æѧ¼ÒºÍÊý¾Ý·ÖÎöʦ£¬Ì½Ë÷ʽ·ÖÎöºÍ»úÆ÷ѧϰÊÇÕâÀàÈËȺµÄ³£¼û²Ù×÷£»Á÷ʽ¼ÆË㣨ʵʱģʽ£©¶àÓÃÓÚÔÚÏßÒµÎñ£¬ÑϸñÀ´¿´£¬²¢·ÇÊý¾ÝºþÄ¿±êÓû§µÄ¸ÕÐè¡£µ«ÊÇ£¬Á÷ʽ¼ÆË㣨ʵʱģʽ£©ÊÇÄ¿Ç°´ó¶àÊý»¥ÁªÍø¹«Ë¾ÔÚÏßÒµÎñµÄÖØÒª×é³É²¿·Ö£¬¶øÊý¾Ýºþ×÷ΪÆóÒµ/×éÖ¯ÄÚ²¿µÄÊý¾Ý¼¯Öдæ·ÅµØ£¬ÐèÒªÔڼܹ¹Éϱ£³ÖÒ»¶¨µÄÀ©Õ¹ÄÜÁ¦£¬¿ÉÒԺܷ½±ãµÄ½øÐÐÀ©Õ¹£¬ÕûºÏÁ÷ʽ¼ÆËãÄÜÁ¦¡£
5£© ÒµÎñÖ§³Å¡£ËäÈ»´ó¶àÊýÊý¾Ýºþ½â¾ö·½°¸¶¼¶ÔÍâÌṩ±ê×¼µÄ·ÃÎʽӿڣ¬ÈçJDBC£¬ÊÐÃæÉÏÁ÷Ðеĸ÷ÀàBI±¨±í¹¤¾ß¡¢´óÆÁ¹¤¾ßÒ²¶¼¿ÉÒÔÖ±½Ó·ÃÎÊÊý¾ÝºþÖеÄÊý¾Ý¡£µ«ÊÇÔÚʵ¼ÊµÄÓ¦ÓÃÖУ¬ÎÒÃÇ»¹Êǽ¨Ò齫Êý¾Ýºþ´¦ÀíºÃµÄÊý¾ÝÍÆË͵½¶ÔÓ¦µÄ¸÷ÀàÖ§³ÖÔÚÏßÒµÎñµÄÊý¾ÝÒýÇæÖÐÈ¥£¬Äܹ»ÈÃÓ¦ÓÃÓиüºÃµÄÌåÑé¡£
Æß¡¢×ܽá
Êý¾Ýºþ×÷ΪÐÂÒ»´ú´óÊý¾Ý·ÖÎö´¦ÀíµÄ»ù´¡ÉèÊ©£¬ÐèÒª³¬Ô½´«Í³µÄ´óÊý¾Ýƽ̨¡£¸öÈËÈÏΪĿǰÔÚÒÔÏ·½Ã棬ÊÇÊý¾Ýºþ½â¾ö·½°¸Î´À´¿ÉÄܵķ¢Õ¹·½Ïò¡£
1£© ÔÆÔÉú¼Ü¹¹¡£¹ØÓÚʲôÊÇÔÆÔÉú¼Ü¹¹£¬ÖÚ˵·×ç¡£¬ºÜÄÑÕÒµ½Í³Ò»µÄ¶¨Òå¡£µ«ÊǾßÌåµ½Êý¾ÝºþÕâ¸ö³¡¾°£¬¸öÈËÈÏΪ¾ÍÊÇÒÔÏÂÈýµãÌØÕ÷£º£¨1£©´æ´¢ºÍ¼ÆËã·ÖÀ룬¼ÆËãÄÜÁ¦ºÍ´æ´¢ÄÜÁ¦¾ù¿É¶ÀÁ¢À©Õ¹£»£¨2£©¶àģ̬¼ÆËãÒýÇæÖ§³Ö£¬SQL¡¢Åú´¦Àí¡¢Á÷ʽ¼ÆËã¡¢»úÆ÷ѧϰµÈ£»£¨3£©Ìṩserverless̬·þÎñ£¬È·±£×ã¹»µÄµ¯ÐÔÒÔ¼°Ö§³Ö°´Ð踶·Ñ¡£
2£© ×ã¹»ÓõÄÊý¾Ý¹ÜÀíÄÜÁ¦¡£Êý¾ÝºþÐèÒªÌṩ¸üΪǿ´óµÄÊý¾Ý¹ÜÀíÄÜÁ¦£¬°üÀ¨µ«²»ÏÞÓÚÊý¾ÝÔ´¹ÜÀí¡¢Êý¾ÝÀàÄ¿¹ÜÀí¡¢´¦ÀíÁ÷³Ì±àÅÅ¡¢ÈÎÎñµ÷¶È¡¢Êý¾ÝËÝÔ´¡¢Êý¾ÝÖÎÀí¡¢ÖÊÁ¿¹ÜÀí¡¢È¨ÏÞ¹ÜÀíµÈ¡£
3£© ´óÊý¾ÝµÄÄÜÁ¦£¬Êý¾Ý¿âµÄÌåÑ顣Ŀǰ¾ø´ó¶àÊýÊý¾Ý·ÖÎöÈËÔ±¶¼Ö»ÓÐÊý¾Ý¿âµÄʹÓþÑ飬´óÊý¾Ýƽ̨µÄÄÜÁ¦ËäÇ¿£¬µ«ÊǶÔÓÚÓû§À´Ëµ²¢²»ÓѺã¬Êý¾Ý¿Æѧ¼ÒºÍÊý¾ÝÊý¾Ý·ÖÎöʦӦ¸Ã¹Ø×¢Êý¾Ý¡¢Ëã·¨¡¢Ä£Ðͼ°ÆäÓëÒµÎñ³¡¾°µÄÊÊÅ䣬¶ø²»ÊÇ»¨´óÁ¿µÄʱ¼ä¾«Á¦È¥Ñ§Ï°´óÊý¾Ýƽ̨µÄ¿ª·¢¡£Êý¾ÝºþÒªÏë¿ìËÙ·¢Õ¹£¬ÈçºÎΪÓû§ÌṩÁ¼ºÃµÄʹÓÃÌåÑéÊǹؼü¡£»ùÓÚSQLµÄÊý¾Ý¿âÓ¦Óÿª·¢ÒѾÉîÈëÈËÐÄ£¬ÈçºÎ½«Êý¾ÝºþµÄÄÜÁ¦Í¨¹ýSQLµÄÐÎʽÊͷųöÀ´£¬ÊÇδÀ´µÄÒ»¸öÖ÷Òª·½Ïò¡£
4£© ÍêÉƵÄÊý¾Ý¼¯³ÉÓëÊý¾Ý¿ª·¢ÄÜÁ¦¡£¶Ô¸÷ÖÖÒì¹¹Êý¾ÝÔ´µÄ¹ÜÀíÓëÖ§³Ö£¬¶ÔÒì¹¹Êý¾ÝµÄÈ«Á¿/ÔöÁ¿Ç¨ÒÆÖ§³Ö£¬¶Ô¸÷ÖÖÊý¾Ý¸ñʽµÄÖ§³Ö¶¼ÊÇÐèÒª²»¶ÏÍêÉƵķ½Ïò¡£Í¬Ê±£¬ÐèÒª¾ß±¸Ò»¸öÍ걸µÄ¡¢¿ÉÊÓ»¯µÄ¡¢¿ÉÀ©Õ¹µÄ¼¯³É¿ª·¢»·¾³¡£
5£© ÓëÒµÎñµÄÉî¶ÈÈÚºÏÓ뼯³É¡£µäÐÍÊý¾Ýºþ¼Ü¹¹µÄ¹¹³É»ù±¾ÒѾ³ÉΪÁËÒµ½ç¹²Ê¶£º·Ö²¼Ê½¶ÔÏó´æ´¢+¶àģ̬¼ÆËãÒýÇæ+Êý¾Ý¹ÜÀí¡£¾ö¶¨Êý¾Ýºþ·½°¸ÊÇ·ñʤ³öµÄ¹Ø¼üÇ¡Ç¡ÔÚÓÚÊý¾Ý¹ÜÀí£¬ÎÞÂÛÊÇÔʼÊý¾ÝµÄ¹ÜÀí¡¢Êý¾ÝÀàÄ¿µÄ¹ÜÀí¡¢Êý¾ÝÄ£Ð͵ĹÜÀí¡¢Êý¾ÝȨÏ޵ĹÜÀí»¹ÊÇ´¦ÀíÈÎÎñµÄ¹ÜÀí£¬¶¼Àë²»¿ªÓëÒµÎñµÄÊÊÅäºÍ¼¯³É£»Î´À´£¬»áÓÐÔ½À´Ô½¶àµÄÐÐÒµÊý¾Ýºþ½â¾ö·½°¸Ó¿ÏÖ³öÀ´£¬ÓëÊý¾Ý¿Æѧ¼ÒºÍÊý¾Ý·ÖÎöʦÐγÉÁ¼ÐÔ·¢Õ¹Ó뻥¶¯¡£ÈçºÎÔÚÊý¾Ýºþ½â¾ö·½°¸ÖÐÔ¤ÖÃÐÐÒµÊý¾ÝÄ£ÐÍ¡¢ETLÁ÷³Ì¡¢·ÖÎöÄ£ÐͺͶ¨ÖÆËã·¨£¬¿ÉÄÜÊÇδÀ´Êý¾ÝºþÁìÓò²îÒ컯¾ºÕùµÄÒ»¸ö¹Ø¼üµã¡£
|