Äú¿ÉÒÔ¾èÖú£¬Ö§³ÖÎÒÃǵĹ«ÒæÊÂÒµ¡£

1Ôª 10Ôª 50Ôª





ÈÏÖ¤Â룺  ÑéÖ¤Âë,¿´²»Çå³þ?Çëµã»÷Ë¢ÐÂÑéÖ¤Âë ±ØÌî



  ÇóÖª ÎÄÕ ÎÄ¿â Lib ÊÓÆµ iPerson ¿Î³Ì ÈÏÖ¤ ×Éѯ ¹¤¾ß ½²×ù Modeler   Code  
»áÔ±   
 
   
 
 
     
   
 ¶©ÔÄ
  ¾èÖú
Spark£ºÎª´óÊý¾Ý´¦ÀíµãÁÁÒ»ÕµÃ÷µÆ
 
ÒëÕߣººË×Ó¿ÉÀÖ À´Ô´£º51CTO ·¢²¼ÓÚ£º2014-12-17
  2425  次浏览      27
 

Apache SparkΪHadoop¼¯Èº´øÀ´ÁËËٶȼ«¸ßµÄÄÚ´æÄÚ·ÖÎöÄÜÁ¦£¬´Ó¶ø½«´ó¹æÄ£Êý¾Ý¼¯µÄ´¦ÀíÖÜÆÚÓɼ¸Ð¡Ê±³É¹¦Ëõ¶ÌΪ¼¸·ÖÖÓ¡£

Apache SparkÏîÄ¿ÓÚ2009Äêµ®ÉúÓÚ²®¿ËÀû´óѧµÄAMPLabʵÑéÊÒ£¬µ±³õµÄÄ¿µÄÔÚÓÚ½«ÄÚ´æÄÚ·ÖÎö»úÖÆÒýÈë´ó¹æÄ£Êý¾Ý¼¯µ±ÖС£ÔÚÄǸöʱºò£¬Hadoop MapReduceµÄ¹Ø×¢ÖصãÈÔÈ»·ÅÔÚÄÇЩ±¾ÖÊÉÏÎÞ·¨µü´úµÄ´ó¹æÄ£Êý¾Ý¹ÜµÀÉíÉÏ¡£ÏëÔÚ2009ÄêÒÔMapReduceΪ»ù´¡¹¹½¨Æð·ÖÎöÄ£ÐÍʵÔÚÊǼþ·ÑÐÄ·ÑÁ¦¶øÓÖ½øÕ¹»ºÂýµÄ¹¤×÷£¬Òò´ËAMPLabÉè¼Æ³öSparkÀ´°ïÖú¿ª·¢ÈËÔ±¶Ô´ó¹æÄ£Êý¾Ý¼¯Ö´Ðн»»¥·ÖÎö¡¢´Ó¶øÔËÐи÷Ààµü´ú¹¤×÷¸ºÔØ¡ª¡ªÒ²¾ÍÊǶÔÄÚ´æÖеÄͬһÌ×»òÕß¶àÌ×Êý¾Ý¼¯½øÐз´¸´´¦Àí£¬ÆäÖÐ×îµäÐ͵ľÍÊÇ»úÆ÷ѧϰËã·¨¡£

SparkµÄÒâÒå²¢²»ÔÚÓÚÈ¡´úHadoop¡£ÕýÏà·´£¬ËüΪÄÇЩ¸ß¶Èµü´úµÄ¹¤×÷¸ºÔØÌṩÁËÒ»Ì×±¸Óô¦ÀíÒýÇæ¡£Í¨¹ýÏÔÖø½µµÍÃæÏò´ÅÅ̵ÄдÈëÇ¿¶È£¬SparkÈÎÎñͨ³£Äܹ»ÔÚÔËÐÐËÙ¶È·½Ãæ¸ß³öHadoop MapReduce¼¸¸öÊýÁ¿¼¶¡£×÷Ϊ¡°¼ÄÉú¡±ÔÚHadoop¼¯Èºµ±ÖеĵÃÁ¦ÖúÊÖ£¬SparkÀûÓÃHadoopÊý¾Ý²ã£¨HDFS¡¢HBaseµÈµÈ£©×÷ΪÊý¾Ý¹ÜµÀÖÕ¶Ë£¬´Ó¶øÊµÏÖԭʼÊý¾Ý¶ÁÈ¡ÒÔ¼°×îÖÕ½á¹û´æ´¢¡£

±àдSparkÓ¦ÓóÌÐò

×÷ΪÓÉScalaÓïÑÔ±àдµÄÏîÄ¿£¬SparkÄܹ»ÎªÊý¾Ý´¦ÀíÁ÷³ÌÌṩһÌ×ͳһ»¯³éÏó²ã£¬ÕâʹÆä³ÉΪ¿ª·¢Êý¾ÝÓ¦ÓóÌÐòµÄ¾ø¼Ñ»·¾³¡£SparkÔÚ´ó¶àÊýÇé¿öÏÂÔÊÐí¿ª·¢ÈËԱѡÔñScala¡¢JavaÒÔ¼°PythonÓïÑÔÓÃÓÚÓ¦ÓóÌÐò¹¹½¨£¬µ±È»¶ÔÓÚÄÇЩ×îÎªÇ°ÑØµÄ²ãÃæ¡¢Ö»ÓÐScalaÄܹ»ÊµÏÖ´ó¼ÒµÄÒ»Çй¹Ïë¡£

Sparkµ±ÖеÄÍ»³öÌØÐÔÖ®Ò»ÔÚÓÚÀûÓÃScala»òÕßPython¿ØÖÆÌ¨½øÐн»»¥Ê½¹¤×÷¡£ÕâÒâζ×Å´ó¼Ò¿ÉÒÔÔÚ³¢ÊÔ´úÂëÔËÐÐʱ£¬Á¢¼´²é¿´µ½Æäʵ¼ÊÖ´Ðнá¹û¡£ÕâÒ»ÌØÐԷdz£Êʺϵ÷ÊÔ¹¤×÷¡ª¡ª´ó¼ÒÄܹ»ÔÚÎÞÐè½øÐбàÒëµÄǰÌáϱä¸üÆäÖеÄÊýÖµ²¢Ôٴδ¦Àí¡ª¡ªÒÔ¼°Êý¾Ý̽Ë÷¡ª¡ªÕâÊÇÒ»Ì×µäÐ͵Ĵ¦ÀíÁ÷³Ì£¬ÓÉ´óÁ¿¼ì²é-ÏÔʾ-¸üÐÂÒªËØËù¹¹³É¡£

SparkµÄºËÐÄÊý¾Ý½á¹¹ÊÇÒ»Ì×µ¯ÐÔ·Ö²¼Ê½Êý¾Ý£¨¼ò³ÆRDD£©¼¯¡£ÔÚSparkµ±ÖУ¬Çý¶¯³ÌÐò±»±àдΪһϵÁÐRDDת»»»úÖÆ£¬²¢¸½´øÓëÖ®Ïà¹ØµÄ²Ù×÷»·½Ú¡£¹ËÃû˼Ò壬Ëùνת»»ÊÇָͨ¹ý±ä¸üÏÖÓÐÊý¾Ý¡ª¡ªÀýÈç¸ù¾ÝÄ³Ð©ÌØ¶¨Ö¸±ê¶ÔÊý¾Ý½øÐйýÂË¡ª¡ª¸ù¾ÝÆä´´½¨³öеÄRDD¡£²Ù×÷ÔòËæRDD×ÔÉíͬ²½Ö´ÐС£¾ßÌå¶øÑÔ£¬²Ù×÷ÄÚÈÝ¿ÉÒÔÊǼÆËãijÖÖÊý¾ÝÀàÐ͵ÄʵÀýÊýÁ¿»òÕß½«RDD±£´æÔÚµ¥Ò»Îļþµ±ÖС£

SparkµÄÁíÒ»´óÓÅÊÆÔÚÓÚÔÊÐíʹÓÃÕßÇáËɽ«Ò»Ì×RDD¹²Ïí¸øÆäËüSparkÏîÄ¿¡£ÓÉÓÚRDDµÄʹÓùᴩÓÚÕûÌ×Spark¶ÑÕ»µ±ÖУ¬Òò´Ë´ó¼ÒÄܹ»ËæÒ⽫SQL¡¢»úÆ÷ѧϰ¡¢Á÷ÒÔ¼°Í¼ÐεÈÔªËØ²ôÔÓÔÚͬһ¸ö³ÌÐòÖ®ÄÚ¡£

ÊìϤ¸÷ÀàÆäËüº¯ÊýÐͱà³ÌÓïÑÔ¡ª¡ªÀýÈçLISP¡¢Haskell»òÕßF#¡ª¡ªµÄ¿ª·¢ÈËÔ±»á·¢ÏÖ£¬³ýÁËAPIÖ®Íâ¡¢×Ô¼ºÄܹ»·Ç³£ÇáËɵØÕÆÎÕSpark±à³Ì·½Ê½¡£¹é¹¦ÓÚScalaÓïÑԵijöÉ«ÊÕ¼¯ÏµÍ³£¬ÀûÓÃSpark Scala API±àдµÄÓ¦ÓóÌÐòÄܹ»ÒԸɾ»¶øÇÒ¼ò½àµÄÃæÃ²³ÊÏÖÔÚ¿ª·¢ÕßÃæÇ°¡£ÔÚ¶ÔSpark±à³Ì¹¤×÷½øÐе÷Õûʱ£¬ÎÒÃÇÖ÷ÒªÐèÒª¿¼ÂÇÕâÌ×ϵͳµÄ·Ö²¼Ê½ÌØÐÔ²¢Á˽âºÎʱÐèÒª¶Ô¶ÔÏóÒÔ¼°º¯Êý½øÐÐÅÅÐò¡£

ÓµÓÐÆäËü³ÌÐòÓïÑÔ£¬ÀýÈçJava£¬ÖªÊ¶±³¾°µÄ³ÌÐòÔ±ÔòÍùÍùû°ì·¨¿ìËÙÊÊÓ¦SparkÏîÄ¿µÄº¯Êý±à³Ì·¶Ê½¡£ÓмøÓÚ´Ë£¬ÆóÒµ¿ÉÄܻᷢÏÖÕÒµ½Ò»Î»Äܹ»ÇÐʵÉÏÊÖSpark£¨´ÓÕâ¸ö½Ç¶È½²£¬HadoopÒ²°üº¬ÆäÖУ©µÄScalaÓ뺯Êý±à³ÌÈËԱʵÔÚ²»ÊǼþÈÝÒ×µÄÊ¡£

ÓÉÓÚSparkµÄRDDÄܹ»ÊµÏÖ¿çϵͳ¹²Ïí£¬Òò´Ë´ó¼ÒÄܹ»ËæÒ⽫SQL¡¢»úÆ÷ѧϰ¡¢Á÷ÒÔ¼°Í¼ÐεÈÔªËØ²ôÔÓÔÚͬһ¸ö³ÌÐòÖ®ÄÚ¡£

µ¯ÐÔ·Ö²¼Ê½Êý¾Ý¼¯

¶ÔÓÚRDDµÄʹÓùᴩÓÚÕûÌ×¶ÑÕ»µ±ÖУ¬¶øÕâÒ²³ÉΪSparkÈç´ËÇ¿´óµÄ¸ù»ùÖ®Ò»¡£ÎÞÂÛÊÇ´Ó¸ÅÄî²ãÃæ»¹ÊÇʵʩ²ãÃæ£¬RDD¶¼ÏԵ÷dz£¼òµ¥; RDDÀ൱ÖеĴ󲿷ַ½·¨¶¼ÔÚ20ÐÐÒÔÄÚ¡£¶ø´ÓºËÐĽǶȿ´£¬RDDÊôÓÚÒ»Ì×·Ö²¼Ê½¼Ç¼¼¯ºÏ£¬ÓÉijÖÖÐÎʽµÄ³Ö¾ÃÐÔ´æ´¢×÷ΪÒÀÍв¢Å䱸һϵÁÐת»»»úÖÆ¡£

RDDÊDz»¿É±ä¸üµÄ¡£ÎÒÃÇÎÞ·¨¶ÔRDD½øÐÐÐ޸쬵«È´Äܹ»ÇáËÉÀûÓò»Í¬ÊýÖµ´´½¨ÐµÄRDD¡£ÕâÖÖ²»¿É±äÐÔËãµÃÉÏÊÇ·Ö²¼Ê½Êý¾Ý¼¯µÄÒ»´óÖØÒªÌØÐÔ; ÕâÒâζ×ÅÎÒÃÇÓò»×ŵ£ÐÄÆäËüÏ̻߳òÕß½ø³ÌÔÚÎÒÃDz»Öª²»¾õÖжÔRDDÊýÖµ×÷³öÁ˱ä¸ü¡ª¡ª¶øÕâÕýÊǶàÏ̱߳à³ÌÁìÓòµÄÒ»¸öÀÏ´óÄÑÎÊÌâ¡£ÕâͬʱÒâζ×ÅÎÒÃÇÄܹ»½«RDD·Ö·¢µ½Õû¸ö¼¯Èºµ±ÖмÓÒÔÖ´ÐУ¬¶ø²»±Øµ£ÐĸÃÈçºÎÔÚ¸÷½ÚµãÖ®¼ä¶ÔRDDÄÚÈݱä¸ü½øÐÐͬ²½¡£

RDD²»¿É±äÐÔÔÚSparkÓ¦ÓóÌÐòµÄÈÝ´í»úÖÆµ±ÖÐͬÑù°çÑÝ×ÅÖØÒª½ÇÉ«¡£ÓÉÓÚÿ¸öRDD¶¼±£ÁôÓмÆËãÖÁµ±Ç°ÊýÖµµÄÈ«²¿ÀúÊ·¼Ç¼¡¢¶øÇÒÆäËü½ø³ÌÎÞ·¨¶ÔÆä×÷³ö±ä¸ü£¬Òò´ËÔÚij¸ö½Úµã¶ªÊ§Ê±¶ÔRDD½øÐÐÖØÐ¼ÆËã¾Í±äµÃ·Ç³£ÇáËÉ¡ª¡ªÖ»ÐèÒª·µ»ØÔ­±¾µÄ³Ö¾ÃÐÔÊý¾Ý·ÖÇø£¬ÔÙ¸ù¾Ý²»Í¬½ÚµãÖØÐÂÍÆµ¼¼ÆËã¼´¿É¡££¨Hadoopµ±ÖеĴó¶àÊý·ÖÇø¶¼¾ß±¸¿ç½Úµã³Ö¾ÃÐÔ¡££©

RDDÄܹ»Í¨¹ý¶àÖÖÊý¾Ý·ÖÇøÀàÐͼÓÒÔ¹¹³É¡£ÔÚ´ó¶àÊýÇé¿öÏ£¬RDDÊý¾ÝÀ´×ÔHDFS£¬Ò²¾ÍÊÇËùν¡°·ÖÇø¡±µÄÊéÃæº¬Òå¡£²»¹ýRDDÒ²¿ÉÒÔÓÉÀ´×ÔÆäËü³Ö¾ÃÐÔ´æ´¢»úÖÆµÄÊý¾ÝËù¹¹³É£¬ÆäÖаüÀ¨HBase¡¢Cassandra¡¢SQLÊý¾Ý¿â£¨Í¨¹ýJDBC£©¡¢Hive ORC£¨¼´¾­¹ýÓÅ»¯µÄÐÐÁУ©ÎļþÄËÖÁÆäËüÄܹ»ÓëHadoop InputFormat APIÏà¶Ô½ÓµÄ´æ´¢ÏµÍ³¡£ÎÞÂÛRDDµÄʵ¼ÊÀ´Ô´ÈçºÎ£¬ÆäÔË×÷»úÖÆ¶¼ÊÇÍêÈ«ÏàͬµÄ¡£

Sparkת»»»úÖÆµÄ×îºóÒ»ÏעÊÇ£º´ËÀàÁ÷³Ì·Ç³£ÀÁ¶è£¬Ò²¾ÍÊÇ˵ֱµ½Ä³Ïî²Ù×÷ÒªÇó½«Ò»Ìõ½á¹û·µ»ØÖÁÇý¶¯³ÌÐò£¬·ñÔò´ËǰÕû¸ö¹ý³Ì²»Éæ¼°ÈκμÆËã»·½Ú¡£ÕâÑùµÄÌØÐÔÔÚÓëScala shell½øÐн»»¥Ê±ÏÔµÃÒâÒåÖØ´ó¡£ÕâÊÇÒòΪRDDÔÚÖð²½×ª»»µÄ¹ý³Ìµ±Öв»»á´øÀ´ÈκÎ×ÊÔ´³É±¾¡ª¡ªÖ±µ½ÐèÒªÖ´ÐÐʵ¼Ê²Ù×÷¡£µ½Õâ¸öʱºò£¬ËùÓÐÊýÖµ²ÅÐèÒª½øÐмÆË㣬²¢½«½á¹û·µ»Ø¸øÓû§¡£³ý´ËÖ®Í⣬ÓÉÓÚRDDÄܹ»ÀûÓÃÄÚ´æ³äµ±»º´æ»úÖÆ£¬Òò´ËƵ·±Ê¹ÓüÆËã½á¹ûÒ²²»»áÔì³É·´¸´¼ÆËã»òÕßÓÉ´ËÒý·¢µÄ×ÊÔ´ÏûºÄ¡£

Sparkת»»»úÖÆ·Ç³£ÀÁ¶è£¬Ò²¾ÍÊÇ˵ֱµ½Ä³Ïî²Ù×÷ÒªÇó½«Ò»Ìõ½á¹û·µ»ØÖÁÓû§´¦£¬·ñÔò´ËǰÕû¸ö¹ý³Ì²»Éæ¼°ÈκμÆËã»·½Ú¡£

Ö´ÐÐSparkÓ¦ÓóÌÐò

ΪÁ˽«Ò»ÏîSparkÈÎÎñÌá½»ÖÁ¼¯Èº£¬¿ª·¢ÈËÔ±ÐèÒªÖ´ÐÐÇý¶¯³ÌÐò²¢½«ÆäÓ뼯Ⱥ¹ÜÀíÆ÷£¨Ò²±»³ÆÎªcluster master£©Ïà¶Ô½Ó¡£¼¯Èº¹ÜÀíÆ÷»áΪ¸ÃÇý¶¯³ÌÐòÌṩһÌ׳־ÃÐÔ½Ó¿Ú£¬ÕâÑùͬһ¿îÓ¦ÓóÌÐò¼´¿ÉÔÚÈκÎÊÜÖ§³Ö¼¯ÈºÀàÐÍÖ®ÉÏʵÏÖÕý³£ÔËÐС£

SparkÏîĿĿǰ֧³ÖרÓÃSpark£¨¶ÀÁ¢£©¡¢MesosÒÔ¼°YARN¼¯Èº¡£ÔËÐÐÔÚ¼¯Èºµ±ÖеÄÿ¸öÇý¶¯³ÌÐòÒÔ¸÷×Ô¶ÀÁ¢µÄ·½Ê½¸ºÔð×ÊÔ´·ÖÅäÓëÈÎÎñµ÷¶È¹¤×÷¡£¾¡¹ÜÒÔ¸ôÀ뷽ʽ½øÐÐÓ¦ÓóÌÐò½»¸¶£¬µ«ÕâÖּܹ¹ÍùÍùÁȺºÜÄѸßЧʵÏÖÄÚ´æ¹ÜÀí¡ª¡ªÒ²¾ÍÊǶÔÓÚSpark¶øÑÔ×îΪ±¦¹óµÄ×ÊÔ´ÀàÐÍ¡£¶à¸ö¸ßÄÚ´æÏûºÄÈÎÎñÔÚͬʱÌύʱ£¬ÍùÍù»á˲¼ä½«ÄÚ´æÍÌÊÉ´ù¾¡¡£¾¡¹Ü¶ÀÁ¢¼¯Èº¹ÜÀíÆ÷Äܹ»ÊµÏÖ¼òµ¥µÄ×ÊÔ´µ÷¶È£¬µ«È´Ö»ÄÜ×öµ½¿çÓ¦ÓóÌÐòFIFO£¨¼´ÏÈÈëÏȳö£©ÕâÖÖ¼òµ¥µÄ³Ì¶È£¬¶øÇÒÎÞ·¨ÊµÏÖ×ÊԴʶ±ð¡£

×ÜÌå¶øÑÔ£¬Spark¿ª·¢ÈËÔ±±ØÐë¸üÇãÏòÓÚÂã»ú²ãÃæË¼Î¬£¬¶ø·ÇÀûÓÃÏñHive»òÕßPigÕâÑùµÄ¸ß¼¶Ó¦ÓóÌÐò½«Êý¾Ý·ÖÎö×÷Ϊ˼¿¼³ö·¢µã¡£¾ÙÀýÀ´Ëµ£¬ÓÉÓÚÇý¶¯³ÌÐò³äµ±×ŵ÷¶ÈÈÎÎñµÄÖ´ÐÐÕߣ¬ËüÐèÒª×î´ó³Ì¶ÈÓëÕâЩ¹¤×÷½Úµã±£³Ö½ôÃܾàÀë¡¢´Ó¶ø±ÜÃâÍøÂçÑÓ³Ù¶ÔÖ´ÐÐЧ¹ûÔì³ÉµÄ¸ºÃæÓ°Ïì¡£

Çý¶¯³ÌÐòÓ뼯Ⱥ¹ÜÀíÆ÷¸ß¿ÉÓÃÐÔÕâÁ½Õß¶¼ºÜÖØÒª¡£Èç¹ûÇý¶¯³ÌÐòÍ£Ö¹¹¤×÷£¬ÈÎÎñÒ²½«Á¢¼´ÖÐÖ¹¡£¶øÈç¹û¼¯Èº¹ÜÀíÆ÷³öÏÖ¹ÊÕÏ£¬ÐµÄÈÎÎñÔòÎÞ·¨±»Ìá½»ÖÁÆäÖУ¬²»¹ýÏÖÓÐÈÎÎñÈÔ½«¼ÌÐø±£³ÖÖ´ÐС£ÔÚSpark 1.1°æ±¾µ±ÖУ¬Ö÷¸ß¿ÉÓÃÐÔ»úÖÆÓɶÀÁ¢Spark¼¯ÈºÍ¨¹ýZooKeeperʵÏÖ£¬µ«Çý¶¯³ÌÐòȴȱ·¦Óë¸ß¿ÉÓÃÐÔÏà¹ØµÄ±£ÕÏ´ëÊ©¡£

½«Ò»Ì×Spark¼¯Èºµ±ÖеÄÐÔÄÜ×î´ó³Ì¶Èѹե³öÀ´¸üÏñÊÇÒ»ÖÖħ·¨ÉõÖÁÑýÊõ£¬ÒòΪÆäÖÐÐè񻃾¼°¶ÔÇý¶¯³ÌÐò¡¢Ö´ÐÐÆ÷¡¢ÄÚ´æÒÔ¼°Äں˵Ä×ÔÓÉ×éºÏ¼°·´¸´ÊµÑ飬ͬʱ¸ù¾ÝÌØ¶¨¼¯Èº¹ÜÀíÆ÷¶ÔCPU¼°ÄÚ´æÊ¹ÓÃÂʼÓÒÔÓÅ»¯¡£Ä¿Ç°¹ØÓÚ´ËÀàÔËάÈÎÎñµÄÖ¸µ¼ÐÔÎĵµ»¹·Ç³£Ï¡È±£¬¶øÇÒ´ó¼Ò¿ÉÄÜÐèÒªÓëͬʽøÐÐÆµ·±¹µÍ¨²¢ÉîÈëÔĶÁÔ´´úÂëÀ´ÊµÏÖÕâһĿ±ê¡£

SparkÓ¦ÓóÌÐò¼Ü¹¹¡£SparkĿǰ¿ÉÒÔ±»²¿ÊðÔÚSpark¶ÀÁ¢¡¢YARN»òÕßMesos¼¯Èºµ±ÖС£Çë×¢Ò⣬ÔËÐÐÔÚ¼¯Èºµ±ÖеÄÿһ¸öÇý¶¯³ÌÐò¶¼»áÒԱ˴˶ÀÁ¢µÄ·½Ê½½øÐÐ×ÊÔ´·ÖÅäÓëÈÎÎñµ÷¶È¡£

¼à¿ØÓëÔËά

ÿһ¿îÇý¶¯³ÌÐò¶¼ÓµÓÐ×Ô¼ºµÄÒ»Ì×Web UI£¬Í¨³£Îª¶Ë¿Ú4040£¬ÆäÖÐÏÔʾËùÓÐʵÓÃÐÔÐÅÏ¢¡ª¡ª°üÀ¨µ±Ç°ÔËÐÐÈÎÎñ¡¢µ÷¶È³Ì¶È¡¢Ö´ÐÐÆ÷¡¢½×¶Î¡¢ÄÚ´æÓë´æ´¢Ê¹ÓÃÂÊ¡¢RDDµÈµÈ¡£ÕâÌ×UIÖ÷Òª³äµ±ÐÅÏ¢½»¸¶¹¤¾ß£¬¶ø·ÇÕë¶ÔSparkÓ¦ÓóÌÐò»òÕß¼¯ÈºµÄ¹ÜÀí·½°¸¡£µ±È»£¬ÕâÒ²Êǵ÷ÊÔÒÔ¼°ÐÔÄܵ÷Õû֮ǰµÄ»ù´¡ÐÔ¹¤¾ß¡ª¡ªÎÒÃÇÐèÒªÁ˽âµÄ¡¢ÓëÓ¦ÓóÌÐòÔËÐÐÃÜÇÐÏà¹ØµÄ¼¸ºõËùÓÐÐÅÏ¢¶¼ÄÜÔÚÕâÀïÕÒµ½¡£

ËäÈ»ËãÊǸö²»´íµÄ¿ªÊ¼£¬µ«ÕâÌ×Web UIÔÚϸ½Ú·½ÃæÈÔÈ»ÏԵñȽϴֲڡ£¾ÙÀýÀ´Ëµ£¬ÒªÏë²é¿´ÈÎÎñÀúÊ·¼Ç¼¡¢ÎÒÃÇÐèÒªµ¼º½µ½Ò»Ì¨¶ÀÁ¢µÄÀúÊ··þÎñÆ÷£¬³ý·Ç´ó¼ÒËùʹÓõÄÊÇ´¦ÓÚ¶ÀÁ¢Ä£Ê½Ïµļ¯Èº¹ÜÀíÆ÷¡£²»¹ý×î´óµÄȱµãÔÚÓÚ£¬ÕâÌ×Web UIȱÉÙ¶ÔÓÚÔËάÐÅÏ¢µÄ¹ÜÀíÓë¿ØÖÆÄÜÁ¦¡£Æô¶¯ÓëÖÐÖ¹½ÚµãÔËÐС¢²é¿´½ÚµãÔËÐÐ×´¿öÒÔ¼°ÆäËüһЩ¼¯Èº²ãÃæµÄͳ¼ÆÐÅÏ¢ÔÚÕâÀïÒ»¸ÅÎÞ·¨ÊµÏÖ¡£×ÜÌå¶øÑÔ£¬Spark¼¯ÈºµÄÔËÐÐÈÔȻͣÁôÔÚÃüÁîÐвÙ×÷ʱ´ú¡£

SparkµÄWeb UIÌṩÁËÓ뵱ǰÔËÐÐÈÎÎñÏà¹ØµÄ·á¸»ÐÅÏ¢£¬µ«ËùÓÐÖ¸Ïò¼¯ÈºµÄ¹ÜÀí²Ù×÷ÔòÐèÒªÍêȫͨ¹ýÃüÁîÐÐÀ´ÊµÏÖ¡£

Spark¶Ô¾öTez

ÊÂʵÉÏ£¬SparkÓëTez¶¼²ÉÓÃÓÐÏòÎÞ»·Í¼£¨¼ò³ÆDAG£©Ö´Ðз½Ê½£¬ÕâÁ½Ì׿ò¼ÜÖ®¼äµÄ¹ØÏµ¾ÍÈçÆ»¹ûÓë½Û×Ó°ã²»·ÖÐùéù£¬¶ø×î´óµÄ²î±ðÔÚÓÚÆäÊÜÖÚÒÔ¼°Éè¼ÆË¼Â·¡£¼´Ê¹Èç´Ë£¬ÎÒ·¢ÏֺܶàIT²¿ÃÅÈÔȻûÄÜ·ÖÇåÕâÁ½¿î¿ò¼Ü¼äµÄ²îÒìËùÔÚ¡£

TezÊÇÒ»¿îÓ¦ÓóÌÐò¿ò¼Ü£¬Éè¼ÆÄ¿µÄÔÚÓÚ°ïÖú¿ª·¢ÈËÔ±±àд³ö¸üΪ¸ßЧµÄ¶à¼¶MapReduceÈÎÎñ¡£¾ÙÀýÀ´Ëµ£¬ÔÚHive 0.13°æ±¾µ±ÖУ¬HQL£¨¼´Hive²éѯÓïÑÔ£©ÓÉÓïÑÔ±àÒëÆ÷¸ºÔð½âÎö²¢×÷ΪTez DAG½øÐÐäÖȾ£¬¼´½«Êý¾ÝÁ÷Ó³ÉäÖÁ´¦Àí½Úµã´¦ÒÔʵÏÖ¸ßЧִÐС£Tez DAGÓÉÓ¦ÓóÌÐòÒÔ±ßÔµµ½±ßÔµ¡¢¶¥µãµ½¶¥µãµÄ·½Ê½½øÐй¹½¨¡£Óû§ÔòÍêÈ«²»ÐèÒªÁ˽âTez DAGµÄ¹¹½¨·½Ê½£¬ÉõÖÁ¸ÐÊܲ»µ½ËüµÄ´æÔÚ¡£

SparkÓëTezÖ®¼äµÄÕæÕý²îÒìÔÚÓÚ¶þÕßʵÏÖ·½Ê½µÄ²»Í¬¡£ÔÚSparkÓ¦ÓóÌÐòµ±ÖУ¬Í¬ÑùµÄ¹¤×÷½Úµãͨ¹ý¿çµü´úʵÏÖÖØÐÂʹÓã¬Õâ¾ÍÏû³ýÁËJVMÆô¶¯Ëù´øÀ´µÄ×ÊÔ´³É±¾¡£Spark¹¤×÷½Úµã»¹Äܹ»¶Ô±äÁ¿½øÐлº´æ´¦Àí£¬´Ó¶øÏû³ý¶ÔÊýÖµ½øÐпçµü´úÖØÐ¶ÁÈ¡ÓëÖØÐ¼ÆËãµÄÐèÒª¡£ÕýÊÇ½è¼ø×ÅÒÔÉϼ¸´óÌØÕ÷£¬Spark²ÅÄܹ»ÔÚµü´ú±à³Ìµ±ÖÐÈçÓãµÃË®¡¢³ä·Ö·¢Á¦¡£¶øÓÉ´Ë´øÀ´µÄȱµãÊÇ£¬SparkÓ¦ÓóÌÐò»áÏûºÄ´óÁ¿¼¯Èº×ÊÔ´¡¢ÌرðÊÇÔÚ»º´æ¹ýÆÚµÄÇé¿öÏ¡£ÎÒÃǺÜÄÑÔÚ¼¯ÈºÔËÐÐ×ÅSparkµÄʱºò¶Ô×ÊÔ´½øÐÐÓÅ»¯¡£

¾¡¹ÜÖ§³Ö¶à¼¶ÈÎÎñÖ´ÐлúÖÆ£¬TezÈÔÈ»²»¾ß±¸ÈκÎÐÎʽµÄ»º´æ´¦ÀíÄÜÁ¦¡£ËäÈ»±äÁ¿Äܹ»ÔÚÒ»¶¨³Ì¶ÈÉϵõ½»º´æ´¦Àí£¬´Ó¶ø±£Ö¤¹æ»®Æ÷ÔÚ¿ÉÄܵÄÇé¿öϱ£Ö¤µ÷¶ÈÈÎÎñ´Óͬ½ÚµãÖеÄÉÏÒ»¼¶´¦»ñÈ¡±ØÒªÊýÖµ£¬µ«Tezµ±ÖÐÈÔȻδÄÜÌṩÈκÎÒ»ÖÖ¾­¹ýÍ×ÉÆ¹æ»®µÄ¿çµü´ú»òÕß±äÁ¿¹ã²¥»úÖÆ¡£³ý´ËÖ®Í⣬TezÈÎÎñ»¹ÐèÒª·´¸´Æô¶¯JVM£¬¶øÕâ»á´øÀ´¶îÍâµÄ×ÊÔ´¿ªÏú¡£Òò´Ë£¬Tez¸üÊʺϴ¦ÀíÄÇЩ¹æÄ£¼«ÎªÅÓ´óµÄÊý¾Ý¼¯£¬ÔÚÕâÖÖÇé¿öÏÂÆô¶¯Ê±¼äÖ»Õ¼ÕûÌåÈÎÎñ´¦ÀíÖÜÆÚµÄһС²¿·Ö¡¢¼¸ºõ¿ÉÒÔºöÂÔ²»¼Æ¡£

ÔÚ´ó¶àÊýÇé¿öÏ£¬HadoopÉçÇø¶Ô´Ë¶¼ÓµÓкܺõÄÒÆ»¨½Óľʽ½â¾ö·½°¸£¬¶øÇÒÆäÖÐ×î³öÉ«µÄ²¿·Ö»úÖÆÒѾ­Äܹ»×÷ÓÃÓÚÆäËüÏîÄ¿¡£¾ÙÀýÀ´Ëµ£¬YARN-1197½«ÔÊÐíSparkÖ´ÐÐÆ÷ÒÔ¶¯Ì¬·½Ê½½øÐйæÄ£µ÷Õû£¬ÕâÑùËüÃǾÍÄܹ»ÔÚºÏÊʵÄÌõ¼þϽ«×ÊÔ´·µ»¹¸ø¼¯Èº¡£ÓëÖ®ÏàËÆ£¬Stinger.next½«ÎªHiveµÈ´«Í³HadoopÓ¦ÓóÌÐò´øÀ´ÓÉ¿ç²éѯ»º´æÌṩµÄ¾Þ´óÓÅÊÆ¡£

Ò»ÕûÌ×¼¯³É»¯·ÖÎöÉú̬ϵͳ

SparkËù²ÉÓõĵײãRDD³éÏó»úÖÆ¹¹½¨ÆðÕû¸öSparkÉú̬ϵͳµÄºËÐÄÊý¾Ý½á¹¹¡£ÔÚ»úÆ÷ѧϰ£¨MLlib£©¡¢Êý¾Ý²éѯ£¨Spark SQL£©¡¢Í¼ÐηÖÎö£¨GraphX£©ÒÔ¼°Á÷ÔËÐУ¨Spark Streaming£©µÈÄ£¿éµÄ¹²Í¬Ö§³ÖÏ£¬¿ª·¢ÈËÔ±Äܹ»ÒÔÎ޷컯·½Ê½Ê¹ÓÃÀ´×ÔÈÎÒâµ¥Ò»Ó¦ÓóÌÐòµÄ¿â¡£

¾ÙÀýÀ´Ëµ£¬¿ª·¢ÈËÔ±¿ÉÒÔ¸ù¾ÝHDFSµ±ÖеÄij¸öÎļþ´´½¨Ò»¸öRDD£¬½«¸ÃRDDת»»ÎªSchemaRDD¡¢ÀûÓÃSpark SQL¶ÔÆä½øÐвéѯ£¬¶øºó½«½á¹û½»¸¶¸øMLlib¿â¡£×îºó£¬½á¹ûRDD¿ÉÒÔ±»²åÈëµ½Spark Streamingµ±ÖУ¬´Ó¶ø³äµ±ÏûÏ¢½»¸¶»úÖÆµÄÔ¤²âÐÔÄ£ÐÍ¡£Èç¹ûÒªÔÚ²»Ê¹ÓÃSparkÏîÄ¿µÄÇé¿öÏÂʵÏÖÒÔÉÏÄ¿±ê£¬´ó¼ÒÐèҪʹÓöàÌ׿⡢¶ÔÊý¾Ý½á¹¹½øÐзâ°üÓëת»»£¬²¢Í¶Èë´óÁ¿Ê±¼äÓ뾫Á¦¶ÔÆä¼ÓÒÔ²¿Êð¡£×ÜÌå¶øÑÔ£¬½«Èýµ½ÉϸöÔÚ×î³õÉè¼Æµ±Öв¢Î´¿¼ÂǹýЭ×÷³¡¾°µÄÓ¦ÓóÌÐòÕûºÏÔÚÒ»Æð¾ø¶Ô²»ÊÇÕý³£È˵ĴàÈõÐÄÁéËùÄܳÐÊܵijÁÖØ¸ºµ£¡£

¶ÑÕ»¼¯³É»úÖÆÈÃSparkÔÚ½»»¥Ê½Êý¾Ý̽Ë÷ÓëͬһÊý¾Ý¼¯ÄÚµÄÖØ¸´ÐÔº¯ÊýÓ¦ÓÃÁìÓòÓµÓÐ×Ų»¿ÉÌæ´úµÄÖØÒª¼ÛÖµ¡£»úÆ÷ѧϰÕýÊÇSparkÏîÄ¿´óչȭ½ÅµÄÀíÏ볡¾°£¬¶øÔÚ²»Í¬Éú̬ϵͳ֮¼äÒÔ͸Ã÷·½Ê½ÊµÏÖRDD¹²ÏíµÄÌØÐÔ¸üÊÇ´ó´ó¼ò»¯ÁËÏÖ´úÊý¾Ý·ÖÎöÓ¦ÓóÌÐòµÄ±àдÓ벿ÊðÁ÷³Ì¡£

È»¶ø£¬ÕâЩÓÅÊÆµÄʵÏÖ²¢·ÇÈ«ÎÞ´ú¼Û¡£ÔÚ1.xϵÁа汾µ±ÖУ¬SparkϵͳÔÚÖî¶àϸ½ÚÉÏ»¹ÏÔµÃÏ൱´Ö²Ú¡£¾ßÌå¶øÑÔ£¬È±·¦°²È«ÐÔ£¨SparkÎÞ·¨ÔËÐÐÔÚKerberised¼¯Èºµ±ÖУ¬Ò²²»¾ß±¸ÈÎÎñ¿ØÖƹ¦ÄÜ£©¡¢È±·¦ÆóÒµ¼¶ÔËά¹¦ÄÜ¡¢ËµÃ÷ÎĵµÖÊÁ¿Ôã¸â£¬¶øÇÒÑÏ¿ÁµÄϡȱÐÔ¼¼ÄÜÒªÇóÒâζ×ÅĿǰSparkÈÔȻֻÊʺÏÔçÆÚʵÑéÐÔ²¿Êð»òÕßÄÇЩÓÐÄÜÁ¦Âú×ã´ó¹æÄ£»úÆ÷ѧϰģÐͱØÐèÌõ¼þÇÒÔ¸ÒâΪÆä¹¹½¨Ö§¸¶ÈκÎͶÈëµÄ´óÐÍÆóÒµ¡£

µ½µ×Ó¦²»Ó¦¸Ã²¿ÊðSparkËãÊÇÒ»¸ö¡°ÈÊÕß¼ûÈÊ£¬ÖÇÕß¼ûÖÇ¡±µÄ¿ª·ÅÐÔÒéÌâ¡£¶ÔÓÚÒ»²¿·Ö×éÖ¯¶øÑÔ£¬SparkÕâÌ×Ëٶȼ«¿ìµÄÄÚ´æÄÚ·ÖÎöÒýÇæÄܹ»´øÀ´Öî¶àÓÅÊÆ£¬´Ó¶øÇáËÉΪÆä´øÀ´ÀíÏëµÄͶ×ʻر¨±íÏÖ¡£µ«¶ÔÓÚÁíһЩ×éÖ¯À´Ëµ£¬ÄÇЩËäÈ»ËÙ¶ÈÏà¶Ô½ÏÂýµ«È´¸üΪ³ÉÊìµÄ¹¤¾ßÈÔÈ»ÊÇÆä²»¶þ֮ѡ£¬±Ï¾¹ËüÃÇÓµÓÐÊÊºÏÆóÒµÐèÇóµÄÍêÉÆ¹¦ÄܶøÇÒ¸üÈÝÒ×ÕÒµ½ÓÐÄÜÁ¦¶ÔÆä½øÐйÜÀíÓë¿ØÖÆµÄ¼¼ÊõÈËÔ±¡£

ÎÞÂÛÈçºÎ£¬ÎÒÃǶ¼Òª³ÐÈÏSparkµÄ»ý¼«ÒâÒå¡£SparkÏîÄ¿½«Ò»ÏµÁд´ÐÂÐÍ˼ά´øÈëÁË´óÊý¾Ý´¦ÀíÊг¡£¬²¢ÇÒ±íÏÖ³ö¼«ÎªÇ¿¾¢µÄ·¢Õ¹ÊÆÍ·¡£Ëæ×ÅÆäÖð²½³ÉÊ죬¿ÉÒԿ϶¨Spark½«×îÖÕ³ÉΪһ֧²»ÈݺöÊӵľ޴óÁ¦Á¿¡£

Apache Spark 1.1.0 / ApacheÈí¼þ»ù½ð»á

×ܽáÐÔÃèÊö

×÷ΪһÌ×Å䱸¾«ÃîAPIÒÔʵÏÖÊý¾Ý´¦ÀíÓ¦ÓóÌÐò´´½¨Ä¿±êµÄ¸ßËÙÄÚ´æÄÚ·ÖÎöÒýÇæ£¬SparkÔÚµü´ú¹¤×÷¸ºÔØÕâÀàÐèÒªÖØ¸´·ÃÎÊͬһÌ×»òÕß¶àÌ×Êý¾Ý¼¯µÄÁìÓò¡ª¡ªÀýÈç»úÆ÷ѧϰ¡ª¡ª±íÏÖ³öÎÞ¿ÉÆ¥µÐµÄ¾ºÕùÓÅÊÆ¡£

»ùÓÚApache 2.0Ðí¿ÉµÄ¿ªÔ´ÏîÄ¿

ÓÅÊÆ

1.¾«ÃîÇҾ߱¸Ò»ÖÂÐÔ±£ÕϵÄAPI°ïÖú¿ª·¢ÈËԱ˳Àû¹¹½¨ÆðÊý¾Ý´¦ÀíÓ¦ÓóÌÐò

2.Ö§³ÖHadoop¼¯ÈºÉϵĽ»»¥Ê½²éѯÓë´ó¹æÄ£Êý¾Ý¼¯·ÖÎöÈÎÎñ

3.ÔÚÔËÐеü´ú¹¤×÷¸ºÔØÊ±ÓµÓи߳öHadoop¼¸¸öÊýÁ¿¼¶µÄËٶȱíÏÖ

4.Äܹ»ÒÔ¶ÀÁ¢ÅäÖá¢YARN¡¢Hadoop MapReduce»òÕßMesosµÈ·½Ê½²¿ÊðÔÚHadoop¼¯Èºµ±ÖÐ

5.RDD£¨¼´µ¯ÐÔ·Ö²¼Ê½Êý¾Ý¼¯£©Äܹ»ÔÚ²»Í¬SparkÏîĿ֮¼ä˳Àû¹²Ïí£¬´Ó¶øÔÊÐíÓû§½«SQL¡¢»úÆ÷ѧϰ¡¢Á÷ÔËÐÐÒÔ¼°Í¼ÐεÈÔªËØ²ôÔÓÔÚͬһ³ÌÐòµ±ÖÐ

6.Web UIÌṩÓëSpark¼¯Èº¼°µ±Ç°ÔËÐÐÈÎÎñÏà¹ØµÄ¸÷ÀàʵÓÃÐÔÐÅÏ¢

ȱµã

1.°²È«ÐÔ²»ÀíÏë

2.˵Ã÷ÎĵµÖÊÁ¿Ôã¸â

3.²»¾ß±¸¼¯Èº×ÊÔ´¹ÜÀíÄÜÁ¦

4.ѧϰÇúÏß²»¹»ÓѺÃ

   
2425 ´Îä¯ÀÀ       27
Ïà¹ØÎÄÕÂ

»ùÓÚEAµÄÊý¾Ý¿â½¨Ä£
Êý¾ÝÁ÷½¨Ä££¨EAÖ¸ÄÏ£©
¡°Êý¾Ýºþ¡±£º¸ÅÄî¡¢ÌØÕ÷¡¢¼Ü¹¹Óë°¸Àý
ÔÚÏßÉ̳ÇÊý¾Ý¿âϵͳÉè¼Æ ˼·+Ч¹û
 
Ïà¹ØÎĵµ

GreenplumÊý¾Ý¿â»ù´¡Åàѵ
MySQL5.1ÐÔÄÜÓÅ»¯·½°¸
ijµçÉÌÊý¾ÝÖÐ̨¼Ü¹¹Êµ¼ù
MySQL¸ßÀ©Õ¹¼Ü¹¹Éè¼Æ
Ïà¹Ø¿Î³Ì

Êý¾ÝÖÎÀí¡¢Êý¾Ý¼Ü¹¹¼°Êý¾Ý±ê×¼
MongoDBʵս¿Î³Ì
²¢·¢¡¢´óÈÝÁ¿¡¢¸ßÐÔÄÜÊý¾Ý¿âÉè¼ÆÓëÓÅ»¯
PostgreSQLÊý¾Ý¿âʵսÅàѵ
×îл¼Æ»®
DeepSeekÔÚÈí¼þ²âÊÔÓ¦ÓÃʵ¼ù 4-12[ÔÚÏß]
DeepSeek´óÄ£ÐÍÓ¦Óÿª·¢Êµ¼ù 4-19[ÔÚÏß]
UAF¼Ü¹¹ÌåϵÓëʵ¼ù 4-11[±±¾©]
AIÖÇÄÜ»¯Èí¼þ²âÊÔ·½·¨Óëʵ¼ù 5-23[ÉϺ£]
»ùÓÚ UML ºÍEA½øÐзÖÎöÉè¼Æ 4-26[±±¾©]
ÒµÎñ¼Ü¹¹Éè¼ÆÓ뽨ģ 4-18[±±¾©]

MySQLË÷Òý±³ºóµÄÊý¾Ý½á¹¹
MySQLÐÔÄܵ÷ÓÅÓë¼Ü¹¹Éè¼Æ
SQL ServerÊý¾Ý¿â±¸·ÝÓë»Ö¸´
ÈÃÊý¾Ý¿â·ÉÆðÀ´ 10´óDB2ÓÅ»¯
oracleµÄÁÙʱ±í¿Õ¼äдÂú´ÅÅÌ
Êý¾Ý¿âµÄ¿çƽ̨Éè¼Æ


²¢·¢¡¢´óÈÝÁ¿¡¢¸ßÐÔÄÜÊý¾Ý¿â
¸ß¼¶Êý¾Ý¿â¼Ü¹¹Éè¼ÆÊ¦
HadoopÔ­ÀíÓëʵ¼ù
Oracle Êý¾Ý²Ö¿â
Êý¾Ý²Ö¿âºÍÊý¾ÝÍÚ¾ò
OracleÊý¾Ý¿â¿ª·¢Óë¹ÜÀí


GE Çø¿éÁ´¼¼ÊõÓëʵÏÖÅàѵ
º½Ìì¿Æ¹¤Ä³×Ó¹«Ë¾ Nodejs¸ß¼¶Ó¦Óÿª·¢
ÖÐÊ¢Òæ»ª ׿Խ¹ÜÀíÕß±ØÐë¾ß±¸µÄÎåÏîÄÜÁ¦
ijÐÅÏ¢¼¼Êõ¹«Ë¾ PythonÅàѵ
ij²©²ÊITϵͳ³§ÉÌ Ò×ÓÃÐÔ²âÊÔÓëÆÀ¹À
ÖйúÓÊ´¢ÒøÐÐ ²âÊÔ³ÉÊì¶ÈÄ£Ðͼ¯³É(TMMI)
ÖÐÎïÔº ²úÆ·¾­ÀíÓë²úÆ·¹ÜÀí