Äú¿ÉÒÔ¾èÖú£¬Ö§³ÖÎÒÃǵĹ«ÒæÊÂÒµ¡£

1Ôª 10Ôª 50Ôª





ÈÏÖ¤Â룺  ÑéÖ¤Âë,¿´²»Çå³þ?Çëµã»÷Ë¢ÐÂÑéÖ¤Âë ±ØÌî



  ÇóÖª ÎÄÕ ÎÄ¿â Lib ÊÓÆµ iPerson ¿Î³Ì ÈÏÖ¤ ×Éѯ ¹¤¾ß ½²×ù Model Center   Code  
»áÔ±   
   
 
     
   
 ¶©ÔÄ
  ¾èÖú
Hadoop - Zeppelin ʹÓÃÐĵÃ
 
×÷Õߣº¸ç²»ÊÇСÂÜÀò
 
  2134  次浏览      27
2020-8-7 
 
±à¼­ÍƼö:
±¾ÎÄÖ÷Òª½éÉÜÁË Zeppelin ÊÇʲô£¬ÔõôʹÓü°Ê¹ÓõIJÙ×÷¹ý³Ì£¬Ï£Íû±¾ÎĶԴó¼ÒÓаïÖú¡£
±¾ÎÄÀ´×Ô²©¿ÍÔ°£¬ÓÉ»ðÁú¹ûÈí¼þAnna±à¼­¡¢ÍƼö¡£

1.¸ÅÊö

ÔÚ±àд Flink£¬Spark£¬Hive µÈÏà¹Ø×÷ҵʱ£¬ÒªÊÇÄÜ¿ìËٵĽ«ÎÒÃÇËù±àдµÄ×÷ÒµÄÜ¿ÉÊÓ»¯ÔÚÎÒÃÇÃæÇ°£¬ÊǼþÈÃÈËÐ˷ܵÄʱ£¬Èç¹ûÄÜ´øÉÏÇ÷ÊÆ¹¦Äܾ͸üºÃÁË¡£½ñÌ죬¸ø´ó¼Ò½éÉÜÕâôһ¿î¹¤¾ß¡£Ëü¾ÍÄÜÂú×ãÉÏÊöÒªÇó£¬ÔÚʹÓÃÁËÒ»¶Îʱ¼äÖ®ºó£¬ÕâÀï¸ø´ó¼Ò·ÖÏíÒÔÏÂʹÓÃÐĵá£

2.How to do

Ê×ÏÈ£¬ÎÒÃÇÀ´Á˽âÒ»ÏÂÕâ¿î¹¤¾ßµÄ±³¾°¼°ÓÃ;¡£Zeppelin ĿǰÒÑÍйÜÓÚ Apache »ù½ð»á£¬µ«²¢Î´ÁÐΪ¶¥¼¶ÏîÄ¿£¬¿ÉÒÔÔÚÆä¹«²¼µÄ ¹ÙÍø·ÃÎÊ¡£ËüÌṩÁËÒ»¸ö·Ç³£ÓÑºÃµÄ WebUI ½çÃæ£¬²Ù×÷Ïà¹ØÖ¸Áî¡£Ëü¿ÉÒÔÓÃÓÚ×öÊý¾Ý·ÖÎöºÍ¿ÉÊÓ»¯¡£ÆäºóÃæ¿ÉÒÔ½ÓÈ벻ͬµÄÊý¾Ý´¦ÀíÒýÇæ¡£°üÀ¨ Flink£¬Spark£¬Hive µÈ¡£Ö§³ÖÔ­ÉúµÄ Scala£¬Shell£¬Markdown µÈ¡£

2.1 Install

¶ÔÓÚ Zeppelin ¶øÑÔ£¬²¢²»ÒÀÀµ Hadoop ¼¯Èº»·¾³£¬ÎÒÃÇ¿ÉÒÔ²¿Êðµ½µ¥¶ÀµÄ½ÚµãÉϽøÐÐʹÓá£Ê×ÏÈÎÒÃÇ»ñÈ¡°²×°°ü£º

ÕâÀÓÐ2ÖÖÑ¡Ôñ£¬ÆäÒ»£¬¿ÉÒÔÏÂÔØÔ­Îļþ£¬×ÔÐбàÒë°²×°¡£Æä¶þ£¬Ö±½ÓÏÂÔØ¶þ½øÖÆÎļþ½øÐа²×°¡£ÕâÀΪÁË·½±ã£¬±ÊÕßÖ±½ÓʹÓöþ½øÖÆÎļþ½øÐа²×°Ê¹Óá£ÕâÀïÓÐЩ²ÎÊýÐèÒª½øÐÐÅäÖã¬ÎªÁ˱£Ö¤ÏµÍ³Õý³£Æô¶¯£¬È·±£µÄ zeppelin.server.port ÊôÐԵĶ˿ڲ»±»Õ¼Óã¬Ä¬ÈÏÊÇ8080£¬ÆäËûÊôÐÔ´ó¼Ò¿É°´ÐèÅäÖü´¿É¡££ÛÅäÖÃÁ´½Ó£Ý

2.2 Start/Stop

ÔÚÍê³ÉÉÏÊö²½Öèºó£¬Æô¶¯¶ÔÓ¦µÄ½ø³Ì¡£¶¨Î»µ½ Zeppelin °²×°Ä¿Â¼µÄbinÎļþ¼ÐÏ£¬Ê¹ÓÃÒÔÏÂÃüÁîÆô¶¯½ø³Ì£º

./zeppelin-daemon.sh start

ÈôÐèҪֹͣ£¬¿ÉÒÔʹÓÃÒÔÏÂÃüÁîÍ£Ö¹½ø³Ì£º

./zeppelin-daemon.sh stop

ÁíÍ⣬ͨ¹ýÔĶÁ zeppelin-daemon.sh ½Å±¾µÄÄÚÈÝ£¬¿ÉÒÔ·¢ÏÖ£¬ÎÒÃÇ»¹¿ÉÒÔʹÓÃÏà¹ØÖØÆô£¬²é¿´×´Ì¬µÈÃüÁî¡£ÄÚÈÝÈçÏ£º

case "${1}" in
start)
start
;;
stop)
stop
;;
reload)
stop
start
;;
restart)
stop
start
;;
status)
find_zeppelin_process
;;
*)
echo ${USAGE}

3.How to use

ÔÚÆô¶¯Ïà¹Ø½ø³Ìºó£¬¿ÉÒÔʹÓÃÒÔϵØÖ·ÔÚä¯ÀÀÆ÷ÖзÃÎÊ£º

http://<Your_<IP/Host>:Port>

 

Æô¶¯Ö®ºóµÄ½çÃæÈçÏÂËùʾ£º

¸Ã½çÃæÂÞÁгö²å¼þ°ó¶¨Ïî¡£ÈçͼÖÐµÄ spark£¬md£¬sh µÈ¡£ÄÇÎÒÈçºÎʹÓÃÕâЩÀ´Íê³ÉһЩ¹¤×÷¡£ÔÚʹÓÃһЩÊý¾ÝÒýÇæÊ±£¬Èç Flink£¬Spark£¬Hive µÈ£¬ÊÇÐèÒªÅäÖöÔÓ¦µÄÁ¬½ÓÐÅÏ¢µÄ¡£ÔÚ Interpreter À¸´¦½øÐÐÅäÖá£ÕâÀï¸ø´ó¼ÒÁоÙһЩÅäÖÃʾÀý£º

3.1 Flink

¿ÉÒÔÕÒµ½ Flink µÄÅäÖÃÏÈçÏÂͼËùʾ£º

È»ºóÖ¸¶¨¶ÔÓ¦µÄ IP ºÍµØÖ·¼´¿É¡£

3.2 Hive

ÕâÀï Hive ÅäÖÃÐèÒªÖ¸ÏòÆä Thrift ·þÎñµØÖ·£¬ÈçÏÂͼËùʾ£º

ÁíÍ⣬ÆäËûµÄ²å¼þ£¬Èç Spark£¬Kylin£¬phoenixµÈÅäÖÃÀàËÆ£¬ÅäÖÃÍê³Éºó£¬¼ÇµÃµã»÷ ¡°restart¡± °´Å¥¡£

3.3 Use md and sh

ÏÂÃæ£¬ÎÒÃÇ¿ÉÒÔ´´½¨Ò»¸ö Notebook À´Ê¹Óã¬ÎÒÃÇÄÃ×î¼òµ¥µÄ Shell ºÍ Markdown À´ÑÝʾ£¬ÈçÏÂͼËùʾ£º

3.4 SQL

µ±È»£¬ÎÒÃǵÄÄ¿µÄ²¢²»Êǽö½öʹÓà Shell ºÍ Markdown£¬ÎÒÃÇÐèÒªÄܹ»Ê¹Óà SQL À´»ñÈ¡ÎÒÃÇÏëÒªµÄ½á¹û¡£

3.4.1 Spark SQL

ÏÂÃæ£¬ÎÒÃÇʹÓà Spark SQL È¥»ñÈ¡ÏëÒªµÄ½á¹û¡£ÈçÏÂͼËùʾ£º

ÕâÀ¿ÉÒÔ½«½á¹ûÒÔ²»Í¬µÄÐÎʽÀ´¿ÉÊÓ»¯£¬Á¿»¯£¬Ç÷ÊÆ£¬Ò»Ä¿ÁËÈ»¡£

3.4.2 Hive SQL

ÁíÍ⣬¿ÉÒÔʹÓö¯Ì¬¸ñʽÀ´²éѯ·ÖÇøÊý¾Ý£¬ÒÔ"${partition_col= 20160101, 20160102 |20160103 |20160104 |20160105 | 20160106}"µÄ¸ñʽ½øÐбíʾ¡£ÈçÏÂͼËùʾ£º

3.5 Video Guide

ÁíÍ⣬¹Ù·½Ò²¸ø³öÁËÒ»¸ö¿ìËÙÖ¸µ¼µÄÈëÃÅÊÓÆµ£¬¹Û¿´µØÖ·£º[Èë¿Ú]

4.×ܽá

ÔÚʹÓõĹý³Ìµ±ÖУ¬ÓÐЩµØ·½ÐèҪעÒ⣬±ØÐëÔÚ±àд Hive SQL ʱ£¬%hql ÐèÒªÌæ»»Îª %hive.sql µÄ¸ñʽ£»ÁíÍ⣬ÔÚÔËÐÐ Scala ´úÂëʱ£¬Èç¹û³öÏÖÒÔÏÂÒì³££¬ÈçÏÂͼËùʾ£º

½â¾ö·½°¸£¬ÔÚ zeppelin-env.sh ÎļþÖÐÌí¼ÓÒÔÏÂÄÚÈÝ£º

export ZEPPELIN_MEM=-Xmx4g

¸Ã BUG ÔÚ 0.5.6 °æ±¾µÃµ½ÐÞ¸´£¬²Î¿¼Â룺£ÛZEPPELIN-305£Ý

 
   
2134 ´Îä¯ÀÀ       27
Ïà¹ØÎÄÕÂ

»ùÓÚEAµÄÊý¾Ý¿â½¨Ä£
Êý¾ÝÁ÷½¨Ä££¨EAÖ¸ÄÏ£©
¡°Êý¾Ýºþ¡±£º¸ÅÄî¡¢ÌØÕ÷¡¢¼Ü¹¹Óë°¸Àý
ÔÚÏßÉ̳ÇÊý¾Ý¿âϵͳÉè¼Æ ˼·+Ч¹û
 
Ïà¹ØÎĵµ

GreenplumÊý¾Ý¿â»ù´¡Åàѵ
MySQL5.1ÐÔÄÜÓÅ»¯·½°¸
ijµçÉÌÊý¾ÝÖÐ̨¼Ü¹¹Êµ¼ù
MySQL¸ßÀ©Õ¹¼Ü¹¹Éè¼Æ
Ïà¹Ø¿Î³Ì

Êý¾ÝÖÎÀí¡¢Êý¾Ý¼Ü¹¹¼°Êý¾Ý±ê×¼
MongoDBʵս¿Î³Ì
²¢·¢¡¢´óÈÝÁ¿¡¢¸ßÐÔÄÜÊý¾Ý¿âÉè¼ÆÓëÓÅ»¯
PostgreSQLÊý¾Ý¿âʵսÅàѵ
×îл¼Æ»®
DeepSeekÔÚÈí¼þ²âÊÔÓ¦ÓÃʵ¼ù 4-12[ÔÚÏß]
DeepSeek´óÄ£ÐÍÓ¦Óÿª·¢Êµ¼ù 4-19[ÔÚÏß]
UAF¼Ü¹¹ÌåϵÓëʵ¼ù 4-11[±±¾©]
AIÖÇÄÜ»¯Èí¼þ²âÊÔ·½·¨Óëʵ¼ù 5-23[ÉϺ£]
»ùÓÚ UML ºÍEA½øÐзÖÎöÉè¼Æ 4-26[±±¾©]
ÒµÎñ¼Ü¹¹Éè¼ÆÓ뽨ģ 4-18[±±¾©]
 
×îÐÂÎÄÕÂ
´óÊý¾Ýƽ̨ϵÄÊý¾ÝÖÎÀí
ÈçºÎÉè¼ÆÊµÊ±Êý¾Ýƽ̨£¨¼¼Êõƪ£©
´óÊý¾Ý×ʲú¹ÜÀí×ÜÌå¿ò¼Ü¸ÅÊö
Kafka¼Ü¹¹ºÍÔ­Àí
ELK¶àÖּܹ¹¼°ÓÅÁÓ
×îпγÌ
´óÊý¾Ýƽ̨´î½¨Óë¸ßÐÔÄܼÆËã
´óÊý¾Ýƽ̨¼Ü¹¹ÓëÓ¦ÓÃʵս
´óÊý¾ÝϵͳÔËά
´óÊý¾Ý·ÖÎöÓë¹ÜÀí
Python¼°Êý¾Ý·ÖÎö
³É¹¦°¸Àý
ijͨÐÅÉ豸ÆóÒµ PythonÊý¾Ý·ÖÎöÓëÍÚ¾ò
Ä³ÒøÐÐ È˹¤ÖÇÄÜ+Python+´óÊý¾Ý
±±¾© Python¼°Êý¾Ý·ÖÎö
ÉñÁúÆû³µ ´óÊý¾Ý¼¼Êõƽ̨-Hadoop
ÖйúµçÐÅ ´óÊý¾Ýʱ´úÓëÏÖ´úÆóÒµµÄÊý¾Ý»¯ÔËӪʵ¼ù