அப்பாச்சி ஹைவ் மற்றும் பன்றிக்கு ஒரு சுருக்கமான அறிமுகம்

அப்பாச்சி ஹைவ் என்பது ஹடூப்பில் உள்ள தரவு குறித்த தற்காலிக வினவல்களைச் செய்வதற்கு ஹடூப்பின் மேல் அமர்ந்திருக்கும் ஒரு கட்டமைப்பாகும். ஹைவ் HiveQL ஐ ஆதரிக்கிறது, இது SQL ஐப் போன்றது, ஆனால் SQL இன் முழுமையான கட்டுமானங்களை ஆதரிக்காது.

ஹைவ் ஹைவ்யூக்எல் வினவலை ஜாவா மேப்ரூட்யூஸ் நிரலில் மறைக்கிறது, பின்னர் அதை ஹடூப் கிளஸ்டருக்கு சமர்ப்பிக்கிறது. HiveQL மற்றும் Java MapReduce ஐப் பயன்படுத்தி அதே விளைவை அடைய முடியும், ஆனால் Java MapReduce ஐப் பயன்படுத்துவது HiveQL உடன் ஒப்பிடும்போது நிறைய குறியீடுகளை எழுத / பிழைத்திருத்த வேண்டும். எனவே, HiveQL டெவலப்பர் உற்பத்தித்திறனை அதிகரிக்கிறது.

சுருக்கமாக, ஹைவ், ஹைவ் க்யூஎல் மொழி மூலம், ஜாவா மேப்ரூட்யூஸ் நிரலாக்கத்தின் மீது உயர் மட்ட சுருக்கத்தை வழங்குகிறது. வேறு எந்த உயர் மட்ட சுருக்கத்தையும் போலவே, ஜாவா மேப் ரீடூஸுடன் ஒப்பிடும்போது ஹைவ்யூக்யூலைப் பயன்படுத்தி ஒரு பிட் செயல்திறன் மேல்நிலை உள்ளது, ஆனால் ஹைவ் சமூகம் பொதுவாகப் பயன்படுத்தப்படும் பெரும்பாலான காட்சிகளுக்கு இந்த இடைவெளியைக் குறைக்க வேலை செய்கிறது.

அதே வரிசையில், பிக் மேப் ரெட்யூஸை விட உயர் மட்ட சுருக்கத்தை வழங்குகிறது. பிக் பிக்லாடின் கட்டுமானங்களை ஆதரிக்கிறது, அவை ஜாவா மேப்ரூட் திட்டமாக மாற்றப்பட்டு பின்னர் ஹடூப் கிளஸ்டருக்கு சமர்ப்பிக்கப்படுகின்றன.

HiveQL என்பது SQL போன்ற அறிவிக்கும் மொழியாக இருக்கும்போது, ​​பிக்லடின் ஒரு தரவு ஓட்ட மொழியாகும். ஒரு பிக்லாடின் கட்டமைப்பின் வெளியீட்டை மற்றொரு பிக்லட்டின் கட்டமைப்பிற்கு உள்ளீடாக அனுப்பலாம்.

சில காலத்திற்கு முன்பு, கிளவுட்ரா ஒரு பொதுவான ஹடூப் கிளஸ்டரில் பணிச்சுமை தன்மை பற்றிய புள்ளிவிவரங்களை வெளியிட்டார், மேலும் பன்றி மற்றும் ஹைவ் வேலைகள் ஒரு ஹடூப் கிளஸ்டரில் உள்ள வேலைகளில் ஒரு நல்ல பகுதியை உருவாக்குகின்றன என்பதை எளிதாகக் காணலாம். அதிக டெவலப்பர் உற்பத்தித்திறன் இருப்பதால், பல நிறுவனங்கள் பிக் மற்றும் ஹைவ் போன்ற உயர் மட்ட சுருக்கங்களைத் தேர்வு செய்கின்றன. எனவே, MapReduce வளர்ச்சியுடன் ஒப்பிடும்போது ஹைவ் மற்றும் பன்றைச் சுற்றி நிறைய வேலை வாய்ப்புகள் இருக்கும் என்று நாங்கள் பந்தயம் கட்டலாம்.

புரோகிராமிங் பன்றி புத்தகம் அக்டோபர் 2011 இல் வெளியிடப்பட்ட போதிலும், புரோகிராமிங் ஹைவ் புத்தகம் மிக சமீபத்தில், அக்டோபர் 2012 இல் வெளியிடப்பட்டது. ஆர்.டி.பி.எம்.எஸ் உடன் பணிபுரிந்த அனுபவம் உள்ளவர்களுக்கு, ஹைவ் உடன் தொடங்குவது பன்றியுடன் தொடங்குவதை விட சிறந்த தேர்வாக இருக்கும். தொடங்குவதற்கு பிக்லாட்டின் மொழி மிகவும் கடினம் அல்ல என்பதையும் நினைவில் கொள்க.

ஹடூப் கிளஸ்டருக்கு, ஜாவா மேப்ரூட் வேலை சமர்ப்பிக்கப்பட்டதா அல்லது ஹைவ் மற்றும் பிக் மூலம் மேப்ரூட் வேலை சமர்ப்பிக்கப்பட்டதா என்பது வெளிப்படையானது. MapReduce வேலைகளின் தொகுதி சார்ந்த தன்மை காரணமாக, ஹைவ் மற்றும் பிக் மூலம் சமர்ப்பிக்கப்பட்ட வேலைகளும் இயற்கையில் தொகுதி சார்ந்தவை.

நிகழ்நேர மறுமொழி தேவைகளுக்கு, ஹைவ் மற்றும் பிக் ஆகியவை மேப்ரூட் வேலைகளின் முன்னர் குறிப்பிட்ட தொகுதி சார்ந்த தன்மை காரணமாக தேவைகளை பூர்த்தி செய்யவில்லை. ஹடூப்பின் மேல் உள்ள ஊடாடும் தற்காலிக வினவல்களுக்காக ட்ரெமலை (கூகிளின் வெளியீடு) அடிப்படையாகக் கொண்ட இம்பாலாவை கிளவுட்ரா உருவாக்கினார். இம்பலா SQL போன்ற கேள்விகளை ஆதரிக்கிறது மற்றும் HiveQL உடன் இணக்கமானது. எனவே, ஹைவ் மேல் கட்டப்பட்ட எந்த பயன்பாடுகளும் இம்பலாவுடன் குறைந்தபட்ச மாற்றங்களுடன் செயல்பட வேண்டும். ஹைவ் மற்றும் இம்பலாவுக்கு இடையிலான முக்கிய வேறுபாடு என்னவென்றால், ஹைவ்யூக்யூஎல் ஜாவா மேப்ரூட் வேலைகளாக மாற்றப்பட்டாலும், இம்பலா SQL வினவலை ஜாவா மேப்ரூட் வேலைகளாக மறைக்காது.

ஒரு குறிப்பிட்ட தேவைக்கு நீங்கள் பன்றி அல்லது ஹைவ் உடன் செல்ல வேண்டுமா? அது மற்றொரு வலைப்பதிவின் தலைப்பு.

பிரவீன் ஸ்ரீபதியின் அனுமதியுடன் மீண்டும் வெளியிடப்பட்டது. அசல் கட்டுரையை இங்கே காணலாம்: http://www.thecloudavenue.com/2012/12/introduction-to-apache-hive-and-pig.html