பெரிய தரவு பகுப்பாய்விற்கு ஹடூப்பில் sql எவ்வாறு உதவ முடியும்?

ஹடூப்பில் உள்ள SQL என்பது பகுப்பாய்வு பயன்பாட்டுக் கருவிகளின் ஒரு குழுவாகும், இது SQL- பாணி வினவல் மற்றும் தரவின் செயலாக்கத்தை மிக சமீபத்திய ஹடூப் தரவு கட்டமைப்பின் கூறுகளுடன் இணைக்கிறது. ஹடூப்பில் SQL இன் தோற்றம் பெரிய தரவு செயலாக்கத்திற்கான ஒரு முக்கியமான வளர்ச்சியாகும், ஏனென்றால் ஹடூப் செயலாக்கப்படும் பெரிய தரவுகளின் மகத்தான அளவுகளில் SQL வினவல்களை இயக்குவதன் மூலம் பரந்த மக்கள் குழுக்கள் ஹடூப் தரவு செயலாக்க கட்டமைப்போடு வெற்றிகரமாக பணியாற்ற அனுமதிக்கிறது. வெளிப்படையாக, ஹடூப் கட்டமைப்பானது முன்னர் மக்களுக்கு அணுகக்கூடியதாக இல்லை, குறிப்பாக அதன் வினவல் திறன்களின் அடிப்படையில். வளர்ச்சியின் அடிப்படையில், பெரிய தரவை தரம் மற்றும் வேகத்துடன் செயலாக்குவதற்கும் பகுப்பாய்வு செய்வதற்கும் நிறுவனங்களின் உற்பத்தித்திறனை மேம்படுத்துவதாக உறுதியளிக்கும் பல கருவிகள் செயல்பாட்டில் உள்ளன. SQL இன் பாரம்பரிய அறிவு செய்ய வேண்டியது போல, கருவியைக் கற்றுக்கொள்வதில் நிறைய முதலீடு செய்ய வேண்டிய அவசியமில்லை.

ஹடூப்பில் SQL இன் வரையறை

ஹடூப்பில் உள்ள SQL என்பது ஹடூப் தரவு செயலாக்க கட்டமைப்பால் வழங்கப்பட்ட பெரிய தரவுகளில் SQL பாணி வினவல்களை இயக்க அனுமதிக்கும் பயன்பாடுகளின் குழு ஆகும். வெளிப்படையாக, ஹடூப்பில் SQL ஐ சேர்ப்பதன் மூலம் தரவு வினவல், மீட்டெடுப்பு மற்றும் பகுப்பாய்வு எளிதாகிவிட்டன. SQL முதலில் தொடர்புடைய தரவுத்தளங்களுக்காக வடிவமைக்கப்பட்டதால், இது MapReduce மற்றும் Hadoop விநியோகிக்கப்பட்ட கோப்பு முறைமை (HDFS) ஆகியவற்றை உள்ளடக்கிய ஹடூப் 1 மாதிரியிலும், MapReduce மற்றும் HDFS இல்லாத ஹடூப் 2 மாதிரியிலும் மாற்றியமைக்கப்பட வேண்டியிருந்தது.

SQL ஐ ஹடூப்புடன் இணைப்பதற்கான ஆரம்ப முயற்சிகளில் ஒன்று, ஹைவ் தரவுக் கிடங்கை HiveQL மென்பொருளுடன் உருவாக்கியது, இது SQL- பாணி வினவல்களை MapReduce வேலைகளில் மொழிபெயர்க்கக்கூடும். அதன் பிறகு, இதே போன்ற வேலைகளைச் செய்யக்கூடிய பல பயன்பாடுகள் உருவாக்கப்பட்டன. துரப்பணம், பிக்ஸ்க்யூல், HAWQ, இம்பலா, ஹடாப்ட், ஸ்டிங்கர், எச்-எஸ்.கியூ.எல், ஸ்ப்ளைஸ் மெஷின், பிரஸ்டோ, பாலிபேஸ், ஸ்பார்க், ஜெத்ரோடேட்டா, சுறா (ஹைவ் ஆன் ஹைவ்), மற்றும் தேஸ் (ஹைவ் ஆன் தேஸ்) ஆகியவை பின்னர் வந்த கருவிகளில் முக்கியமானவை.