என்ன $ @! ஹடூப்?

எல்லோரும் ஹடூப்பைப் பற்றி பேசுகிறார்கள், இது டெவலப்பர்களிடையே மிகவும் மதிப்பு வாய்ந்த புதிய தொழில்நுட்பமாகும், மேலும் இது உலகத்தை மாற்றக்கூடும் (மீண்டும்). ஆனால் அது என்ன, எப்படியும்? இது ஒரு நிரலாக்க மொழியா? ஒரு தரவுத்தளமா? செயலாக்க அமைப்பு? ஒரு இந்திய தேநீர் வசதியானதா?

பரந்த பதில்: ஹடூப் இந்த விஷயங்கள் அனைத்தும் (தேநீர் வசதியானவை தவிர), மேலும் பல. இது ஒரு மென்பொருள் நூலகம், இது மற்றொரு நவீன கடவுச்சொல்லின் மலிவான, பயனுள்ள செயலாக்கத்திற்கான நிரலாக்க கட்டமைப்பை வழங்குகிறது: பெரிய தரவு.

ஹடூப் எங்கிருந்து வந்தார்?

அப்பாச்சி ஹடூப் என்பது அப்பாச்சி மென்பொருள் அறக்கட்டளையின் அறக்கட்டளை திட்டத்தின் ஒரு பகுதியாகும், இது ஒரு இலாப நோக்கற்ற அமைப்பாகும், இதன் நோக்கம் "பொது நலனுக்கான மென்பொருளை வழங்குவதாகும்". எனவே, ஹடூப் நூலகம் அனைத்து டெவலப்பர்களுக்கும் இலவச, திறந்த மூல மென்பொருள் கிடைக்கிறது.

ஹடூப்பை இயக்கும் அடிப்படை தொழில்நுட்பம் உண்மையில் கூகிள் கண்டுபிடித்தது. ஆரம்ப நாட்களில், இணையத்தில் இருந்து அவர்கள் சேகரித்த தரவுகளை பெருமளவில் குறியீடாக்குவதற்கும், அதன் பயனர்களுக்கு அர்த்தமுள்ள, பொருத்தமான முடிவுகளாக மாற்றுவதற்கும் ஒரு வழி தேவையில்லை. அவற்றின் தேவைகளைப் பூர்த்தி செய்யக்கூடிய எதுவும் சந்தையில் கிடைக்காத நிலையில், கூகிள் தங்களது சொந்த தளத்தை உருவாக்கியது.

அந்த கண்டுபிடிப்புகள் நட்ச் என்ற திறந்த மூல திட்டத்தில் வெளியிடப்பட்டன, இது ஹடூப் பின்னர் ஒரு அடித்தளமாக பயன்படுத்தப்பட்டது. அடிப்படையில், அனைத்து அளவிலான நிறுவனங்களுக்கும் மலிவு விலையில் பெரிய தரவுகளுக்கு கூகிளின் சக்தியை ஹடூப் பயன்படுத்துகிறது.

ஹடூப் எவ்வாறு செயல்படுகிறது?

முன்பு குறிப்பிட்டபடி, ஹடூப் ஒரு விஷயம் அல்ல - இது பல விஷயங்கள். ஹடூப் என்ற மென்பொருள் நூலகம் நான்கு முதன்மை பாகங்கள் (தொகுதிகள்) மற்றும் அதன் நிஜ உலக பயன்பாட்டை மேம்படுத்தும் பல கூடுதல் தீர்வுகள் (தரவுத்தளங்கள் மற்றும் நிரலாக்க மொழிகள் போன்றவை) கொண்டுள்ளது. நான்கு தொகுதிகள்:

• ஹடூப் பொதுவானது: இது ஹடூப் தொகுதிகளை ஆதரிக்கும் பொதுவான பயன்பாடுகளின் (பொதுவான நூலகம்) தொகுப்பாகும்.
• ஹடூப் விநியோகிக்கப்பட்ட கோப்பு முறைமை (எச்டிஎஃப்எஸ்): சேமிக்கப்பட்ட தரவுகளுக்கு எந்தவிதமான கட்டுப்பாடுகளும் இல்லாத ஒரு வலுவான விநியோகிக்கப்பட்ட கோப்பு முறைமை (அதாவது தரவு கட்டமைக்கப்பட்ட அல்லது கட்டமைக்கப்படாத மற்றும் திட்டவட்டமாக இருக்க முடியும், அதாவது பல டிஎஃப்எஸ் கட்டமைக்கப்பட்ட தரவை மட்டுமே சேமிக்கும்) இது பணிநீக்கத்துடன் அதிக செயல்திறன் அணுகலை வழங்குகிறது ( எச்டிஎஃப்எஸ் பல கணினிகளில் தரவை சேமிக்க அனுமதிக்கிறது - எனவே ஒரு இயந்திரம் தோல்வியுற்றால், மற்ற இயந்திரங்கள் மூலம் கிடைக்கும் தன்மை பராமரிக்கப்படுகிறது).
• ஹடூப் யர்ன்: இந்த கட்டமைப்பானது வேலை திட்டமிடல் மற்றும் கிளஸ்டர் வள மேலாண்மைக்கு பொறுப்பாகும்; பணிநீக்கத்தை பராமரிக்க பல இயந்திரங்களில் தரவு போதுமான அளவு பரவுவதை இது உறுதி செய்கிறது. பெரிய தரவை செயலாக்க ஹடூப்பை ஒரு மலிவு மற்றும் செலவு குறைந்த வழியாக மாற்றும் தொகுதி YARN ஆகும்.
• ஹடூப் வரைபடம்: கூகிள் தொழில்நுட்பத்தில் கட்டமைக்கப்பட்ட இந்த YARN- அடிப்படையிலான அமைப்பு, பெரிய தரவுத் தொகுப்புகளின் (கட்டமைக்கப்பட்ட மற்றும் கட்டமைக்கப்படாத) இணையான செயலாக்கத்தை மேற்கொள்கிறது. MPP மற்றும் NoSQL தரவுத்தளங்கள் உட்பட இன்றைய பெரிய தரவு செயலாக்க கட்டமைப்பிலும் MapReduce ஐக் காணலாம்.

இந்த தொகுதிகள் அனைத்தும் ஒன்றிணைந்து பெரிய தரவுத் தொகுப்புகளுக்கு விநியோகிக்கப்பட்ட செயலாக்கத்தை உருவாக்குகின்றன. ஹடூப் கட்டமைப்பானது எளிய நிரலாக்க மாதிரிகளைப் பயன்படுத்துகிறது, அவை கணினிகளின் கொத்தாகப் பிரதிபலிக்கப்படுகின்றன, அதாவது கணினி ஒற்றை சேவையகங்களிலிருந்து ஆயிரக்கணக்கான இயந்திரங்களுக்கு அதிகரித்த செயலாக்க சக்திக்காக அளவிட முடியும், வன்பொருளை மட்டும் நம்பாமல்.

பெரிய தரவுகளுடன் பணிபுரியத் தேவையான செயலாக்க சக்தியின் அளவைக் கையாளக்கூடிய வன்பொருள் லேசானது. இது ஹடூப்பின் உண்மையான கண்டுபிடிப்பு: பல, சிறிய இயந்திரங்களில் பெரும் அளவிலான செயலாக்க சக்தியை உடைக்கும் திறன், ஒவ்வொன்றும் அதன் சொந்த உள்ளூர்மயமாக்கப்பட்ட கணக்கீடு மற்றும் சேமிப்பகத்துடன், தோல்விகளைத் தடுக்க பயன்பாட்டு மட்டத்தில் உள்ளமைக்கப்பட்ட பணிநீக்கத்துடன்.

ஹடூப் என்ன செய்கிறார்?

எளிமையாகக் கூறப்பட்டால், ஹடூப் பெரிய தரவை அணுகக்கூடியதாகவும் அனைவருக்கும் பயன்படுத்தக்கூடியதாகவும் ஆக்குகிறது.

ஹடூப்பிற்கு முன்பு, பெரிய தரவைப் பயன்படுத்தும் நிறுவனங்கள் பெரும்பாலும் தொடர்புடைய தரவுத்தளங்கள் மற்றும் நிறுவன தரவுக் கிடங்குகளுடன் (அவை அதிக அளவு விலையுயர்ந்த வன்பொருளைப் பயன்படுத்துகின்றன) செய்தன. கட்டமைக்கப்பட்ட தரவை செயலாக்குவதற்கு இந்த கருவிகள் சிறந்தவை என்றாலும் - இது ஏற்கனவே வரிசைப்படுத்தப்பட்ட மற்றும் நிர்வகிக்கக்கூடிய வகையில் ஒழுங்கமைக்கப்பட்ட தரவு - கட்டமைக்கப்படாத தரவை செயலாக்குவதற்கான திறன் மிகவும் குறைவாகவே இருந்தது, இது நடைமுறையில் இல்லாத அளவுக்கு இருந்தது. பொருந்தக்கூடியதாக இருக்க, தரவு முதலில் கட்டமைக்கப்பட வேண்டும், எனவே அது அட்டவணையில் அழகாக பொருந்தும்.

ஹடூப் கட்டமைப்பானது அந்தத் தேவையை மாற்றி, மலிவாகச் செய்கிறது. ஹடூப் மூலம், 10 முதல் 100 ஜிகாபைட் மற்றும் அதற்கு மேற்பட்ட தரவுகளை, கட்டமைக்கப்பட்ட மற்றும் கட்டமைக்கப்படாத, சாதாரண (பொருட்கள்) சேவையகங்களைப் பயன்படுத்தி செயலாக்க முடியும்.

ஒவ்வொரு தொழிற்துறையிலும், அனைத்து அளவிலான வணிகங்களுக்கான சாத்தியமான பெரிய தரவு பயன்பாடுகளை ஹடூப் கொண்டு வருகிறார். போர்ட்ஃபோலியோ மதிப்பீடு மற்றும் இடர் பகுப்பாய்விற்கான அதிநவீன மாதிரிகளை உருவாக்க நிதி நிறுவனங்களை திறந்த-மூல கட்டமைப்பானது அனுமதிக்கிறது, அல்லது ஆன்லைன் சில்லறை விற்பனையாளர்கள் தங்கள் தேடல் பதில்களை நன்றாகக் கையாளவும், வாடிக்கையாளர்களை அவர்கள் வாங்க அதிக வாய்ப்புள்ள தயாரிப்புகளை நோக்கி நகர்த்தவும் அனுமதிக்கிறது.

ஹடூப் உடன், சாத்தியங்கள் உண்மையிலேயே வரம்பற்றவை.