பெரிய தரவுகளின் பரிணாமம்

2000 களின் முற்பகுதியில், தரவுகளைப் பொறுத்தவரை புதுமைக்கு ஒரு பெரிய தேவை இருந்தது என்பது தெளிவாகத் தெரிந்தது. நிறுவனங்கள் தங்கள் தரவை என்ன செய்ய முடியும் என்பதற்கான வரம்புகள் நிர்வாகிகளை விரக்தியடையச் செய்தன மற்றும் செயல்திறன் பெருமளவில் குறைந்தது. பல நிறுவனங்கள் ஏராளமான தகவல்களைச் சேமித்து வைத்திருந்தன, ஆனால் அதை நிர்வகிக்கவோ, பகுப்பாய்வு செய்யவோ அல்லது தங்கள் நன்மைக்காக கையாளவோ முடியவில்லை. இந்த வளர்ந்து வரும் அழுத்தம் தான் பெரிய தரவு எல்லைக்கு வழிவகுத்தது.

2003 ஆம் ஆண்டில், கூகிள் மேப் ரெட்யூஸ் என்ற தரவு பயன்பாட்டை உருவாக்கியது, இது ஆயிரக்கணக்கான சேவையகங்களில் அதன் தேடல் வினவல்களைப் பற்றிய தகவல்களை குறுகிய காலத்தில் செயலாக்க மற்றும் பகுப்பாய்வு செய்ய நிறுவனத்தை அனுமதித்தது. அளவிடக்கூடிய மற்றும் மாற்றியமைக்கக்கூடிய, நிரல் கூகிள் ஆயிரக்கணக்கான தரவு பணிகளை வெறும் நிமிடங்களில் செய்ய அனுமதித்தது, இது உற்பத்தித்திறனை மேம்படுத்தியது மற்றும் தரவுடன் என்ன செய்ய முடியும் என்பது பற்றி உணரப்பட்ட எல்லைகளை மறுவரையறை செய்தது. ஏறக்குறைய 10 ஆண்டுகளுக்குப் பிறகு, பெரிய தரவு தகவல் தொழில்நுட்பத்தின் மையக் கொள்கையாக மாறியுள்ளது. அதன் தொலைநோக்கு நோக்கம் மற்றும் திறன் பணியிடத்தில் தரவு நிர்வாகத்தை அடிப்படையில் மாற்றிவிட்டன. ஆனால் இந்த பரிணாமத்தைத் தூண்டியது எது, பெரிய தரவு எதிர்காலத்தை எவ்வாறு பாதிக்கும்? நீங்கள் ஒருபோதும் கேட்க மாட்டீர்கள் என்று நாங்கள் நினைத்தோம். (பெரிய தரவைப் பற்றிய சில பின்னணி வாசிப்புக்கு, பெரிய தரவைப் பாருங்கள்: இது எவ்வாறு கைப்பற்றப்பட்டது, நசுக்கப்பட்டது மற்றும் வணிக முடிவுகளை எடுக்க பயன்படுகிறது.)

பெரிய தரவு கேள்விகளுக்கான பதில்களைத் தேடுவது

MapReduce இன் அழகு மிகவும் சிக்கலான பணிகளை எளிதாக்கியது. இயந்திரங்கள் முழுவதும் தகவல்தொடர்புகளை நிர்வகிக்க முடியும், கணினி தோல்விகளை நிவர்த்தி செய்யலாம் மற்றும் உள்ளீட்டு தரவை தானாக ஒழுங்கமைக்க முடியும், இந்த செயல்முறை இனி அதிக தொழில்நுட்ப திறன்கள் தேவைப்படாத நபர்களால் மேற்பார்வையிடப்படலாம். தரவு செயலாக்கத்தை சாத்தியமாக்குவது மட்டுமல்லாமல் அணுகக்கூடியதாக்குவதன் மூலம், தரவு நிர்வாகத்தில் கலாச்சார மாற்றத்தை கூகிள் ஊக்கப்படுத்தியது. ஆயிரக்கணக்கான பெரிய நிறுவனங்கள் தங்கள் தரவுகளுக்கு MapReduce ஐப் பயன்படுத்துவதற்கு நீண்ட காலத்திற்கு முன்பே இல்லை.

ஆனால் ஒரு சிக்கல் இருந்தது: MapReduce வெறுமனே ஒரு நிரலாக்க மாதிரி. தரவு செயலாக்கத்தின் அடிப்படைகளை இது எளிதாக்கியது என்றாலும், அது ஏற்கனவே இருக்கும் தரவு குறைபாடுகளுக்கு விடையாக இல்லை; இது சரியான திசையில் மிகவும் தேவைப்படும் படி மட்டுமே. நிறுவனங்களுக்கு அவற்றின் தனித்துவமான தரவுத் தேவைகளை நிவர்த்தி செய்யக்கூடிய மற்றும் தரவு நிர்வாகத்தின் அத்தியாவசியமானவற்றைத் தாண்டிச் செல்லக்கூடிய ஒரு அமைப்பு இன்னும் தேவைப்பட்டது. சுருக்கமாக, உருவாகத் தேவையான தொழில்நுட்பம்.

ஹடூப்பை உள்ளிடவும்

டக் கட்டிங் உட்பட பல புரோகிராமர்களால் உருவாக்கப்பட்ட திறந்த-மூல கட்டமைப்பின் மென்பொருளான ஹடூப்பை உள்ளிடவும். MapReduce அடிப்படை மற்றும் பரந்ததாக இருந்த இடத்தில், ஹடூப் ஒரு புத்துணர்ச்சியூட்டும் தனித்துவத்தை வழங்கினார். வேறு எந்த மென்பொருளும் செய்ய முடியாத வகையில் தரவுத் தேவைகளை நிவர்த்தி செய்யும் நிறுவனங்கள் தங்களது சொந்தமாக தயாரிக்கப்பட்ட பயன்பாடுகளை வடிவமைக்க முடியும், மேலும் இது பொதுவாக மற்ற கோப்பு முறைமைகளுடன் ஒத்துப்போகும். திறமையான புரோகிராமர்களைக் கொண்ட ஒரு நிறுவனம் ஒரு கோப்பு முறைமையை வடிவமைக்க முடியும், இது முன்னர் அணுக முடியாததாகத் தோன்றும் தரவைக் கொண்டு தனித்துவமான பணிகளை அடைய முடியும். டெவலப்பர்கள் பயன்பாடுகள் மற்றும் நிரல்களை ஒருவருக்கொருவர் பகிர்ந்துகொள்வார்கள், அவை விவரிக்கப்பட்டு முழுமையாக்கப்படலாம்.

அத்தகைய முக்கியமான வளத்தை ஜனநாயகப்படுத்துவதன் மூலம், ஹடூப் ஒரு போக்காக மாறினார். எல்லாவற்றிற்கும் மேலாக, பல பெரிய நிறுவனங்கள், குறிப்பாக தேடுபொறி நிறுவனங்கள், பல தசாப்தங்களாக தங்களுக்கு இது தேவை என்று உணர்ந்தன! வலைத் தேடல் வினவல்களில் பயன்படுத்தப்படும் தரவை உருவாக்கும் பெரிய ஹடூப் பயன்பாடுகளை செயல்படுத்துவதாக யாகூ போன்ற தேடுபொறி நிறுவனங்களும் அறிவிக்க நீண்ட காலத்திற்கு முன்பே இல்லை. ஒரு அலை போல் தோன்றியதில், பல முக்கிய நிறுவனங்கள் பேஸ்புக், அமேசான், ஃபாக்ஸ், ஆப்பிள், ஈபே மற்றும் ஃபோர்ஸ்கொயர் உள்ளிட்ட பாரிய தரவுத்தளங்களுக்காக இந்த தொழில்நுட்பத்தை ஏற்றுக்கொள்வதாக அறிவித்தன. தரவு செயலாக்கத்திற்கான புதிய தரத்தை ஹடூப் அமைத்தார்.

பெரிய தரவு, பெரிய சிக்கல்கள்

தரவு தொழில்நுட்பத்தின் முன்னேற்றங்கள் நிறுவனங்கள் தரவை நடத்தும் முறையை மாற்றியமைத்தாலும், பல நிர்வாகிகள் இன்னும் தேவையான பணிகளின் முழு அளவிற்கும் தகுதியற்றவர்களாக இருப்பதைக் காணலாம். ஜூலை 2012 இல், ஆரக்கிள் 300 க்கும் மேற்பட்ட சி-லெவல் நிர்வாகிகளின் ஒரு கணக்கெடுப்பை வெளியிட்டது, 36 சதவீத நிறுவனங்கள் தரவை நிர்வகிக்கவும் பகுப்பாய்வு செய்யவும் ஐடியை நம்பியுள்ளன, 29 சதவிகிதத்தினர் தங்கள் அமைப்புகளுக்கு தங்கள் நிறுவனங்களைச் சந்திக்க போதுமான திறன்களைக் கொண்டிருக்கவில்லை என்று உணர்கிறார்கள். தேவை. சேகரிக்கப்பட்ட தரவைப் பயன்படுத்த முடியாமல் தங்கள் நிறுவனம் அதன் வருவாயில் 14 சதவிகிதம் வரை இழப்பதாக 93 சதவிகித பதிலளித்தவர்கள் நம்பினர் என்பது ஆய்வின் மிக முக்கியமான கண்டுபிடிப்பு. இது சிறந்த தயாரிப்புகளை உருவாக்குவதற்கும் அதிக தொழிலாளர்களை வேலைக்கு அமர்த்துவதற்கும் செலவழிக்கக்கூடிய வருவாய். நிறுவனங்கள் லாபகரமாக இருக்க போராடும் ஒரு காலகட்டத்தில், நிறுவனங்கள் அதிக லாபம் ஈட்டக்கூடிய வகையில் தரவை மேம்படுத்துவது அவசியம். வர்த்தகத்தில் பெரிய தரவுகளின் செல்வாக்கு ஏற்கனவே கடந்துவிட்டது என்று நம்புபவர்கள் இருந்தபோதிலும், அது வைத்திருக்கும் வளர்ச்சி மற்றும் முன்னேற்றத்திற்கான வாய்ப்புகள் இன்னும் முழுமையாக உணரப்படவில்லை என்று கணக்கெடுப்பு சுட்டிக்காட்டுகிறது.

பெரிய தரவுகளுக்கு எதிர்காலம் என்ன

நல்ல செய்தி என்னவென்றால், ஹடூப் மற்றும் மேப்ரூட்யூஸ் பல தரவு மேலாண்மை கருவிகளை ஊக்கப்படுத்தியுள்ளன. பல புதிய நிறுவனங்கள் ஹடூப்பில் இயங்கும் விரிவான தரவு தளங்களை உருவாக்குகின்றன, ஆனால் பலவிதமான பகுப்பாய்வு செயல்பாடுகளையும் எளிதான கணினி ஒருங்கிணைப்பையும் வழங்குகின்றன. தரவுக் கவலைகளை நிவர்த்தி செய்வதற்காக நிறுவனங்கள் ஏராளமான வளங்களை முதலீடு செய்துள்ளதாகத் தெரிகிறது மற்றும் தரவு நிறுவனங்களின் நிதி வெற்றி இதற்கு சான்றாகும். 2010 ஆம் ஆண்டில், தரவு நிறுவனங்கள் சில்லறை விற்பனையில் 3.2 பில்லியன் டாலர்களை ஈட்டியுள்ளன. 2015 ஆம் ஆண்டில் மட்டும் இந்த எண்ணிக்கை 17 பில்லியன் டாலராக உயரும் என்று பல நிபுணர்கள் மதிப்பிட்டுள்ளனர். இது சில பெரிய தொழில்நுட்ப நிறுவனங்களில் இழக்கப்படாத ஒரு உண்மை. ஐபிஎம் மற்றும் ஆரக்கிள் ஆகிய இரண்டும் கடந்த பல மாதங்களாக தரவு நிறுவனங்களைப் பெறுவதற்கு பில்லியன்களை செலவிட்டன. இன்னும் பல நிறுவனங்கள் எதிர்வரும் ஆண்டுகளில் இதேபோன்ற நகர்வுகளை மேற்கொள்ளும், ஏனெனில் அவை போட்டி சந்தை பங்கிற்காக தொடர்ந்து போட்டியிடுகின்றன.

பெரிய தரவு எல்லை

சேகரிக்கப்பட்ட தரவுகளின் அளவு தொடர்ந்து அதிவேகமாக வளர்ந்து வருகிறது, இது சில கவலையையும் மற்றவர்களையும் உற்சாகப்படுத்துகிறது. தரவுகளின் பகுப்பாய்வு மூலம் நம் உலகத்தைப் பற்றிய புதிய விஷயங்களைக் கற்றுக்கொள்வதால் மனிதர்கள் தொடர்ந்து அதிக உற்பத்தி மற்றும் தகவமைப்புக்கு மாறிவிடுவார்கள் என்பது இதன் தலைகீழ். எதிர்மறையானது என்னவென்றால், இவற்றையெல்லாம் சரியாகச் சேமிக்க இயலாது என்று பலர் அஞ்சும் ஒரு பரந்த அளவிலான தரவு உள்ளது, அதை மிகக் குறைவாக ஒழுங்காக நிர்வகிப்பதால் அது தேவைப்படும் அனைவருக்கும் பயன்படுத்தப்படலாம்.

பெரிய தரவுகளில் முன்னேற்றம் என்பது தரவு தொடர்பான அவசர சிக்கல்களுக்கான தீர்வுகளுக்கு முன்னோடியில்லாத வாய்ப்புகளை வழங்கும். எடுத்துக்காட்டாக, செயல்திறன் மற்றும் தரத்திற்கு முக்கியத்துவம் கொடுத்து பெரிய தரவு சரியாக செயல்படுத்தப்பட்டால், அது சுகாதார செலவினங்களில் மட்டும் ஆண்டுக்கு சுமார் 300 பில்லியன் டாலர்களை மிச்சப்படுத்தும் சாத்தியம் இருக்கும் என்று நிபுணர்கள் கருத்து தெரிவித்துள்ளனர்; சில்லறை விற்பனையாளர்கள் தங்கள் இயக்க வரம்புகளை மேம்படுத்த முடியும், பொதுத்துறை சிறந்த சேவைகளை வழங்க முடியும் மற்றும் பெரிய நிறுவனங்கள் பில்லியன்களை மிச்சப்படுத்தும். எனவே, எங்கள் தரவு சிக்கல்களைத் தீர்ப்பது நிறுவனத்தின் போர்டு ரூம்களில் மட்டுமல்ல, எல்லா இடங்களிலும் தேவை என்று தெரிகிறது. இது பெரிய தரவுகளின் எதிர்காலத்தைப் பற்றிய நல்ல விஷயங்களைச் சொல்கிறது - ஒருவேளை நம்முடையது.