பெரிய இரும்பு, பெரிய தரவைச் சந்திக்கவும்: ஹெயூப் மற்றும் தீப்பொறி மூலம் மெயின்பிரேம் தரவை விடுவித்தல்

டெக்கோபீடியா பணியாளர்கள், ஜூன் 2, 2016

வெளியேறுதல்: பெரிய தரவை விரைவாகவும் திறமையாகவும் செயலாக்க ஹடூப் சுற்றுச்சூழல் மெயின்பிரேம்களில் பயன்படுத்தப்படுகிறது.

நீங்கள் தற்போது உள்நுழைந்திருக்கவில்லை. வீடியோவைப் பார்க்க உள்நுழைக அல்லது உள்நுழைக.

எரிக் கவனாக்: சரி பெண்கள் மற்றும் தாய்மார்களே, இது ஒரு வியாழக்கிழமை நான்கு மணி நேர கிழக்கு ஆகும், இந்த நாட்களில் இது ஹாட் டெக்னாலஜிஸின் நிச்சயமாக நேரம் என்று பொருள். ஆம் உண்மையில், என் பெயர் எரிக் கவனாக். இன்றைய வலை கருத்தரங்கிற்கு நான் உங்கள் மதிப்பீட்டாளராக இருப்பேன். இது நல்ல விஷயங்கள், எல்லோரும், “பெரிய இரும்பு, பெரிய தரவைச் சந்தித்தல்” - அந்த தலைப்பை நான் மிகவும் விரும்புகிறேன் - “ஹடூப் மற்றும் ஸ்பார்க்குடன் மெயின்பிரேம் தரவை விடுவித்தல்.” பழைய சந்திப்புகளைப் பற்றி நாங்கள் பேசப்போகிறோம். வாவ்! நிறுவன ஐடியின் கடந்த 50 ஆண்டுகளில் நாங்கள் பேசிய எல்லாவற்றின் ஸ்பெக்ட்ரத்தையும் நாங்கள் உள்ளடக்குகிறோம். ஸ்பார்க் மெயின்பிரேமை சந்திக்கிறது, நான் அதை விரும்புகிறேன்.

உங்களைப் பற்றி உண்மையிலேயே ஒரு இடம் இருக்கிறது, என்னைப் பற்றி போதுமானது. ஆண்டு சூடாக இருக்கிறது. இந்தத் தொடரில் சூடான தலைப்புகளைப் பற்றி நாங்கள் பேசுகிறோம், ஏனென்றால் சில துறைகள், சில இடங்களைப் புரிந்துகொள்ள எல்லோருக்கும் உதவ நாங்கள் உண்மையில் முயற்சிக்கிறோம். எடுத்துக்காட்டாக, ஒரு பகுப்பாய்வு தளம் இருப்பதன் அர்த்தம் என்ன? மெயின்பிரேம்களிலிருந்து பெரிய தரவை விடுவிப்பதன் அர்த்தம் என்ன? இந்த விஷயங்கள் அனைத்தும் என்ன அர்த்தம்? குறிப்பிட்ட வகையான தொழில்நுட்பங்களைப் புரிந்துகொள்ள நாங்கள் உங்களுக்கு உதவ முயற்சிக்கிறோம், அங்கு அவை கலவையுடன் பொருந்துகின்றன, அவற்றை நீங்கள் எவ்வாறு பயன்படுத்தலாம்.

எங்களிடம் இன்று இரண்டு ஆய்வாளர்கள் உள்ளனர், பின்னர் நிச்சயமாக ஒத்திசைவின் டெண்டே யோகூர்டு. அவர் எங்கள் விண்வெளியில் ஒரு தொலைநோக்கு பார்வையாளர், இன்று எங்கள் ஆன்லைனில் டெஸ் பிளாஞ்ச்பீல்ட் மற்றும் டாக்டர் ராபின் ப்ளூருடன் ஆன்லைனில் இருப்பதில் மிகவும் மகிழ்ச்சி அடைகிறார். ஓரிரு விரைவான சொற்களை நான் கூறுவேன். ஒன்று, எல்லோரும், இந்த செயல்பாட்டில் நீங்கள் ஒரு பெரிய பங்கை வகிக்கிறீர்கள், எனவே தயவுசெய்து சில நல்ல கேள்விகளைக் கேட்க வெட்கப்பட வேண்டாம். வழக்கமாக நிகழ்ச்சியின் முடிவில் இருக்கும் வெப்காஸ்டின் கேள்வி பதில் பதிப்பின் போது அவற்றைப் பெற விரும்புகிறோம். நான் சொல்ல வேண்டியது என்னவென்றால், எங்களுக்கு நிறைய நல்ல உள்ளடக்கம் கிடைத்துள்ளது, எனவே இந்த சிறுவர்கள் சொல்வதைக் கேட்க நான் மகிழ்ச்சியடைகிறேன். அதனுடன், நான் அதை டெஸ் பிளாஞ்ச்பீல்டில் ஒப்படைக்கப் போகிறேன். டெஸ், தளம் உங்களுடையது, அதை எடுத்துச் செல்லுங்கள்.

டெஸ் பிளாஞ்ச்பீல்ட்: நன்றி, எரிக், இன்று கலந்து கொண்ட அனைவருக்கும் நன்றி. எனவே உலகில் எனக்கு பிடித்த விஷயங்களில் ஒன்றான மெயின்பிரேம்களைப் பற்றி பேச எனக்கு வாய்ப்பு கிடைக்கும்போது நான் மிகவும் உற்சாகமாக இருக்கிறேன். இந்த நாட்களில் அவர்களுக்கு அதிக அன்பு கிடைப்பதில்லை. அசல் பெரிய தரவு தளமாக மெயின்பிரேம் இருந்தது என்பது எனது பார்வை. அந்த நேரத்தில் அவர்கள் ஒரே கணினி என்று சிலர் வாதிடுவார்கள், இது ஒரு நியாயமான புள்ளி, ஆனால் 60 ஆண்டுகளுக்கும் மேலாக அவை உண்மையில் உண்மையில் பெரிய தரவு தாமதமாக பிரபலமாக இருந்தவற்றின் இயந்திர அறையாகவே இருக்கின்றன. நான் ஏன் ஒரு சிறிய பயணத்தில் உங்களை அழைத்துச் செல்லப் போகிறேன்.

இப்போது திரையில் நீங்கள் காணும் படத்திலிருந்து மெயின்பிரேம்கள் மாற்றத்தின் பின்னணியில் தொழில்நுட்ப வன்பொருள் அடுக்குகளில் ஒரு பயணத்தை நாங்கள் பார்த்துள்ளோம். இது பழைய FACOM மெயின்பிரேம், இது எனக்கு பிடித்த ஒன்று. நாங்கள் பெரிய இரும்பு கட்டம், தொண்ணூறுகளின் பிற்பகுதி மற்றும் டாட்-காம் ஏற்றம் ஆகியவற்றிற்குள் நுழைந்தோம். இது சன் மைக்ரோசிஸ்டம்ஸ் இ 10000. இந்த விஷயம் 96 CPU களில் ஒரு முழுமையான அசுரன். முதலில் 64 ஆனால் இது 96 CPU களில் மேம்படுத்தப்படலாம். ஒவ்வொரு CPU 1, 024 த்ரெட்களையும் இயக்க முடியும். ஒவ்வொரு நூலும் ஒரே நேரத்தில் பயன்பாட்டு விகிதத்தில் இருக்கலாம். இது வெறும் கொடூரமானது மற்றும் அது உண்மையில் டாட்-காம் ஏற்றம் பெற்றது. நாம் அழைக்கும் போது இவை அனைத்தும் பெரிய யூனிகார்ன்கள், இப்போது நாங்கள் இயங்குகிறோம், பெரிய நிறுவனங்கள் மட்டுமல்ல, சில பெரிய வலைத்தளங்களும்.

பின்னர் இந்த பொதுவான ஆஃப்-தி-ஷெல்ஃப் கமாடிட்டி பிசி மாதிரியுடன் முடிந்தது. நாங்கள் நிறைய மலிவான இயந்திரங்களை ஒன்றாக இணைத்தோம், நாங்கள் ஒரு கிளஸ்டரை உருவாக்கினோம், நாங்கள் பெரிய இரும்பு சவாலை அணுகினோம், குறிப்பாக ஹடூப் திட்டத்தின் வடிவத்தில் பெரிய தரவு ஆனது திறந்த மூல தேடுபொறியான நட்ச். மெயின்பிரேம் மற்றும் சிறிய சிபியுக்கள் நிறைய ஒன்றாக ஒட்டப்பட்டு, எல்-பாதைகள் போலவும், தனி வேலைகள் அல்லது வேலைகளின் பகுதிகளை இயக்கும் வடிவத்திலும் நாங்கள் உருவாக்கியுள்ளோம், அவை பல வழிகளில் மிகவும் பயனுள்ளதாக இருந்தன. நீங்கள் சிறியதாகத் தொடங்கினால் மலிவானது, ஆனால் இந்த பெரிய கிளஸ்டர்களில் பல மெயின்பிரேமை விட விலை அதிகம்.

இந்த விஷயங்களைப் பற்றிய எனது பார்வை என்னவென்றால், டாட்-காம் ஏற்றம் முதல் வலை 2.0 ஆனது மற்றும் இப்போது யூனிகார்ன்களைத் துரத்துகிறது, இந்த தளம் இன்னும் எங்களுடைய மிகப் பெரிய மிஷன்-சிக்கலான அமைப்புகளுக்கு பலத்தை அளிக்கிறது என்பதை மறந்துவிட்டோம். அங்குள்ள மெயின்பிரேம் இயங்குதளங்களில் என்ன இயங்குகிறது என்பதைப் பற்றி நாம் சிந்திக்கும்போது. இது மிகப் பெரிய தரவு, குறிப்பாக தரவு உழைப்பு, ஆனால் நிச்சயமாக பெரிய தரவு. பாரம்பரிய நிறுவன மற்றும் அரசாங்க அமைப்புகள் குறிப்பாக வங்கி மற்றும் செல்வ மேலாண்மை மற்றும் காப்பீடு போன்றவை, நாம் அனைவரும் ஒவ்வொரு நாளும் பயன்படுத்துகிறோம்.

விமான முன்பதிவு மற்றும் விமான மேலாண்மை அமைப்புகள், குறிப்பாக நிகழ்நேர முக்கியத்துவம் வாய்ந்த விமான மேலாண்மை. ஏறக்குறைய ஒவ்வொரு மாநில மற்றும் மத்திய அரசாங்கமும் ஒரு காலத்தில் ஒரு மெயின்பிரேமைக் கொண்டுள்ளன, மேலும் அவை இன்னும் பலவற்றைக் கொண்டுள்ளன. சில்லறை மற்றும் உற்பத்தி. சில பழைய மென்பொருள்கள் இப்போதுதான் இருந்தன, ஒருபோதும் விலகிப்போவதில்லை. மின் உற்பத்திச் சூழல்களுக்குத் தொடர்கிறது மற்றும் நிச்சயமாக சில்லறை விற்பனையாகும். மருத்துவ அமைப்புகள். பாதுகாப்பு அமைப்புகள், நிச்சயமாக பாதுகாப்பு அமைப்புகள்.

இந்த கடைசி இரண்டு வாரங்களில் சில ஏவுகணை கட்டுப்பாட்டு அமைப்புகள் அனைத்தும் பழைய மெயின்பிரேம்களில் இயங்குகின்றன என்ற உண்மையைப் பற்றி நான் பல கட்டுரைகளைப் படித்திருக்கிறேன். புதிய மெயின்பிரேம்களில் எவ்வாறு மேம்படுத்துவது என்பதை அவர்கள் கண்டுபிடித்துள்ளனர். போக்குவரத்து மற்றும் தளவாட அமைப்புகள். இவை கவர்ச்சியான தலைப்புகள் போலத் தெரியவில்லை, ஆனால் இவை தினசரி அடிப்படையில் நாம் கையாளும் தலைப்புகள். சில மிகப் பெரிய தொலைத்தொடர்பு சூழல்கள் இன்னும் மெயின்பிரேம் தளங்களில் இயங்குகின்றன.

அங்குள்ள தரவு வகைகளைப் பற்றி நீங்கள் சிந்திக்கும்போது, ​​அவை அனைத்தும் முக்கியமானவை. அவை ஒவ்வொரு நாளும் நாம் எடுத்துக்கொள்ளும் முக்கியமான தளங்கள் மற்றும் தளங்கள் மற்றும் பல வழிகளில் வாழ்க்கையை சாத்தியமாக்குகின்றன. எனவே யார் இன்னும் ஒரு மெயின்பிரேமைப் பயன்படுத்துகிறார்கள், இந்த பெரிய தளங்களை பிடித்து இந்த தரவு அனைத்தையும் வைத்திருக்கும் இந்த நபர்கள் யார்? சரி, நான் இங்கே சொன்னது போல, ஊடகங்கள் பெரிய இரும்பிலிருந்து பொதுவான ஆஃப்-தி-ஷெல்ஃப் கிளஸ்டர்கள் அல்லது மலிவான பிசிக்கள் அல்லது x86 இயந்திரங்களின் ரேக்குகளுக்கு மாற்றப்படுவதால் ஏமாற்றப்படுவது எளிது என்று நான் நம்புகிறேன், மெயின்பிரேம் இறந்து போய்விட்டது என்று நினைத்துக்கொண்டேன். ஆனால் தரவு மெயின்பிரேம் ஒருபோதும் விலகிச் செல்லவில்லை என்றும் உண்மையில் அது இங்கேயே இருக்கிறது என்றும் கூறுகிறது.

கடந்த இரண்டு வாரங்களில் நான் இங்கு ஒன்றாக இணைத்துள்ள ஆராய்ச்சி, 70 சதவீத நிறுவனங்களும், குறிப்பாக பெரிய நிறுவனங்களும், தரவுகளும் உண்மையில் ஏதோவொரு வடிவத்தின் மெயின்பிரேமில் வாழ்கின்றன என்பதைக் காட்டுகிறது. பார்ச்சூன் 500 களில் எழுபத்தொரு சதவிகிதம் இன்னமும் எங்காவது மெயின்பிரேம்களில் முக்கிய வணிக அமைப்புகளை இயக்குகிறது. உண்மையில், இங்கே ஆஸ்திரேலியாவில், ஒரு நகரத்தின் நடுவில் ஒரு தரவு மையத்தைக் கொண்ட பல நிறுவனங்கள் எங்களிடம் உள்ளன. இது ஒரு உண்மையான நிலத்தடி கணினி திறம்பட உள்ளது, மேலும் மெயின்பிரேம்களின் எண்ணிக்கை அங்கு இயங்குகிறது, டிக்கிங் மற்றும் மகிழ்ச்சியுடன் தங்கள் வேலையைச் செய்கிறது. நகரத்தின் ஒரு குறிப்பிட்ட பகுதியில் தெருக்களில் சுற்றித் திரிவது, கால்களுக்குக் கீழே நடப்பது மெயின்பிரேம்களால் நிரப்பப்பட்ட இந்த மிகப்பெரிய தரவு மையம் உள்ளது என்பது மிகச் சிலருக்குத் தெரியும். உலகெங்கிலும் உள்ள 100 வங்கிகளில் தொண்ணூற்று இரண்டு, முதல் 100 வங்கிகள், இன்னும் மெயின்பிரேம்களில் வங்கி அமைப்புகளை இயக்குகின்றன. உலகெங்கிலும் உள்ள முதல் 25 சில்லறை சங்கிலிகளில் இருபத்து மூன்று மெயின்பிரேம்களைப் பயன்படுத்துகின்றன, அவற்றின் சில்லறை மேலாண்மை அமைப்புகளை இன்னும் ஈஐபி மற்றும் பிஐ தளங்களில் இயக்குகின்றன.

சுவாரஸ்யமாக போதுமானது, முதல் 10 காப்பீட்டாளர்களில் 10 பேர் தங்களது தளங்களை மெயின்பிரேமில் இயக்குகிறார்கள், மேலும் அவர்கள் உண்மையில் தங்கள் மேகக்கணி சேவைகளை மெயின்பிரேமில் இயக்குகிறார்கள். மிடில்வேர் ஒரு இடைமுகம் இருக்கும் எங்காவது ஒரு வலை இடைமுகம் அல்லது மொபைல் பயன்பாட்டைப் பயன்படுத்துகிறீர்கள் என்றால், அது உண்மையில் பின் இறுதியில் மிகவும் கனமான மற்றும் பெரிய ஒன்றைப் பேசுகிறது.

உலகெங்கிலும் 225 க்கும் மேற்பட்ட மாநில மற்றும் உள்ளூர் அரசாங்க நிறுவனங்கள் மெயின்பிரேம் தளங்களில் இயங்குவதை நான் கண்டேன். அதற்கு நிறைய காரணங்கள் இருப்பதாக நான் நம்புகிறேன். புதிய இரும்பைக் கருத்தில் கொள்வதற்கான பட்ஜெட் அவர்களிடம் இல்லை, ஆனால் அது மிக முக்கியமான தரவுகளுடன் மெயின்பிரேமில் இயங்கும் மிகப் பெரிய சூழல்களின் மிகப்பெரிய தடம். நான் முன்பு குறிப்பிட்டது போல, பெரும்பாலான நாடுகள் தங்களது முக்கிய பாதுகாப்பு அமைப்புகளை மெயின்பிரேமில் இயக்குகின்றன. பல வழிகளில் அவர்கள் அங்கிருந்து வெளியேற முயற்சிக்கிறார்கள் என்று நான் நம்புகிறேன், ஆனால் நீங்கள் அங்கே செல்லுங்கள்.

2015 ஆம் ஆண்டில் ஐடிசி ஒரு கணக்கெடுப்பை நடத்தியது மற்றும் கணக்கெடுக்கப்பட்ட 350 சிஐஓக்கள் தாங்கள் இன்னும் பெரிய இரும்புகளை மெயின்பிரேம்களின் வடிவத்தில் வைத்திருப்பதாகவும், நிர்வகிப்பதாகவும் தெரிவித்தனர். தற்போது உற்பத்தியில் உலகளவில் இயங்கும் பெரிய அளவிலான ஹடூப் கிளஸ்டர்களின் எண்ணிக்கையை விட இது அதிகமாக இருக்கலாம் என்று அது என்னைத் தாக்கியது - அங்கு ஒரு சுவாரஸ்யமான சிறிய புள்ளிவிவரம். நான் மேலே சென்று அதை சரிபார்க்கப் போகிறேன், ஆனால் அது ஒரு பெரிய எண். முந்நூற்று ஐம்பது சி.ஐ.ஓக்கள் தங்களுக்கு ஒன்று அல்லது அதற்கு மேற்பட்ட மெயின்பிரேம்கள் இன்னும் உற்பத்தியில் இருப்பதாக தெரிவித்தனர்.

கடந்த ஆண்டு, 2015, ஐபிஎம் அவர்களின் மெயின்பிரேம் தளத்தின் 13 ^வது மறு செய்கையான வலிமைமிக்க Z13 ஐ எங்களுக்குக் கொடுத்தது. ஐபிஎம் இன்னும் மெயின்பிரேம்களை உருவாக்குகிறது என்று அவர்கள் திகைத்துப்போனதால் ஊடகங்கள் இந்த விஷயத்தைப் பற்றி காட்டுத்தனமாக சென்றன. அவர்கள் பேட்டைத் தூக்கி, விஷயத்தின் கீழ் என்ன இருக்கிறது என்பதைப் பார்த்தபோது, ​​அது உண்மையில் ஒவ்வொரு நவீன தளத்திற்கும் இணையாக இருப்பதை அவர்கள் உணர்ந்தார்கள், பெரிய தரவு, ஹடூப் மற்றும் நிச்சயமாக கொத்துகள் வடிவில் நாங்கள் உற்சாகமாகிவிட்டோம். இந்த விஷயம் ஸ்பார்க் மற்றும் இப்போது ஹடூப் பூர்வீகமாக ஓடியது. நீங்கள் ஆயிரக்கணக்கான மற்றும் ஆயிரக்கணக்கான லினக்ஸ் இயந்திரங்களை இயக்க முடியும், அது வேறு எந்த கிளஸ்டரையும் போல தோற்றமளித்தது. இது மிகவும் வியக்க வைக்கும் இயந்திரம்.

பல நிறுவனங்கள் இந்த விஷயங்களை எடுத்துக் கொண்டன, உண்மையில் இந்த இயந்திரங்களில் எத்தனை எடுத்துக்கொள்கின்றன என்பதைப் பற்றிய சில தரவுகளை நான் செய்தேன். 3270 உரை முனையம் சில காலமாக வலை உலாவிகள் மற்றும் மொபைல் பயன்பாடுகளால் மாற்றப்பட்டுள்ளது என்ற கருத்தை இப்போது நான் பெற்றுள்ளேன், அதை ஆதரிக்கும் தரவு ஏராளமாக உள்ளது. இந்த மெயின்பிரேம்கள் விலகிச் செல்லவில்லை என்பதை உணர்ந்த ஒரு சகாப்தத்தில் இப்போது நுழைகிறோம் என்று நினைக்கிறேன், அவற்றில் கணிசமான அளவு தரவு உள்ளது. எனவே இப்போது நாம் என்ன செய்கிறோம் என்பது நான் அழைப்பதைச் சேர்ப்பதுதான். இவை தனிப்பயனாக்கப்பட்ட பயன்பாடுகள் அல்ல. இவை பெஸ்போக் ஒன்-ஆஃப் ஆகும். இவை நீங்கள் உண்மையில் ஒரு தொகுக்கப்பட்ட பெட்டியில் வாங்கலாம் மற்றும் உங்கள் மெயின்பிரேமில் செருகலாம் மற்றும் சில பகுப்பாய்வுகளை செய்யலாம்.

நான் முன்பு கூறியது போல, மெயின்பிரேம் 60 ஆண்டுகளுக்கும் மேலாக உள்ளது, உண்மையில். அது எவ்வளவு காலம் என்பதைப் பற்றி நாம் சிந்திக்கும்போது, ​​பெரும்பாலான ஐ.டி நிபுணர்களின் தொழில் வாழ்க்கையை விட இது நீண்டது. உண்மையில் அவர்களின் வாழ்க்கையில் சில, கூட. 2002 ஆம் ஆண்டில் ஐபிஎம் 2, 300 மெயின்பிரேம்களை விற்றது. 2013 இல் இது 2, 700 மெயின்பிரேம்களாக வளர்ந்தது. இது 2013 ஆம் ஆண்டில் ஒரு வருடத்தில் 2, 700 மெயின்பிரேம்களின் விற்பனையாகும். 2015 இல் என்னால் துல்லியமான தரவைப் பெற முடியவில்லை, ஆனால் இது 2015, 2013 இல் ஒரு வருடத்திற்கு விற்கப்படும் 3, 000 யூனிட்டுகளுக்கு விரைவாக நெருங்கி வருவதாக நான் கற்பனை செய்கிறேன். அதை உறுதிப்படுத்த நான் எதிர்நோக்குகிறேன்.

Z13 இன் வெளியீட்டில், ஒரு மெயின்பிரேம் தளத்தின் 13 ^வது மறு செய்கை, புதிதாக உருவாக்க ஐபிஎம் சுமார் 1.2 அல்லது 1.3 பில்லியன் டாலர்கள் செலவாகும் என்று நான் நினைக்கிறேன், அதாவது, இங்கே ஒரு இயந்திரம் வேறு எந்த கிளஸ்டரைப் போலவே தோற்றமளிக்கும் மற்றும் உணர்கிறது எங்களிடம் இன்று உள்ளது, மேலும் ஹடூப் மற்றும் ஸ்பார்க்கை இயல்பாக இயக்குகிறது. நிச்சயமாக மற்ற பகுப்பாய்வு மற்றும் பெரிய தரவுக் கருவிகளிலிருந்து இணைக்கப்படலாம் அல்லது உங்கள் இருக்கும் அல்லது புதிய ஹடூப் கிளஸ்டர்களில் ஒன்றில் தொடர்ந்து இணைக்கப்படலாம். உங்கள் பெரிய தரவு மூலோபாயத்தில் மெயின்பிரேம் தளத்தை உள்ளடக்குவது அவசியம் என்று எனக்கு இந்த பார்வை உள்ளது. வெளிப்படையாக, உங்களிடம் ஒன்று இருந்தால், உங்களிடம் நிறைய தரவு கிடைத்துள்ளது, அதை எவ்வாறு பெறுவது என்பதை நீங்கள் கண்டுபிடிக்க வேண்டும். வணிக உலகம் செல்லும் வரை மனரீதியாகவும் உணர்ச்சி ரீதியாகவும் பல வழிகளில் தூசி சேகரிக்க அவர்கள் விடப்படுகிறார்கள், ஆனால் அவர்கள் இங்கேயே இருக்கிறார்கள்.

மெயின்பிரேம்-ஹோஸ்ட் செய்யப்பட்ட தரவிற்கான உங்கள் அனைத்து பகுப்பாய்வுக் கருவிகளுக்கான இணைப்பு மற்றும் இடைமுகங்கள் உங்கள் நிறுவனத்தின் முக்கிய பகுதியாக இருக்க வேண்டும் மற்றும் குறிப்பாக அரசாங்கத்தின் பெரிய தரவுத் திட்டங்கள். இப்போது மென்பொருள் அவற்றைக் கவனித்து வருகிறது, அவற்றை நன்கு கவனித்து, இந்த விஷயங்களில் என்ன இருக்கிறது என்பதை உணர்ந்து, ஒரு சிறிய நுண்ணறிவைப் பெறத் தொடங்கும் மனதை இணைக்கிறது மற்றும் உண்மையில் பேட்டைக்குக் கீழே என்ன இருக்கிறது என்பதற்கான உணர்வைத் தருகிறது. அதனுடன் நான் என் அன்பான சகாவான டாக்டர் ராபின் ப்ளூரிடம் ஒப்படைக்கப் போகிறேன், அவர் அந்த சிறிய பயணத்தில் சேர்ப்பார். ராபின், அதை எடுத்துச் செல்லுங்கள்.

ராபின் ப்ளூர்: சரி, நன்றி. சரி, டெஸ் மெயின்பிரேமின் பாடலைப் பாடியுள்ளதால், பழைய மெயின்பிரேம் உலகம் மற்றும் புதிய ஹடூப் உலகத்தின் அடிப்படையில் என்ன நடக்கிறது என்று நான் நினைக்கிறேன். இங்கே பெரிய கேள்வி என்னவென்றால், அந்தத் தரவை எவ்வாறு நிர்வகிப்பது? மெயின்பிரேம் அதன் பெரிய தரவு திறனைப் பொறுத்தவரை சவால் செய்யப்படுகிறது என்பது எனது கருத்து அல்ல - அதன் பெரிய தரவு திறன் மிகவும் உள்ளது, டெஸ் சுட்டிக்காட்டியுள்ளபடி, இது மிகவும் திறமையானது. உண்மையில் நீங்கள் அதில் ஹடூப் கிளஸ்டர்களை வைக்கலாம். அது சவால் செய்யப்படும் இடத்தில் அதன் சுற்றுச்சூழல் அமைப்பின் அடிப்படையில் உள்ளது, நான் அதை விரிவாகக் கூறுவேன்.

இங்கே சில மெயின்பிரேம் பொருத்துதல். இது அதிக நுழைவு செலவைக் கொண்டுள்ளது மற்றும் கடந்த காலங்களில் உண்மையில் என்ன நடந்தது, '90 களின் நடுப்பகுதியில் இருந்து மெயின்பிரேம்களின் புகழ் குறையத் தொடங்கியதிலிருந்து, அது அதன் குறைந்த முடிவை இழந்துவிட்டது, மலிவான மெயின்பிரேம்களை வாங்கிய மக்கள் மற்றும் அது இல்லை அந்த மக்களுக்கு உண்மையில் பொருளாதாரம் இல்லை. ஆனால் மெயின்பிரேமின் இடைப்பட்ட மற்றும் உயர்-வரம்பில் உண்மையில் அது இன்னும் உண்மையில் இருந்தது, மற்றும் நிரூபிக்கத்தக்க வகையில் உண்மையில் நம்பமுடியாத மலிவான கணினி.

லினக்ஸ் ஒரு மெயின்பிரேமில் செயல்படுத்தப்பட்டதால், லினக்ஸ் எல்லா பயன்பாடுகளையும் இயக்குவது நிச்சயமாக சாத்தியமானது என்பதால், இது லினக்ஸால் மீட்கப்பட்டது. பெரிய தரவு ஒரு சொல் அல்லது இரண்டு சொற்கள் கூட இருப்பதற்கு முன்பே நிறைய லினக்ஸ் பயன்பாடுகள் அங்கு சென்றன. இது உண்மையில் தனியார் மேகக்கணிக்கு மிகச் சிறந்த தளமாகும். இதன் காரணமாக இது கலப்பின மேக வரிசைப்படுத்தல்களில் பங்கேற்க முடியும். சிக்கல்களில் ஒன்று, மெயின்பிரேம் திறன்கள் குறைவாகவே உள்ளன. தற்போதுள்ள மெயின்பிரேம் திறன்கள் உண்மையில் வயதானவையாகும், மக்கள் ஆண்டுதோறும் ஓய்வு பெறுவதற்காக தொழில்துறையை விட்டு வெளியேறுகிறார்கள், மேலும் அவை மக்களின் எண்ணிக்கையின் அடிப்படையில் மட்டுமே மாற்றப்படுகின்றன. எனவே அது ஒரு பிரச்சினை. ஆனால் அது இன்னும் மலிவான கணினி.

நிச்சயமாக இது சவால் செய்யப்பட்ட பகுதி இந்த முழு ஹடூப் விஷயம். அசல் ஹடூப் யானையுடன் டக் கட்டிங் படம் அது. ஹடூப் சுற்றுச்சூழல் அமைப்பு - அது அப்படியே இருக்கும் - ஆதிக்கம் செலுத்தும் பெரிய தரவு சுற்றுச்சூழல் அமைப்பு. மெயின்பிரேம் உண்மையில் அடையக்கூடியதை விட இது சிறந்த அளவை வழங்குகிறது, மேலும் இது ஒரு தரவுக் கடையாக நீண்ட செலவில் குறைந்த செலவாகும். ஹடூப் சுற்றுச்சூழல் அமைப்பு உருவாகி வருகிறது. இதைப் பற்றி சிந்திக்க சிறந்த வழி ஒரு முறை ஒரு குறிப்பிட்ட வன்பொருள் தளம் மற்றும் அதனுடன் இயக்க சூழல் ஆதிக்கம் செலுத்துகிறது, பின்னர் சுற்றுச்சூழல் அமைப்பு உயிரோடு வருகிறது. அது ஐபிஎம் மெயின்பிரேமுடன் நடந்தது. சரி, பின்னர் டிஜிட்டல் VAX உடன் நடந்தது, சூரியனின் சேவையகங்களுடன் நடந்தது, விண்டோஸுடன் நடந்தது, லினக்ஸுடன் நடந்தது.

நடந்தது என்னவென்றால், தரவுகளுக்கான ஒரு வகையான விநியோகிக்கப்பட்ட சூழலாக நான் எப்போதும் நினைக்கும் அல்லது சிந்திக்க விரும்பும் ஹடூப், சுற்றுச்சூழல் அமைப்பு நம்பமுடியாத விகிதத்தில் உருவாகி வருகிறது. ஓப்பன் சோர்ஸ், ஸ்பார்க், பிளிங்க், காஃப்கா, பிரஸ்டோ போன்ற பல்வேறு சுவாரஸ்யமான பங்களிப்புகளை நீங்கள் குறிப்பிட்டால், சில தரவுத்தளங்கள், இப்போது ஹடூப்பில் அமர்ந்திருக்கும் NoSQL மற்றும் SQL திறன்களை நீங்கள் சேர்த்தால். கார்ப்பரேட் கம்ப்யூட்டிங்கில் நிச்சயமாக ஹடூப் மிகவும் சுறுசுறுப்பான சுற்றுச்சூழல் அமைப்பு உள்ளது. ஆனால் நீங்கள் அதை ஒரு தரவுத்தளமாகக் கருத விரும்பினால், உண்மையான தரவுத்தளங்களாக, குறிப்பாக தரவுக் கிடங்கு இடத்தில் நான் நினைப்பதை ஒப்பிடுகையில் இது எந்தவொரு ஒப்பீட்டையும் தாங்காது. CouchDB போன்ற ஹடூப்பில் இயங்காத பல பெரிய NoSQL தரவுத்தளங்களின் வெற்றியை இது ஒரு குறிப்பிட்ட அளவிற்கு விளக்குகிறது.

ஒரு தரவு ஏரியாக இது வேறு எந்த தளத்தையும் விட மிக வளமான சுற்றுச்சூழல் அமைப்பைக் கொண்டுள்ளது, மேலும் அது இடம்பெயரப் போவதில்லை. அதன் சுற்றுச்சூழல் அமைப்பு திறந்த மூல சுற்றுச்சூழல் அமைப்பு மட்டுமல்ல. ஹடூப்பிற்காக அடிப்படையில் கட்டமைக்கப்பட்ட அல்லது ஹடூப்பிற்கு இறக்குமதி செய்யப்பட்ட தயாரிப்புகளைக் கொண்ட ஒரு வியத்தகு மென்பொருள் உறுப்பினர்கள் இப்போது உள்ளனர். அவர்கள் ஒரு சுற்றுச்சூழல் அமைப்பை உருவாக்கியுள்ளனர், அதன் அகலத்தின் அடிப்படையில் அதனுடன் போட்டியிடக்கூடிய எதுவும் இல்லை. உண்மையில் இது பெரிய தரவு கண்டுபிடிப்புகளுக்கான தளமாக மாறியுள்ளது. ஆனால் என் கருத்துப்படி இது இன்னும் முதிர்ச்சியடையாதது, எது மற்றும் இல்லாதது பற்றி நீண்ட விவாதங்களை நாங்கள் கொண்டிருக்கலாம், ஹடூப்புடன் செயல்பாட்டு ரீதியாக முதிர்ச்சியடைந்தோம் என்று சொல்லலாம், ஆனால் இந்த குறிப்பிட்ட பகுதியைப் பார்க்கும் பெரும்பாலான மக்கள் ஹடூப் மெயின்பிரேமுக்குப் பின்னால் பல தசாப்தங்கள் இருப்பதை நன்கு அறிவார்கள் செயல்பாட்டு திறனைப் பொறுத்தவரை.

வளர்ந்து வரும் தரவு ஏரி. தரவு ஏரி என்பது எந்தவொரு வரையறையினாலும் ஒரு தளமாகும், கார்ப்பரேட் கம்ப்யூட்டிங்கில் ஒரு தரவு அடுக்கு இருப்பதாக நீங்கள் நினைத்தால், இப்போது நிலையான தரவுத்தளங்கள் மற்றும் தரவு அடுக்கு தரவு அடுக்கை கருத்தில் கொள்வது மிகவும் எளிதானது. தரவு ஏரி பயன்பாடுகள் பல மற்றும் மாறுபட்டவை. நான் இங்கே ஒரு வரைபடத்தைப் பெற்றுள்ளேன், நீங்கள் ஹடூப்பை ஒரு ஸ்டேஜிங் ஏரியாவாகவோ அல்லது ஹடூப் மற்றும் ஸ்பார்க்கை ஒரு ஸ்டேஜிங் ஏரியாவாகவோ பயன்படுத்தினால் செய்ய வேண்டிய பல்வேறு தரவு சண்டையிடும் விஷயங்களைச் சந்திக்கும். தரவு பரம்பரை, தரவு சுத்திகரிப்பு, மெட்டாடேட்டா மேலாண்மை, மெட்டாடேட்டா கண்டுபிடிப்பு - இது எல்லாவற்றையும் நீங்கள் பெற்றுள்ளீர்கள், ஆனால் இது ETL க்காகவே பயன்படுத்தப்படலாம், ஆனால் தரவை உள்ளே கொண்டு வர பெரும்பாலும் ETL தேவைப்படுகிறது. முதன்மை தரவு மேலாண்மை, தரவின் வணிக வரையறைகள், சேவை மேலாண்மை ஹடூப்பில் என்ன நடக்கிறது, தரவின் வாழ்க்கைச் சுழற்சி மேலாண்மை மற்றும் ஹடூப்பில் இருந்து ஈ.டி.எல் ஆகியவை உள்ளன, மேலும் நீங்கள் ஹடூப்பில் இயக்கக்கூடிய நேரடி பகுப்பாய்வு பயன்பாடுகளையும் பெற்றுள்ளீர்கள்.

அதனால்தான் இது மிகவும் சக்திவாய்ந்ததாகிவிட்டது, அது எங்கே செயல்படுத்தப்பட்டு வெற்றிகரமாக செயல்படுத்தப்படுகிறது, பொதுவாக இது குறைந்தபட்சம் இந்த வகையான பயன்பாடுகளின் தொகுப்பைக் கொண்டுள்ளது. அந்த பயன்பாடுகளில் பெரும்பாலானவை, குறிப்பாக நான் சுருக்கமாகக் கூறப்பட்டவை, அவை இப்போது மெயின்பிரேமில் கிடைக்கவில்லை. ஆனால் நீங்கள் அவற்றை மெயின்பிரேமில், மெயின்பிரேமின் ஒரு பகிர்வில் இயங்கும் ஒரு ஹடூப் கிளஸ்டரில் இயக்கலாம்.

தரவு ஏரி, விரைவான தரவுத்தள பகுப்பாய்வு மற்றும் BI க்கான இயற்கையான அரங்கமாக மாறி வருகிறது என்பது என் கருத்து. இது நீங்கள் தரவை எடுக்கும் இடமாக மாறும், இது கார்ப்பரேட் தரவு அல்லது வெளிப்புற தரவு, அது வரை குழப்பம், பயன்படுத்த போதுமான சுத்தம் மற்றும் பயன்படுத்த நன்கு கட்டமைக்கப்பட்ட மற்றும் பின்னர் நீங்கள் அதை அனுப்ப. இவை அனைத்தும் இன்னும் ஆரம்ப நிலையில் உள்ளன.

மெயின்பிரேம் / ஹடூப் சகவாழ்வின் யோசனை, முதல் விஷயம் என்னவென்றால், பெரிய நிறுவனங்கள் மெயின்பிரேமை கைவிட வாய்ப்பில்லை. உண்மையில், நான் சமீபத்தில் பார்த்த அறிகுறிகள் மெயின்பிரேமில் அதிகரித்து வரும் முதலீடு இருப்பதைக் குறிக்கிறது. ஆனால் அவர்கள் ஹடூப் சுற்றுச்சூழல் அமைப்பையும் புறக்கணிக்கப் போவதில்லை. ஹடூப்பைப் பயன்படுத்தும் 60 சதவீத பெரிய நிறுவனங்களின் புள்ளிவிவரங்களை நான் பார்க்கிறேன், அவற்றில் நிறைய உண்மையில் முன்மாதிரி மற்றும் பரிசோதனை செய்தாலும் கூட.

புதிர் என்னவென்றால், "இந்த இரண்டு விஷயங்களையும் எவ்வாறு இணைவது?" ஏனெனில் அவை தரவைப் பகிர வேண்டியிருக்கும். தரவு ஏரிக்கு கொண்டு வரப்படும் தரவு அவர்கள் மெயின்பிரேமுக்கு மாற்றப்பட வேண்டும். மெயின்பிரேமில் உள்ள தரவு மற்ற தரவுகளுடன் இணைவதற்கு தரவு ஏரிக்கு அல்லது தரவு ஏரி வழியாக செல்ல வேண்டியிருக்கும். அது நடக்கப்போகிறது. அதற்கு விரைவான தரவு பரிமாற்றம் / ஈ.டி.எல் திறன் தேவை என்பதாகும். வேலை சுமைகள் மாறும் வகையில் பகிரப்படுவது சாத்தியமில்லை, ஒரு மெயின்பிரேம் சூழல் அல்லது ஒரு ஹடூப் சூழலில் ஏதேனும் ஒன்றைக் கூறலாம். இது பகிரப்பட்ட தரவுகளாக இருக்கும். பெரும்பாலான தரவு தவிர்க்க முடியாமல் ஹடூப்பில் வசிக்கப் போகிறது, ஏனெனில் இது அதற்கான மிகக் குறைந்த விலை தளமாகும். முடிவில் இருந்து இறுதி பகுப்பாய்வு செயலாக்கம் அநேகமாக அங்கேயும் இருக்கும்.

சுருக்கமாக, இறுதியில் ஒரு கார்ப்பரேட் தரவு அடுக்கின் அடிப்படையில் நாம் சிந்திக்க வேண்டும், இது பல நிறுவனங்களுக்கு மெயின்பிரேமை உள்ளடக்கும். அந்த தரவு அடுக்கை முன்கூட்டியே நிர்வகிக்க வேண்டும். இல்லையெனில் இருவரும் நன்றாக இணைந்திருக்க மாட்டார்கள். நான் பந்தை உங்களிடம் திருப்பி அனுப்ப முடியும் எரிக்.

எரிக் கவனாக்: மீண்டும், டெண்டே நான் உங்களை தொகுப்பாளராக மாற்றினேன், எனவே அதை எடுத்துச் செல்லுங்கள்.

Tendü Yogurtçu: நன்றி, எரிக். என்னை வைத்ததற்கு நன்றி. எல்லோருக்கும் வணக்கம். நிறுவனத்தில் ஒரு சொத்தாக தரவை எவ்வாறு பார்க்கிறோம் என்பது தொடர்பாக வாடிக்கையாளர்களுடனான ஒத்திசைவு அனுபவத்தைப் பற்றி நான் பேசுவேன், மெயின்பிரேமில் இருந்து பகுப்பாய்வு தளங்களில் பெரிய தரவு வரை சமன் செய்யப்படுகிறது. இந்த வெப்காஸ்ட்களின் மிகவும் மதிப்புமிக்க பகுதியாக இருப்பதால், பார்வையாளர்களிடமிருந்து கேள்விகளைக் கேட்க அமர்வின் முடிவில் எங்களுக்கும் நேரம் கிடைக்கும் என்று நம்புகிறேன்.

ஒத்திசைவு என்ன செய்கிறது என்று தெரியாதவர்களுக்கு, ஒத்திசைவு ஒரு மென்பொருள் நிறுவனம். நாங்கள் உண்மையில் 40 ஆண்டுகளுக்கும் மேலாக இருக்கிறோம். மெயின்பிரேம் பக்கத்தில் தொடங்கி, எங்கள் தயாரிப்புகள் மெயின்பிரேமில் இருந்து யூனிக்ஸ் வரை பெரிய தரவு தளங்கள் வரை உள்ளன, இதில் ஹடூப், ஸ்பார்க், ஸ்ப்ளங்க் உள்ளிட்டவை வளாகத்திலும் மேகத்திலும் உள்ளன. எங்கள் கவனம் எப்போதும் தரவு தயாரிப்புகள், தரவு செயலாக்கம் மற்றும் தரவு ஒருங்கிணைப்பு தயாரிப்புகளில் உள்ளது.

பெரிய தரவு மற்றும் ஹடூப் தொடர்பான எங்கள் மூலோபாயம் உண்மையில் முதல் நாளிலிருந்து சுற்றுச்சூழல் அமைப்பின் ஒரு பகுதியாக மாறியது. மிகவும் இலகுரக என்ஜின்கள் கொண்ட தரவு செயலாக்கத்தில் உண்மையில் கவனம் செலுத்திய விற்பனையாளர்களின் உரிமையாளர்களாக, ஹடூப் ஒரு தரவு செயலாக்க தளமாக மாறுவதற்கும், இந்த அடுத்த தலைமுறை தரவுக் கிடங்கு கட்டமைப்பின் ஒரு பகுதியாக இருப்பதற்கும் ஒரு பெரிய வாய்ப்பு இருப்பதாக நாங்கள் நினைத்தோம். மேப் ரீடூஸில் தொடங்கி 2011 முதல் திறந்த மூல அப்பாச்சி திட்டங்களுக்கு நாங்கள் பங்களிப்பாளர்களாக இருக்கிறோம். ஹடூப் பதிப்பு 2 க்கான முதல் பத்தில் இடம் பெற்றிருக்கிறோம், உண்மையில் ஸ்பார்க் தொகுப்புகள் உட்பட பல திட்டங்களில் பங்கேற்றுள்ளோம், எங்கள் இணைப்பிகள் சில ஸ்பார்க் தொகுப்புகளில் வெளியிடப்படுகின்றன.

எங்கள் மிகவும் இலகுரக தரவு செயலாக்க இயந்திரத்தை நாங்கள் பயன்படுத்துகிறோம், இது முற்றிலும் தட்டையான கோப்பு அடிப்படையிலான மெட்டாடேட்டா, மற்றும் ஹடூப் விநியோகிக்கப்பட்ட கோப்பு முறைமை போன்ற விநியோகிக்கப்பட்ட கோப்பு முறைமைகளுடன் நன்றாக அமர்ந்திருக்கிறது. எங்கள் பெரிய தரவு தயாரிப்புகளை வெளியிடுகையில், எங்கள் பாரம்பரியத்தை மெயின்பிரேமில், வழிமுறைகளுடன் எங்கள் நிபுணத்துவத்தை நாங்கள் பயன்படுத்துகிறோம். ஹார்டன்வொர்க்ஸ், கிளவுட்ரா, மேப்ஆர், ஸ்ப்ளங்க் உள்ளிட்ட முக்கிய விற்பனையாளர்கள், முக்கிய வீரர்களுடன் நாங்கள் மிக நெருக்கமாகப் பங்காற்றுகிறோம். ஹார்டன்வொர்க்ஸ் சமீபத்தில் ஹடூப்புடன் ஈ.டி.எல் ஆன் போர்டிங் செய்வதற்காக எங்கள் தயாரிப்புகளை மறுவிற்பனை செய்வதாக அறிவித்தது. டெல் மற்றும் கிள oud டெராவுடன் எங்களுக்கு மிக நெருக்கமான கூட்டாண்மை உள்ளது, அது அவர்களின் பெரிய தரவு சாதனத்தின் ஒரு பகுதியாக எங்கள் ஈ.டி.எல் தயாரிப்பையும் மறுவிற்பனை செய்கிறது. ஸ்ப்ளங்க் உடன், ஸ்ப்ளங்க் டாஷ்போர்டுகளில் ஒரு மெயின்பிரேம் டெலிமெட்ரி மற்றும் பாதுகாப்பு தரவை வெளியிடுகிறோம். எங்களுக்கு நெருக்கமான கூட்டு உள்ளது.

ஒவ்வொரு சி-லெவல் எக்ஸிகியூட்டிவ் மனதிலும் என்ன இருக்கிறது? இது உண்மையிலேயே, “எனது தரவு சொத்துக்களை நான் எவ்வாறு தட்டுவது?” எல்லோரும் பெரிய தரவைப் பற்றி பேசுகிறார்கள். வணிக சுறுசுறுப்பை உருவாக்க மற்றும் புதிய உருமாறும் பயன்பாடுகளைத் திறக்க எனக்கு உதவக்கூடிய அடுத்த கணினி தளமான ஹடூப், ஸ்பார்க் பற்றி எல்லோரும் பேசுகிறார்கள். சந்தைக்குச் செல்லும் புதிய வாய்ப்புகள். ஒவ்வொரு நிர்வாகியும் நினைத்துக்கொண்டிருக்கிறார்கள், "எனது தரவு மூலோபாயம் என்ன, எனது தரவு முயற்சி என்ன, நான் எனது போட்டியின் பின்னால் இருக்கக்கூடாது என்பதை எப்படி உறுதிப்படுத்துவது, அடுத்த மூன்று ஆண்டுகளில் நான் இன்னும் இந்த சந்தையில் இருக்கிறேன்." நாங்கள். நாங்கள் எங்கள் வாடிக்கையாளர்களுடன் பேசும்போது இதைப் பாருங்கள், நாங்கள் எங்கள் உலகளாவிய வாடிக்கையாளர் தளத்துடன் பேசும்போது, ​​இது மிகப் பெரியது, நீங்கள் நினைத்துப் பார்க்கிறபடி, நாங்கள் சிறிது காலமாக இருந்ததால்.

இந்த அனைத்து அமைப்புகளுடனும் நாங்கள் பேசும்போது, ​​ஹடூப்புடன் ஏற்பட்ட இடையூறில் தொழில்நுட்ப அடுக்கிலும் இதைக் காண்கிறோம். தரவைப் பற்றிய இந்த கோரிக்கையை ஒரு சொத்தாக பூர்த்தி செய்வதற்காக இது உண்மையில். ஒரு நிறுவனத்திடம் உள்ள அனைத்து தரவு சொத்துகளையும் கட்டுப்படுத்துதல். நிறுவன தரவுக் கிடங்கு கட்டமைப்பானது நவீன தரவுக் கட்டமைப்பின் புதிய மையமாக ஹடூப் இப்போது உருவாகி வருவதை நாங்கள் கண்டோம். எங்கள் வாடிக்கையாளர்களில் பெரும்பாலோர், அது நிதிச் சேவைகளாக இருந்தாலும், அது காப்பீடாக இருந்தாலும், சில்லறை விற்பனையின் டெல்கோவாக இருந்தாலும், முன்முயற்சிகள் வழக்கமாக ஹடூப்பை ஒரு சேவையாகவோ அல்லது தரவை ஒரு சேவையாகவோ காணலாம். ஏனென்றால் ஒவ்வொருவரும் தங்கள் வெளிப்புற வாடிக்கையாளர்களுக்கோ அல்லது உள் வாடிக்கையாளர்களுக்கோ தரவு சொத்துக்களை கிடைக்க முயற்சிக்கிறார்கள். சில நிறுவனங்களில், தங்கள் வாடிக்கையாளர்களுக்கு கிட்டத்தட்ட ஒரு தரவு சந்தை போன்ற முயற்சிகளை நாங்கள் காண்கிறோம்.

அதை அடைவதற்கான முதல் படிகளில் ஒன்று நிறுவன தரவு மையத்தை உருவாக்குவதிலிருந்தே. சில நேரங்களில் மக்கள் இதை ஒரு தரவு ஏரி என்று அழைப்பார்கள். இந்த நிறுவன தரவு மையத்தை உருவாக்குவது உண்மையில் எளிதானது அல்ல, ஏனென்றால் நிறுவனத்தில் எந்தவொரு தரவையும் அணுகுவதற்கும் சேகரிப்பதற்கும் இது உண்மையில் தேவைப்படுகிறது. அந்த தரவு இப்போது மொபைல் சென்சார்கள் மற்றும் மரபு தரவுத்தளங்கள் போன்ற அனைத்து புதிய மூலங்களிலிருந்தும் உள்ளது, இது தொகுதி பயன்முறையிலும் ஸ்ட்ரீமிங் பயன்முறையிலும் உள்ளது. தரவு ஒருங்கிணைப்பு எப்போதுமே ஒரு சவாலாகவே உள்ளது, இருப்பினும், தரவு மூலங்களின் எண்ணிக்கை மற்றும் பல்வேறு விநியோக பாணிகள், இது தொகுதி அல்லது நிகழ்நேர ஸ்ட்ரீமிங் என்றாலும், ஐந்து ஆண்டுகளுக்கு முன்பு, பத்து ஆண்டுகளுக்கு முன்பு ஒப்பிடும்போது இப்போது இது மிகவும் சவாலானது. நாங்கள் சில சமயங்களில், “இது இனி உங்கள் தந்தையின் ப.ப.வ.நிதி அல்ல” என்று குறிப்பிடுகிறோம்.

எனவே வெவ்வேறு தரவு சொத்துக்களைப் பற்றி பேசுகிறோம். நிறுவனங்கள் புதிய தரவைப் புரிந்துகொள்ள முயற்சிக்கும்போது, ​​மொபைல் சாதனங்களிலிருந்து அவர்கள் சேகரிக்கும் தரவு, ஒரு கார் உற்பத்தியாளரின் சென்சார்கள் அல்லது இது ஒரு மொபைல் கேமிங் நிறுவனத்தின் பயனர் தரவு, அவை பெரும்பாலும் மிக முக்கியமான தரவு சொத்துக்களைக் குறிப்பிட வேண்டும் எடுத்துக்காட்டாக, வாடிக்கையாளர் தகவல் நிறுவனமாகும். இந்த மிக முக்கியமான தரவு சொத்துக்கள் பெரும்பாலும் மெயின்பிரேமில் வாழ்கின்றன. மெயின்பிரேம் தரவை இந்த வளர்ந்து வரும் புதிய மூலங்களுடன் தொடர்புபடுத்துதல், மேகக்கட்டத்தில் சேகரிக்கப்பட்டவை, மொபைல் மூலம் சேகரிக்கப்பட்டவை, ஜப்பானிய கார் நிறுவனத்தின் உற்பத்தி வரிசையில் சேகரிக்கப்பட்டவை அல்லது விஷயங்களின் பயன்பாடுகளின் இணையம் ஆகியவை அவற்றின் புதிய தரவுத் தொகுப்புகளைக் குறிப்பிடுவதன் மூலம் இந்த புதிய தரவைப் புரிந்து கொள்ள வேண்டும். அந்த மரபு தரவு தொகுப்புகள் பெரும்பாலும் மெயின்பிரேமில் இருக்கும்.

இந்த நிறுவனங்களால் அதைச் செய்ய முடியாவிட்டால், மெயின்பிரேம் தரவைத் தட்ட முடியாவிட்டால், தவறவிட்ட வாய்ப்பு உள்ளது. தரவை ஒரு சேவையாக, அல்லது நிறுவன தரவுகள் அனைத்தையும் அந்நியப்படுத்துவது உண்மையில் நிறுவனத்தில் மிக முக்கியமான சொத்துக்களைத் தட்டுவதில்லை. டெலிமெட்ரி மற்றும் பாதுகாப்பு தரவு பகுதியும் உள்ளது, ஏனென்றால் எல்லா பரிவர்த்தனை தரவுகளும் மெயின்பிரேமில் வாழ்கின்றன.

நீங்கள் ஒரு ஏடிஎம்-க்குச் செல்வதை கற்பனை செய்து பாருங்கள், பங்கேற்பாளர்களில் ஒருவர் வங்கி அமைப்பைப் பாதுகாப்பதற்காக இங்கு பங்கேற்பாளர்களுக்கு ஒரு செய்தியை அனுப்பியதாக நான் நினைக்கிறேன், உங்கள் அட்டையை ஸ்வைப் செய்யும் போது பரிவர்த்தனை தரவு உலகளவில் மெயின்பிரேமில் உள்ளது. மெயின்பிரேம்களிலிருந்து பாதுகாப்பு தரவு மற்றும் டெலிமெட்ரி தரவைப் பாதுகாத்தல் மற்றும் சேகரித்தல் மற்றும் ஸ்ப்ளங்க் டாஷ்போர்டுகள் அல்லது பிறவற்றின் மூலம் கிடைக்கக்கூடியவை, ஸ்பார்க், எஸ்.கியூ.எல், முன்பை விட இப்போது மிகவும் முக்கியமானதாகி விடுகின்றன, ஏனெனில் தரவின் அளவு மற்றும் தரவுகளின் வகை.

திறன் தொகுப்புகள் மிகப்பெரிய சவால்களில் ஒன்றாகும். ஒருபுறம் உங்களிடம் வேகமாக மாறிவரும் பெரிய தரவு அடுக்கு இருப்பதால், எந்த திட்டம் உயிர்வாழப் போகிறது, எந்தத் திட்டம் பிழைக்கப் போவதில்லை என்று உங்களுக்குத் தெரியாது, நான் ஹைவ் அல்லது பன்றி டெவலப்பர்களை நியமிக்க வேண்டுமா? நான் MapReduce அல்லது Spark இல் முதலீடு செய்ய வேண்டுமா? அல்லது அடுத்த விஷயம், பிளிங்க், யாரோ சொன்னார்கள். இந்த கணினி தளங்களில் ஒன்றில் நான் முதலீடு செய்ய வேண்டுமா? ஒருபுறம், வேகமாக மாறிவரும் சுற்றுச்சூழல் அமைப்பைக் கடைப்பிடிப்பது ஒரு சவாலாகும், மறுபுறம் உங்களிடம் இந்த மரபு தரவு ஆதாரங்கள் உள்ளன. புதிய திறன் தொகுப்புகள் உண்மையில் பொருந்தவில்லை, உங்களுக்கு ஒரு சிக்கல் இருக்கலாம், ஏனெனில் அந்த வளங்கள் உண்மையில் ஓய்வு பெறுகின்றன. அந்த மரபு தரவு அடுக்குகளைப் புரிந்துகொள்ளும் மற்றும் வளர்ந்து வரும் தொழில்நுட்ப அடுக்கைப் புரிந்துகொள்ளும் நபர்களின் திறன் தொகுப்பின் அடிப்படையில் ஒரு பெரிய இடைவெளி உள்ளது.

இரண்டாவது சவால் ஆளுகை. தளங்களில் உள்ள அனைத்து நிறுவன தரவையும் நீங்கள் உண்மையில் அணுகும்போது, ​​வாடிக்கையாளர்கள் எங்களிடம் கவலைகளை எழுப்பியுள்ளனர், “எனது தரவு தரையிறங்க நான் விரும்பவில்லை. எனது தரவை பல இடங்களில் நகலெடுப்பதை நான் விரும்பவில்லை, ஏனெனில் பல நகல்களை முடிந்தவரை தவிர்க்க விரும்புகிறேன். அதை நடுவில் தரையிறக்காமல் இறுதி முதல் இறுதி அணுகலை நான் விரும்புகிறேன். ”இந்தத் தரவை நிர்வகிப்பது ஒரு சவாலாக மாறும். மற்ற பகுதி என்னவென்றால், நீங்கள் சிக்கல்களைத் தரும் தரவை அணுகினால், உங்கள் தரவுகளை மேகக்கட்டத்தில் சேகரித்து, மரபுத் தரவை அணுகி குறிப்பிடுகிறீர்கள் என்றால், பிணைய அலைவரிசை ஒரு சிக்கலாக, கிளஸ்டர் தளமாக மாறும். இந்த பெரிய தரவு முன்முயற்சி மற்றும் மேம்பட்ட பகுப்பாய்வு தளங்களை வைத்திருப்பது மற்றும் நிறுவன தரவுகள் அனைத்தையும் மேம்படுத்துவதில் பல சவால்கள் உள்ளன.

ஒத்திசைவு சலுகைகள் என்னவென்றால், நாங்கள் "வெறுமனே சிறந்தது" என்று குறிப்பிடப்படுகிறோம், ஏனென்றால் நாங்கள் வெறுமனே சிறந்தவர்கள் அல்ல, ஆனால் எங்கள் வாடிக்கையாளர்கள் மெயின்பிரேம் தரவை அணுகுவதிலும் ஒருங்கிணைப்பதிலும் மிகச் சிறந்தவர்கள் என்று குறிப்பிடுகிறார்கள். மெயின்பிரேமிலிருந்து அனைத்து தரவு வடிவங்களையும் நாங்கள் ஆதரிக்கிறோம் மற்றும் பெரிய தரவு பகுப்பாய்வுகளுக்கு கிடைக்கச் செய்கிறோம். அது ஹடூப் அல்லது ஸ்பார்க் அல்லது அடுத்த கணினி இயங்குதளத்தில் இருந்தாலும் சரி. ஏனென்றால் எங்கள் தயாரிப்புகள் கணினி தளத்தின் சிக்கல்களை உண்மையில் பாதுகாக்கின்றன. நீங்கள் ஒரு டெவலப்பராக, ஒரு மடிக்கணினியில் வளரக்கூடியவர், தரவுக் குழாய்வழி மற்றும் தரவு தயாரிப்புகள் என்ன என்பதில் கவனம் செலுத்துகிறீர்கள், இந்த தரவை பகுப்பாய்வுகளுக்காக உருவாக்க வேண்டிய படிகள், அடுத்த கட்டம், அதே பயன்பாட்டை MapReduce இல் எடுத்துக் கொள்ளுங்கள் அல்லது அதை எடுத்துக் கொள்ளுங்கள் அதே பயன்பாடு ஸ்பார்க்கில்.

YARN கிடைக்கும்போது எங்கள் வாடிக்கையாளர்களுக்கு அதைச் செய்ய நாங்கள் உதவினோம், மேலும் அவர்கள் தங்கள் பயன்பாடுகளை MapReduce பதிப்பு 1 இலிருந்து YARN க்கு நகர்த்த வேண்டியிருந்தது. அப்பாச்சி ஸ்பார்க்குடன் இதைச் செய்ய நாங்கள் அவர்களுக்கு உதவுகிறோம். எங்கள் தயாரிப்பு, புதிய வெளியீடு 9 ஸ்பார்க்குடனும் இயங்குகிறது மற்றும் எதிர்கால கணினி கட்டமைப்பிற்கான இந்த பயன்பாடுகளை பாதுகாக்கும் மாறும் தேர்வுமுறை கொண்ட கப்பல்கள்.

எனவே மெயின்பிரேம் தரவை அணுகுவோம், அது விஎஸ்ஏஎம் கோப்புகள், அது டிபி 2 ஆக இருந்தாலும் சரி, அல்லது எஸ்எம்எஃப் பதிவுகள் அல்லது லாக் 4 ஜே அல்லது சிஸ்லாக்ஸ் போன்ற டெலிமெட்ரி தரவுகளாக இருந்தாலும் சரி, அவை ஸ்ப்ளங்க் டாஷ்போர்டுகள் மூலம் காட்சிப்படுத்தப்பட வேண்டும். அதைச் செய்யும்போது, ​​நிறுவனம் தங்களின் தற்போதைய தரவு பொறியாளர் அல்லது ஈ.டி.எல் திறன் தொகுப்புகளைப் பயன்படுத்த முடியும் என்பதால், வளர்ச்சி நேரம் கணிசமாகக் குறைக்கப்படுகிறது. உண்மையில், டெல் மற்றும் கிள oud டெராவுடன், ஒரு சுயாதீனமான பெஞ்ச்மார்க் ஸ்பான்சர் செய்யப்பட்டது, மேலும் நீங்கள் கை குறியீட்டு முறையைச் செய்கிறீர்களோ அல்லது ஒத்திசைவு போன்ற பிற கருவிகளைப் பயன்படுத்துகிறீர்களோ, அது வளர்ச்சி நேரத்தை மையமாகக் கொண்டுள்ளது, மேலும் இது வளர்ச்சி நேரத்தில் சுமார் 60, 70 சதவீதம் குறைப்பு . திறன்களைக் கட்டுப்படுத்துவது குழுக்கள், அந்த தரவு கோப்பு ஹோஸ்ட்கள் மற்றும் மக்கள் அடிப்படையில் அந்த தரவு கோப்பு ஹோஸ்ட்கள் ஆகியவற்றில் இடைவெளியை அமைக்கிறது.

வழக்கமாக பெரிய தரவுக் குழு, அல்லது தரவு உட்கொள்ளும் குழு அல்லது இந்தத் தரவை ஒரு சேவை கட்டமைப்பாக உருவாக்க பணிபுரியும் குழு, மெயின்பிரேம் குழுவுடன் அவசியம் பேசுவதில்லை. ஏறக்குறைய பல நிறுவனங்களில் அந்த தொடர்பைக் குறைக்க அவர்கள் விரும்புகிறார்கள். அந்த இடைவெளியை மூடுவதன் மூலம் நாம் முன்னேறியுள்ளோம். மிக முக்கியமான பகுதி உண்மையில் முழு செயல்முறையையும் பாதுகாப்பதாகும். ஏனெனில் நிறுவனத்தில் நீங்கள் இந்த வகையான முக்கியமான தரவைக் கையாளும் போது பல தேவைகள் உள்ளன.

எங்கள் வாடிக்கையாளர்கள் கேட்கும் காப்பீடு மற்றும் வங்கி போன்ற மிகவும் ஒழுங்குபடுத்தப்பட்ட தொழில்களில், அவர்கள், “நீங்கள் இந்த மெயின்பிரேம் தரவு அணுகலை வழங்குகிறீர்கள், அது மிகச் சிறந்தது. எனது தணிக்கைத் தேவைகளை பூர்த்தி செய்ய இந்த ஈபிசிடிஐசி-குறியிடப்பட்ட பதிவு வடிவமைப்பை அதன் அசல் வடிவத்தில் வைத்திருப்பதையும் நீங்கள் வழங்க முடியுமா? ”எனவே ஹடூப் மற்றும் அப்பாச்சி ஸ்பார்க் மெயின்பிரேம் தரவைப் புரிந்துகொள்ள வைக்கிறோம். நீங்கள் தரவை அதன் அசல் பதிவு வடிவத்தில் வைத்திருக்கலாம், உங்கள் செயலாக்கம் மற்றும் நிலைகள் விநியோகஸ்தர் கணினி தளத்தை செய்யுங்கள், அதை நீங்கள் பின்னுக்குத் தள்ளினால் பதிவு மாற்றப்படவில்லை மற்றும் பதிவு வடிவம் மாற்றப்படவில்லை என்பதைக் காட்டலாம், நீங்கள் ஒழுங்குமுறை தேவைகளுக்கு இணங்கலாம் .

பெரும்பாலான நிறுவனங்கள், அவை தரவு மையமாக அல்லது தரவு ஏரியை உருவாக்கி வருவதால், ஒரு ஆரக்கிள் தரவுத்தளத்தில் நூற்றுக்கணக்கான திட்டங்களிலிருந்து மெட்டாடேட்டாவை ஹைவ் அட்டவணைகள் அல்லது ORC அல்லது Parquet கோப்புகளுக்கு வரைபடமாக்க ஒரே கிளிக்கில் இதைச் செய்ய முயற்சிக்கின்றனர். அவசியமாகிறது. நாங்கள் கருவிகளை அனுப்புகிறோம், இதை ஒரு படி தரவு அணுகல், தானாக உருவாக்கும் வேலைகள் அல்லது தரவு இயக்கம் மற்றும் தரவு மேப்பிங் செய்ய தானாக உருவாக்கும் வேலைகள் ஆகியவற்றை உருவாக்குவதற்கான கருவிகளை நாங்கள் வழங்குகிறோம்.

இணைப்பு பகுதி, இணக்கம், ஆளுகை மற்றும் தரவு செயலாக்கம் பற்றி பேசினோம். எங்கள் தயாரிப்புகள் வளாகத்திலும் மேகத்திலும் கிடைக்கின்றன, இது மிகவும் எளிமையானது, ஏனென்றால் பொது கிளவுட் மற்றும் கலப்பினத்திற்கு எதிராக நான் முழுமையாக செல்ல முடிவு செய்தால் அடுத்த ஆண்டு அல்லது இரண்டு ஆண்டுகளில் என்ன நடக்கப் போகிறது என்பதைப் பற்றி நிறுவனங்கள் சிந்திக்கத் தேவையில்லை. சூழல், சில கொத்துகள் வளாகத்தில் அல்லது மேகத்தில் இயங்கக்கூடும். எங்கள் தயாரிப்புகள் அமேசான் சந்தையில், ஈசி 2, மீள் வரைபடம் மற்றும் ஒரு டோக்கர் கொள்கலனில் கிடைக்கின்றன.

ஒரு வகையான மடக்குதலுக்காக, கேள்வி பதில் கேள்விக்கு எங்களுக்கு போதுமான நேரம் உள்ளது, இது உண்மையில் தரவு நிர்வாகத்தை அணுகுவது, ஒருங்கிணைப்பது மற்றும் இணங்குவது பற்றியது, ஆனால் இவை அனைத்தையும் எளிதாக்குகிறது. இதை எளிமையாக்கும் போது, ​​எங்கள் திறந்த மூல பங்களிப்புகளின் காரணமாக உண்மையான வடிவமைப்பில் “ஒரு முறை வடிவமைத்து எங்கும் வரிசைப்படுத்துங்கள்” எங்கள் தயாரிப்பு ஹடூப் தரவு ஓட்டத்தில் பூர்வீகமாகவும், ஸ்பார்க்குடன் பூர்வீகமாகவும் இயங்குகிறது, விரைவாக மாறிவரும் சுற்றுச்சூழல் அமைப்பிலிருந்து நிறுவனங்களை பாதுகாக்கிறது. தொகுதி மற்றும் ஸ்ட்ரீமிங்கிற்கான ஒற்றை தரவுக் குழாய், ஒற்றை இடைமுகத்தை வழங்குதல்.

இது சில நேரங்களில் இந்த கட்டமைப்பை மதிப்பீடு செய்ய நிறுவனங்களுக்கும் உதவுகிறது, ஏனென்றால் நீங்கள் உண்மையில் பயன்பாடுகளை உருவாக்க விரும்பலாம் மற்றும் மேப் ரெட்யூஸுக்கு எதிராக ஸ்பார்க்கில் இயங்கிக் கொள்ளுங்கள், நீங்களே பாருங்கள், ஆம், ஸ்பார்க்கிற்கு இந்த வாக்குறுதி உள்ளது மற்றும் சிறந்த இயந்திர கற்றலுக்கான செயல்பாட்டு வழிமுறைகளில் அனைத்து முன்னேற்றங்களையும் வழங்குகிறது மற்றும் முன்கணிப்பு பகுப்பாய்வு பயன்பாடுகள் ஸ்பார்க்குடன் வேலை செய்கின்றன, இந்த கணினி கட்டமைப்பில் எனது ஸ்ட்ரீமிங் மற்றும் தொகுதி பணிச்சுமைகளையும் செய்ய முடியுமா? எங்கள் தயாரிப்புகளைப் பயன்படுத்தி வெவ்வேறு கணினி தளங்களை நீங்கள் சோதிக்கலாம். உங்கள் மடிக்கணினியில், கூகிள் கிளவுட் மற்றும் அப்பாச்சி ஸ்பார்க்கில் நீங்கள் ஒரு முழுமையான சேவையகத்தில் இயங்குகிறீர்களா என்பதை மாறும் தேர்வுமுறை உண்மையில் எங்கள் வாடிக்கையாளர்களுக்கு ஒரு பெரிய மதிப்பு முன்மொழிவாகும். அது அவர்களுக்கு இருந்த சவால்களால் உண்மையிலேயே இயக்கப்படுகிறது.

வழக்கு ஆய்வுகளில் ஒன்றை நான் உள்ளடக்குவேன். இது கார்டியன் ஆயுள் காப்பீட்டு நிறுவனம். கார்டியனின் முன்முயற்சி உண்மையில் அவர்களின் தரவு சொத்துக்களை மையப்படுத்தி தங்கள் வாடிக்கையாளர்களுக்குக் கிடைக்கச் செய்வதும், தரவு தயாரிக்கும் நேரத்தைக் குறைப்பதும் ஆகும், மேலும் தரவுத் தயாரிப்பைப் பற்றி எல்லோரும் பேசுகிறார்கள், ஒட்டுமொத்த தரவு செயலாக்கக் குழாயில் 80 சதவிகிதத்தை எடுத்துக்கொள்வதாகவும் அவர்கள் சொன்னார்கள் அவர்களுக்கு 75 முதல் 80 சதவிகிதம் வரை, அந்தத் தரவு தயாரித்தல், உருமாறும் நேரம், பகுப்பாய்வு திட்டங்களுக்கான சந்தைக்கு நேரத்தைக் குறைக்க அவர்கள் விரும்பினர். புதிய தரவு மூலங்களைச் சேர்க்கும்போது அந்த சுறுசுறுப்பை உருவாக்கவும். அந்த மையப்படுத்தப்பட்ட தரவு அணுகலை அவர்களின் வாடிக்கையாளர்கள் அனைவருக்கும் கிடைக்கச் செய்யுங்கள்.

ஒத்திசைவு தயாரிப்புகள் உட்பட அவற்றின் தீர்வு இப்போது ஒரு தரவு ஏரியால் ஆதரிக்கப்படும் அமேசான் சந்தைப் பார்வை தரவு சந்தை உள்ளது, இது அடிப்படையில் ஹடூப் மற்றும் NoSQL தரவுத்தளமாகும். மெயின்பிரேமில் உள்ள டிபி 2, மெயின்பிரேமில் உள்ள விஎஸ்ஏஎம் கோப்புகள் மற்றும் தரவுத்தள மரபு தரவு மூலங்கள் மற்றும் புதிய தரவு மூலங்கள் உள்ளிட்ட அனைத்து தரவு சொத்துக்களையும் தரவு ஏரிக்கு கொண்டு வர எங்கள் தயாரிப்புகளைப் பயன்படுத்துகிறார்கள். இதன் விளைவாக, அவர்கள் மீண்டும் பயன்படுத்தக்கூடிய தரவு சொத்துக்களை மையப்படுத்தியுள்ளனர், அவை தேடக்கூடியவை, அணுகக்கூடியவை மற்றும் தங்கள் வாடிக்கையாளர்களுக்கு கிடைக்கின்றன. புதிய தரவு மூலங்களைச் சேர்ப்பதற்கும், தங்கள் வாடிக்கையாளர்களுக்கு முன்பை விட மிக விரைவாகவும் திறமையாகவும் சேவை செய்ய அவர்களால் முடியும். பகுப்பாய்வு முன்முயற்சிகள் முன்கணிப்பு பக்கத்திலும் இன்னும் முன்னேறி வருகின்றன. எனவே நான் இடைநிறுத்தப்படுவேன், இது பயனுள்ளதாக இருக்கும் என்று நம்புகிறேன், மேலும் இது தொடர்பான ஏதேனும் தலைப்புகளில் ஏதேனும் கேள்விகள் இருந்தால், நீங்கள் வரவேற்கப்படுகிறீர்கள்.

எரிக் கவனாக்: நிச்சயமாக, மற்றும் டெண்டே, நான் ஒன்றை உள்ளே எறிவேன். பார்வையாளர் உறுப்பினரிடமிருந்து எனக்கு ஒரு கருத்து கிடைத்தது, “எனக்கு இந்த வடிவமைப்பு ஒரு முறை பிடிக்கும், எங்கும் வரிசைப்படுத்தவும்.” இது எப்படி உண்மை என்று நீங்கள் தோண்டி எடுக்க முடியுமா? அதாவது, அந்த வகையான சுறுசுறுப்பை இயக்க நீங்கள் என்ன செய்தீர்கள், ஏதேனும் வரி இருக்கிறதா? மெய்நிகராக்கத்தைப் பற்றி நாம் பேசும்போது போல, எடுத்துக்காட்டாக, செயல்திறனுக்கான வரி எப்போதுமே இருக்கும். சிலர் இரண்டு சதவீதம், ஐந்து சதவீதம் 10 சதவீதம் என்று கூறுகிறார்கள். வடிவமைப்பை ஒரு முறை இயக்குவதற்கு, எங்கும் வரிசைப்படுத்த நீங்கள் என்ன செய்தீர்கள் - நீங்கள் அதை எவ்வாறு செய்கிறீர்கள், செயல்திறனைப் பொறுத்தவரை அதனுடன் தொடர்புடைய வரி ஏதேனும் உள்ளதா?

Tendü Yogurtçu: நிச்சயமாக, நன்றி. இல்லை, ஏனென்றால் வேறு சில விற்பனையாளர்களைப் போலல்லாமல், நாங்கள் உண்மையில் ஹைவ் அல்லது பன்றி அல்லது எங்கள் என்ஜின்களுக்கு சொந்தமில்லாத வேறு சில குறியீட்டை உருவாக்கவில்லை. எங்களுடைய திறந்த மூல பங்களிப்புகள் மிகப் பெரிய பங்கைக் கொண்டிருந்தன, ஏனென்றால் நாங்கள் ஹடூப் விற்பனையாளர்கள், கிள oud டெரா, ஹார்டன்வொர்க்ஸ் மற்றும் மேப்ஆர் ஆகியோருடன் மிக நெருக்கமாக பணியாற்றி வருகிறோம், மேலும் எங்கள் திறந்த மூல பங்களிப்புகளின் காரணமாக, எங்கள் எஞ்சின் உண்மையில் ஓட்டத்தின் ஒரு பகுதியாக இயங்குகிறது, ஹடூப் ஓட்டத்தின் ஒரு பகுதியாக, தீப்பொறியின் ஒரு பகுதியாக.

இது என்ன மொழிபெயர்க்கிறது, இந்த மாறும் தேர்வுமுறை எங்களிடம் உள்ளது. இது எங்கள் வாடிக்கையாளர்களுக்கு கணினி கட்டமைப்பால் சவால் செய்யப்பட்டதன் விளைவாக வந்த ஒன்று. சில பயன்பாடுகளுடன் அவர்கள் உற்பத்திக்குச் செல்லும்போது, ​​அவர்கள் திரும்பி வந்தனர், “நான் எனது ஹடூப் கிளஸ்டரை உறுதிப்படுத்துகிறேன், மேப் ரெட்யூஸ் YARN பதிப்பு 2, மேப்ரூட் பதிப்பு 2 இல் நிலைப்படுத்துகிறேன், மேலும் மக்கள் மேப்ரூட் இறந்துவிட்டதாக பேசுகிறார்கள், தீப்பொறி உள்ளது அடுத்த விஷயம், மற்றும் சிலர் பிளிங்க் அடுத்ததாக இருக்கும் என்று சொல்கிறார்கள், இதை நான் எவ்வாறு சமாளிக்கப் போகிறேன்? ”

அந்த சவால்கள் எங்களுக்கு மிகவும் தெளிவாகத் தெரிந்தன, புத்திசாலித்தனமான மரணதண்டனை என நாம் குறிப்பிடும் இந்த மாறும் தேர்வுமுறைக்கு நாங்கள் முதலீடு செய்தோம். இயங்கும் நேரத்தில், வேலை, இந்த தரவுக் குழாய் சமர்ப்பிக்கப்படும்போது, ​​கிளஸ்டரை அடிப்படையாகக் கொண்டு, அது ஸ்பார்க்காக இருந்தாலும், அது மேப் ரெட்யூஸ் அல்லது லினக்ஸ் தனித்த சேவையகமாக இருந்தாலும், இந்த வேலையை எவ்வாறு இயக்குவது என்பதை நாங்கள் தீர்மானிக்கிறோம் ஹடூப் அல்லது தீப்பொறி தரவு ஓட்டம். எங்களிடம் உள்ள இந்த டைனமிக் தேர்வுமுறை மூலம் எல்லாம் செய்யப்படுவதால் எல்லாமே செய்யப்படுகிறது, ஏனென்றால் எங்கள் திறந்த மூல பங்களிப்புகளின் காரணமாக எங்கள் இயந்திரம் இயல்பாக ஒருங்கிணைக்கப்பட்டுள்ளது. அது உங்கள் கேள்விக்கு பதிலளிக்கிறதா?

எரிக் கவனாக்: ஆமாம், அது நல்லது. நான் இன்னும் ஒரு கேள்வியை அங்கேயே தூக்கி எறிய விரும்புகிறேன், பின்னர் டெஸ், ஒருவேளை நாங்கள் உங்களையும் ராபினையும் இழுப்போம். எங்கள் பங்கேற்பாளர்களில் ஒருவரிடமிருந்து எனக்கு ஒரு பெருங்களிப்புடைய கருத்து கிடைத்தது. நான் அதைப் படிப்பேன், ஏனென்றால் அது மிகவும் கசப்பானது. அவர் எழுதுகிறார், "விஷயங்களின் வரலாற்றில் HOT" - அதைப் பெறுகிறீர்களா? IoT ஐப் போலவே - "நீங்கள் மிகவும் சிக்கலான ஒன்றை 'எளிமைப்படுத்த' முயற்சிக்கிறீர்கள், பெரும்பாலும் விஷயங்களைச் செய்வதில் எளிமையானது அல்ல, மேலும் தொங்கும் கயிறு வழங்கப்படுகிறது. தரவுத்தள வினவல், வெடிப்பு, மல்டி-த்ரெட்டிங் போன்றவற்றை சிந்தியுங்கள். ”அவர் குறிப்பிடும் இந்த முரண்பாட்டைப் பற்றி நீங்கள் கருத்து தெரிவிக்க முடியுமா? எளிமை மற்றும் சிக்கலான தன்மை, மற்றும் அடிப்படையில் அட்டைகளுக்கு அடியில் உண்மையில் என்ன நடக்கிறது?

Tendü Yogurtçu: நிச்சயமாக. இது மிகவும் சரியான புள்ளி என்று நான் நினைக்கிறேன். நீங்கள் விஷயங்களை எளிமைப்படுத்தி, இந்த மேம்படுத்தல்களைச் செய்யும்போது, ​​அட்டைகளின் கீழ், நடக்க வேண்டியவற்றின் சிக்கலை யாராவது எடுக்க வேண்டும், இல்லையா? நீங்கள் எதையாவது செயலிழக்கச் செய்தால் அல்லது கணினி கட்டமைப்பைப் பொறுத்து ஒரு குறிப்பிட்ட வேலையை எவ்வாறு இயக்குவது என்று நீங்கள் தீர்மானிக்கிறீர்கள் என்றால், வேலையின் ஒரு பகுதி பயனர் முடிவில், மெனு குறியீட்டு முறையாக இருந்தாலும், அல்லது அது இயந்திர தேர்வுமுறையில் உள்ளதா என்று தள்ளப்படுகிறது. அதில் ஒரு பகுதி உள்ளது, பயனர் அனுபவத்தை எளிமைப்படுத்துவதன் மூலம், நிறுவனத்தில் இருக்கும் திறன் தொகுப்புகளை மேம்படுத்துவதில் ஒரு பெரிய நன்மை இருக்கிறது.

நீங்கள் அந்த முரண்பாட்டைத் தணிக்கலாம், அந்த சவாலைத் தணிக்கலாம், “ஆமாம், ஆனால் அந்த அட்டையின் கீழ், அந்த எஞ்சினில் உள்ள ஹூட்டின் கீழ் நடக்கும் எல்லாவற்றையும் நான் கட்டுப்படுத்த முடியாது, ” அவர்கள் மேம்பட்ட பயனர்களுக்கு விஷயங்களை வெளிப்படுத்துவதன் மூலம் அந்த வகையான கட்டுப்பாட்டை வைத்திருக்க விரும்புகிறேன். சில சேவை வகைகளில் முதலீடு செய்வதன் மூலமும். ஒரு SQL வினவலுக்காகவும், இயந்திரம் இயங்குவதிலும், இந்த பங்கேற்பாளர் அளித்த உதாரணத்தைப் போலவே, அதிக செயல்பாட்டு மெட்டாடேட்டா, அதிக செயல்பாட்டுத் தரவை வழங்க முடிந்தது. அதற்கு பதில் கிடைக்கும் என்று நம்புகிறேன்.

எரிக் கவனாக்: ஆமாம் அது நன்றாக இருக்கிறது. டெஸ், அதை எடுத்துச் செல்லுங்கள்.

டெஸ் பிளாஞ்ச்பீல்ட்: திறந்த-மூல பங்களிப்புகள் மற்றும் மெயின்பிரேம் மற்றும் தனியுரிம உலகில் உங்கள் பாரம்பரிய, நீண்டகால அனுபவத்திலிருந்து நீங்கள் எடுத்த பயணம் மற்றும் பின்னர் மாற்றுவதில் உங்கள் தடம் குறித்து இன்னும் கொஞ்சம் நுண்ணறிவைப் பெற நான் மிகவும் ஆர்வமாக உள்ளேன். திறந்த மூலத்திற்கு பங்களிப்பு மற்றும் அது எவ்வாறு நடந்தது. நான் புரிந்து கொள்ள ஆர்வமாக உள்ள மற்ற விஷயம் என்னவென்றால், வணிகங்கள், தகவல் தொழில்நுட்பத் துறைகள் மட்டுமல்ல, வணிகங்கள் இப்போது தரவு மையங்கள் அல்லது தரவு ஏரிகள் குறித்து மக்கள் இப்போது சொல்வது போலவும், இந்த போக்கை அவர்கள் காண்கிறார்களா என்பதைப் பற்றியும் எடுத்துக்கொள்கிறார்கள். ஒரே ஒரு, ஒருங்கிணைந்த தரவு ஏரி அல்லது விநியோகிக்கப்பட்ட தரவு ஏரிகளை நாங்கள் காண்கிறோமா, மக்கள் அவற்றை ஒன்றாக இணைக்க கருவிகளைப் பயன்படுத்துகிறார்களா?

Tendü Yogurtçu: நிச்சயமாக. முதல் பயணத்திற்கு, இது ஒரு சுவாரஸ்யமான பயணமாக இருந்தது, ஒரு உரிமையாளர் மென்பொருள் நிறுவனமாக, ஐபிஎம்-க்குப் பிறகு முதல் பயணங்களில் ஒன்றாகும். இருப்பினும், மீண்டும், எல்லாம் எங்கள் சுவிசேஷக வாடிக்கையாளர்கள் ஹடூப்பைப் பார்த்துத் தொடங்கினர். எங்களிடம் காம்ஸ்கோர் போன்ற தரவு நிறுவனங்கள் இருந்தன, அவை ஹடூப்பை ஏற்றுக்கொண்ட முதல் நபர்களில் ஒருவராக இருந்தன, ஏனெனில் அவை உலகெங்கிலும் டிஜிட்டல் தரவை சேகரித்துக் கொண்டிருந்தன, மேலும் பத்து மில்லியன் டாலர் தரவுக் கிடங்கு பெட்டியில் முதலீடு செய்யாவிட்டால் 90 நாட்கள் தரவை வைத்திருக்க முடியவில்லை. சூழல். அவர்கள் ஹடூப்பைப் பார்க்கத் தொடங்கினர். அதனுடன் நாங்கள் ஹடூப்பையும் பார்க்க ஆரம்பித்தோம்.

நாங்கள் ஒரு முடிவை எடுத்தபோது, ​​ஹடூப் உண்மையில் எதிர்காலத்தின் தரவு தளமாக இருக்கப் போகிறது என்பதை ஒப்புக் கொண்டபோது, ​​இதில் ஒரு நாடகத்தை நம்மால் பெற முடியாது என்ற புரிதலுக்கும் வந்தோம், இதில் ஒரு வெற்றிகரமான நாடகம், நாம் தவிர சுற்றுச்சூழல் அமைப்பின் ஒரு பகுதியாக இருந்தது. நாங்கள் ஹடூப் விற்பனையாளர்களுடன், கிளவுட்ரா, ஹார்டன்வொர்க்ஸ், மேப்ஆர் போன்றவற்றுடன் மிகவும் நெருக்கமாக பணியாற்றி வந்தோம். நாங்கள் அவர்களுடன் உண்மையிலேயே பேசத் தொடங்கினோம், ஏனெனில் ஒரு விற்பனையாளர் கொண்டு வரக்கூடிய மதிப்பை சரிபார்க்க கூட்டாண்மை மிகவும் முக்கியமானது, மேலும் நாங்கள் கூட்டாக நிறுவனத்திற்கு செல்ல முடியும் என்பதை உறுதிசெய்கிறது மேலும் அர்த்தமுள்ள ஒன்றை வழங்குங்கள். அப்பாச்சி ஓப்பன் சோர்ஸ் திட்டங்களுக்கு நாங்கள் தெரியாததால் அதற்கு நிறைய உறவுகள் தேவைப்பட்டன, இருப்பினும் இந்த ஹடூப் விற்பனையாளர்களிடமிருந்து எங்களுக்கு பெரும் ஆதரவு இருந்தது, நான் சொல்ல வேண்டும்.

நாங்கள் ஒன்றாக வேலை செய்யத் தொடங்கினோம், மையத்தைப் பார்க்கிறோம், விண்வெளியில் எங்கள் உரிமையாளர் மென்பொருள் கூட இல்லாமல் எவ்வாறு மதிப்பைக் கொண்டு வர முடியும். அது முக்கியமானது. இது உங்கள் தயாரிப்பு இயங்கக்கூடிய சில API களை வைப்பது மட்டுமல்ல, நான் இதில் முதலீடு செய்வேன் என்று சொல்ல முடியும், ஏனென்றால் ஹடூப் எதிர்காலத்தின் ஒரு தளமாக இருக்கும் என்று நான் நம்புகிறேன், எனவே நாங்கள் உருவாக்க விரும்பிய ஆதாரங்களில் முதலீடு செய்வதன் மூலம் நிச்சயமாக அது முதிர்ச்சியடைந்து நிறுவனத்திற்கு தயாராகிறது. எங்கள் பங்களிப்புகளுக்கு முன்பு கிடைக்காத சில பயன்பாட்டு நிகழ்வுகளை நாம் உண்மையில் இயக்க முடியும். இது முழு சுற்றுச்சூழல் அமைப்பிற்கும் பயனளிக்கும், மேலும் அந்த கூட்டாண்மைகளை நாம் மிக நெருக்கமாக உருவாக்க முடியும்.

இது நிறைய நேரம் எடுத்தது. நாங்கள் 2011, மற்றும் 2013, ஜனவரி 21 ^ஆம் தேதிகளில் பங்களிக்கத் தொடங்கினோம் - அந்த தேதியை நான் நினைவில் வைத்திருக்கிறேன், ஏனென்றால் அந்த தேதி எங்கள் மிகப்பெரிய பங்களிப்பு உறுதி செய்யப்பட்டுள்ளது, இதன் பொருள் என்னவென்றால், இப்போது எங்கள் தயாரிப்புகளை பொதுவாகக் கிடைக்கச் செய்யலாம் - அந்த உறவுகளை வளர்ப்பதற்கு சிறிது நேரம் பிடித்தது, மதிப்பைக் காட்டு, கூட்டாளர்கள் விற்பனையாளர்களுடனும் திறந்த மூல சமூகத்தில் உள்ளவர்களுடனும் வடிவமைப்பு கூட்டாளர்களாக மாறுகிறார்கள். ஆனால் அது மிகவும் வேடிக்கையாக இருந்தது. அந்த சுற்றுச்சூழல் அமைப்பின் ஒரு பகுதியாக இருந்து ஒரு பெரிய கூட்டாட்சியை வளர்ப்பது எங்களுக்கு ஒரு நிறுவனமாக மிகவும் பலனளித்தது.

தரவு மையம் / தரவு ஏரி பற்றிய இரண்டாவது கேள்வி, பெரும்பாலான சந்தர்ப்பங்களில் இந்தத் தரவை ஒரு சேவை செயலாக்கமாக நாம் பார்க்கும்போது, ​​ஆம், இது கொத்துகள், உடல் ரீதியாக ஒற்றை அல்லது பல கிளஸ்டர்களாக இருக்கலாம், ஆனால் அந்த ஒற்றை இடமாக மாறுவதை விட இது மிகவும் கருத்தியல் எல்லா தரவிற்கும். ஏனென்றால் சில நிறுவனங்களில் பெரிய கிளஸ்டர் வரிசைப்படுத்தல்களை நாங்கள் காண்கிறோம், இருப்பினும் அவற்றில் கொத்துகளும் உள்ளன, எடுத்துக்காட்டாக, பொது மேகக்கட்டத்தில், ஏனெனில் ஆன்லைன் பிரிவுகளிலிருந்து சேகரிக்கப்பட்ட சில தரவு உண்மையில் மேகக்கட்டத்தில் வைக்கப்பட்டுள்ளது. இந்த இரண்டையும் நீங்கள் உண்மையில் பயன்படுத்தக்கூடிய ஒரு தரவுக் குழாய் வைத்திருக்க முடியும், மேலும் அவற்றை ஒற்றை தரவு மையமாக, ஒற்றை தரவு ஏரியாகப் பயன்படுத்துவது முக்கியமானது. ப physical தீக இடம் மட்டுமல்ல, அந்த தரவு மையம் மற்றும் தரவு ஏரி கொத்துக்கள் முழுவதும், புவியியல் முழுவதும் மற்றும் ஒருவேளை வளாகத்திலும் மேகத்திலும் இருப்பது மிகவும் முக்கியமானதாக இருக்கும் என்று நான் நினைக்கிறேன். குறிப்பாக முன்னோக்கி நகரும். இந்த ஆண்டு மேலும் மேலும் மேகக்கணி வரிசைப்படுத்தல்களைப் பார்க்கத் தொடங்கினோம். இது ஆச்சரியமாக இருக்கிறது. இந்த ஆண்டின் முதல் பாதியில் இதுவரை நிறைய மேக வரிசைப்படுத்தல்களைக் கண்டோம்.

எரிக் கவனாக்: சரி, குளிர். ராபின், உங்களிடம் ஏதேனும் கேள்விகள் இருக்கிறதா? எனக்கு இன்னும் சில நிமிடங்கள் உள்ளன என்று எனக்குத் தெரியும்.

ராபின் ப்ளூர்: சரி, நான் அவளிடம் ஒரு கேள்வி கேட்கலாம். எனக்கு ஏற்பட்ட முதல் விஷயம் என்னவென்றால், காஃப்காவைப் பற்றி மிகுந்த உற்சாகம் ஏற்பட்டுள்ளது, காஃப்கா பற்றிய உங்கள் கருத்தில் நான் ஆர்வமாக இருந்தேன், மக்கள் காஃப்காவைப் பயன்படுத்தும் முறையுடன் நீங்கள் எவ்வாறு ஒருங்கிணைக்கிறீர்கள்?

Tendü Yogurtçu: நிச்சயமாக. ஆம், காஃப்கா மிகவும் பிரபலமாகி வருகிறது. எங்கள் வாடிக்கையாளர்களிடையே தரவு போக்குவரத்து அடுக்கு வகையாக இருப்பதைக் காண்கிறோம், மேலும் தரவு ஒரு பஸ் என்று பார்க்கிறோம். எடுத்துக்காட்டாக, எங்கள் வாடிக்கையாளர்களில் ஒருவர் உண்மையில் இந்த காஃப்காவிற்குள் ஆயிரக்கணக்கான ஆன்லைன் பயனர்களைப் போலவே பலவற்றிற்கும் இடையில் தள்ளப்படும் நுகர்வுத் தரவைப் பயன்படுத்துகிறார், மேலும் அதை வகைப்படுத்தவும், தள்ளவும் முடியும்.

மீண்டும், காஃப்கா இந்த தரவின் வெவ்வேறு நுகர்வோருக்கு ஒரு தரவு பஸ் ஆகும். மிகவும் மேம்பட்ட பயனர்களுக்கு எதிராக சில மேம்பட்ட பயனர்களை வகைப்படுத்தி, அந்த தரவுக் குழாயில் முன்னோக்கி நகரும் வேறு ஏதாவது செய்யுங்கள். காஃப்காவுடன் நாங்கள் எவ்வாறு ஒருங்கிணைவது என்பது அடிப்படையில், எங்கள் தயாரிப்பு டி.எம்.எக்ஸ்-எச் நம்பகமான நுகர்வோர், காஃப்காவிற்கு மிகவும் திறமையான, நம்பகமான நுகர்வோர். இது தரவைப் படிக்க முடியும், இது எங்களுக்கு வேறு எந்த தரவு மூலத்திலிருந்தும் தரவைப் படிப்பதை விட வேறுபட்டதல்ல. பயனர்களுக்கு சாளரத்தைக் கட்டுப்படுத்தும் திறனை அவர்கள் வைத்திருக்கும் நேரத் தேவை அல்லது காஃப்கா பஸ்ஸிலிருந்து அவர்கள் உட்கொள்ளக்கூடிய செய்திகளின் எண்ணிக்கை ஆகியவற்றின் அடிப்படையில் வழங்குகிறோம். அந்தத் தரவை எங்கள் தயாரிப்பு வழியாகச் சென்று மீண்டும் காஃப்காவுக்குள் தள்ளுவதால் நாம் அதை செறிவூட்டவும் செய்யலாம். இதை நாங்கள் சோதித்தோம். நாங்கள் அதை வாடிக்கையாளர் தளத்தில் பெஞ்ச்மார்க் செய்துள்ளோம். சங்கமத்தால் சான்றளிக்கப்பட்டது. நாங்கள் சங்கமிக்க தோழர்களுடன் நெருக்கமாக பணியாற்றுகிறோம், இது மிக உயர்ந்த செயல்திறன் மற்றும் பயன்படுத்த எளிதானது. மீண்டும், அங்கு API கள் மாறுகின்றன, ஆனால் நீங்கள் கவலைப்பட வேண்டியதில்லை, ஏனென்றால் தயாரிப்பு உண்மையில் மற்றொரு தரவு மூலமாக, ஸ்ட்ரீமிங் தரவு மூலமாகவே கருதுகிறது. எங்கள் தயாரிப்பு மற்றும் காஃப்காவுடன் பணிபுரிவது மிகவும் வேடிக்கையாக உள்ளது.

ராபின் ப்ளூர்: சரி, எனக்கு இன்னொரு கேள்வி உள்ளது, இது ஒரு பொதுவான வணிக கேள்வி, ஆனால் நான் நீண்ட காலமாக ஒத்திசைவை அறிந்திருக்கிறேன், உங்களுக்கு எப்போதுமே நற்பெயர் இருந்தது மற்றும் ஈ.டி.எல் மற்றும் மெயின்பிரேம் உலகத்திற்கான அசாதாரண வேகமான மென்பொருளை வழங்கியது. உங்கள் வணிகத்தின் பெரும்பகுதி இப்போது ஹடூப்பிற்கு மாற்றப்படுகிறதா? ஒரு வழியில் அல்லது இன்னொரு வகையில் நீங்கள் உங்கள் வணிகத்தை மெயின்பிரேம் உலகத்திலிருந்து மிகவும் வியத்தகு முறையில் பரப்பியுள்ளீர்களா?

Tendü Yogurtçu: எங்கள் மெயின்பிரேம் தயாரிப்புகள் உலகளவில் 50 சதவீத மெயின்பிரேம்களை இன்னும் இயக்கி வருகின்றன. எனவே பெரிய தரவு மற்றும் ஹடூப் முடிவில் நாங்கள் என்ன செய்கிறோம் என்பதோடு கூடுதலாக மிக வலுவான மெயின்பிரேம் தயாரிப்பு வரிசையும் எங்களிடம் உள்ளது. நாங்கள் இன்னும் பெரும்பாலான ஐடி எளிமைப்படுத்தல் அல்லது தேர்வுமுறை திட்டங்களில் இருக்கிறோம், ஏனென்றால் பெரிய தரவு மல்டெக்ஸ் இயங்குதளங்களில் உங்கள் மெயின்பிரேம் தரவைத் தட்டவும், அனைத்து நிறுவன தரவையும் பயன்படுத்தவும் நீங்கள் விரும்பும் ஒரு முடிவு உள்ளது, இருப்பினும் மிகவும் முக்கியமான பரிவர்த்தனை பணிச்சுமைகளும் உள்ளன அது இன்னும் மெயின்பிரேமில் தொடர்ந்து இயங்குகிறது, மேலும் அந்த பயன்பாடுகளை மிகவும் திறமையாகவும், zIIP இயந்திரத்தில் இயக்கவும் வழிகளை அந்த வாடிக்கையாளர்களுக்கு நாங்கள் வழங்குகிறோம், எனவே அவை அதிக செயலாக்க சுழற்சிகள் மற்றும் MIPS ஐ உட்கொள்வதில்லை, அவற்றை செலவு குறைந்ததாக ஆக்குகின்றன.

மெயின்பிரேம் தயாரிப்புகளில் நாங்கள் தொடர்ந்து முதலீடு செய்கிறோம், உண்மையில் இந்த இடத்தில் மக்கள் விளையாடுகிறார்கள், அங்கு மக்கள் மெயின்பிரேம் பெரிய இரும்பிலிருந்து பெரிய தரவுகளுக்குச் சென்று அந்த தளங்களில் தயாரிப்பு வரிசையையும் பரப்புகிறார்கள். எனவே நாங்கள் முழு வணிகத்தையும் ஒரு பக்கத்திற்கு மாற்ற வேண்டிய அவசியமில்லை, இருபுறமும் மிக வெற்றிகரமான வணிகத்தை நாங்கள் தொடர்ந்து கொண்டிருக்கிறோம். கையகப்படுத்துதல்கள் எங்களுக்கும் ஒரு பெரிய கவனம். பெரிய தரவு தளங்களுக்கான இந்த தரவு மேலாண்மை மற்றும் தரவு செயலாக்க இடம் உருவாகும்போது, ​​சில பாராட்டு கையகப்படுத்துதல்களையும் செய்ய நாங்கள் கடமைப்பட்டுள்ளோம்.

ராபின் ப்ளூர்: சரி, அவை என்னவென்று நான் உங்களிடம் கேட்க முடியாது, ஏனென்றால் நீங்கள் என்னிடம் சொல்ல அனுமதிக்க மாட்டீர்கள். ஹடூப் அல்லது ஸ்பார்க்கின் பல செயலாக்கங்களை நீங்கள் உண்மையில் மெயின்பிரேமில் பார்த்தீர்களா அல்லது அது மிகவும் அரிதான விஷயமா என்பதில் நான் ஆர்வமாக உள்ளேன்.

Tendü Yogurtçu: நாங்கள் எதையும் பார்த்ததில்லை. அதைப் பற்றி மேலும் கேள்வி உள்ளது. மெயின்பிரேமில் உள்ள ஹடூப் முக்கிய கட்டமைப்பின் காரணமாக நிறைய அர்த்தமளிக்கவில்லை என்று நினைக்கிறேன். இருப்பினும் மெயின்பிரேமில் ஸ்பார்க் மிகவும் அர்த்தமுள்ளதாக இருக்கிறது மற்றும் இயந்திர கற்றல் மற்றும் முன்கணிப்பு பகுப்பாய்வுகளுடன் ஸ்பார்க் உண்மையில் மிகவும் நல்லது, மேலும் மெயின்பிரேம் தரவைக் கொண்ட அந்த பயன்பாடுகளில் சிலவற்றைப் பெறுவது உண்மையில் மிகவும் அர்த்தமுள்ளதாக இருக்கிறது என்று நான் நினைக்கிறேன். யாரும் இதுவரை அதைச் செய்வதை நாங்கள் பார்த்ததில்லை, இருப்பினும் இது உண்மையில் இந்த விஷயங்களை இயக்கும் பயன்பாட்டு வழக்கு. ஒரு நிறுவனமாக உங்கள் பயன்பாட்டு வழக்கு அந்த மெயின்பிரேம் தரவைக் கொண்டுவருகிறது மற்றும் பெரிய தரவு தளங்களில் மீதமுள்ள தரவுத் தொகுப்புகளுடன் ஒருங்கிணைக்கிறது என்றால், அது ஒரு கதை. பெரிய தரவு மல்டெக்ஸ் இயங்குதளத்திலிருந்து மெயின்பிரேம் தரவை அணுகுவதற்கு இது தேவைப்படுகிறது, ஏனெனில் திறந்த தரவு அமைப்புகளிலிருந்து உங்கள் தரவுத் தொகுப்புகளை நீங்கள் கொண்டு வர வாய்ப்பில்லை, மேலும் மெயின்பிரேமுக்கு அழைக்கப்படுகிறீர்கள். இருப்பினும், உங்களிடம் சில மெயின்பிரேம் தரவு இருந்தால், அதை ஆராய்ந்து கொஞ்சம் கொஞ்சமாக தரவு ஆய்வு கண்டுபிடிப்பைச் செய்ய விரும்பினால், சில மேம்பட்ட AI மற்றும் மேம்பட்ட பகுப்பாய்வுகளைப் பயன்படுத்துங்கள், பின்னர் ஸ்பார்க் சென்று மெயின்பிரேமில் இயங்குவதற்கான ஒரு சிறந்த வழியாக இருக்கலாம்.

எரிக் கவனாக்: பார்வையாளர்களிடமிருந்து இன்னும் ஒரு கேள்வி இங்கே உள்ளது, உண்மையில் இன்னும் இரண்டு. நான் உங்களுக்கு ஒரு டேக்-டீம் கேள்வியைக் கொடுப்பேன், பின்னர் நாங்கள் மடக்குவோம். ஒரு பங்கேற்பாளர் கேட்கிறார், “ஐபிஎம் அதன் திறந்த மூல பங்களிப்புகளை அதன் பொது மேகக்கணி சுற்றுச்சூழல் அமைப்பில் ஒருங்கிணைக்கிறதா, வேறுவிதமாகக் கூறினால், புளூமிக்ஸ்?” மேலும் மற்றொரு பங்கேற்பாளர் ஒரு நல்ல விஷயத்தைச் சொன்னார், பெரிய இரும்பை உயிருடன் வைத்திருப்பதற்கு ஒத்திசைவு சிறந்தது என்பதைக் குறிப்பிடுகிறார். ஏற்கனவே அதை வைத்திருக்கிறார்கள், ஆனால் நிறுவனங்கள் புதிய மெயின்பிரேம்களை அவர் சி.இ. என்று அழைப்பதை ஆதரித்தால், எல்லாவற்றையும் மேகமூட்டலாம், அது குறையக்கூடும், ஆனால் இயக்க முறைமைகளை ஒரு வினாடிக்கு ஒரு ஜிகாபைட் வரை கடந்து செல்வதன் மூலம் தரவை நகர்த்துவதில் நீங்கள் மிகவும் நல்லவர்கள் என்று குறிப்பிடுகிறார். அவர் குறிப்பிட்டுள்ளபடி, உங்கள் முக்கிய வலிமையைப் பற்றியும், ஐபிஎம் உங்கள் விஷயங்களை புளூமிக்ஸில் ஒருங்கிணைக்கிறதா இல்லையா என்பதையும் பேச முடியுமா?

Tendü Yogurtçu: IBM உடன், நாங்கள் ஏற்கனவே IBM உடன் கூட்டாளர்களாக இருக்கிறோம், மேலும் அவர்களின் தரவு மேகக்கணி சேவைகளுக்கான தயாரிப்புகளை நாங்கள் விவாதித்தோம். எங்கள் திறந்த மூல பங்களிப்புகள் அவற்றைப் பயன்படுத்த விரும்பும் அனைவருக்கும் திறந்திருக்கும். சில மெயின்பிரேம் இணைப்பு ஸ்பார்க் தொகுப்புகளிலும் கிடைக்கிறது, எனவே ஐபிஎம் மட்டுமல்ல. யார் வேண்டுமானாலும் அவற்றைப் பயன்படுத்தலாம். புளூமிக்ஸில் நாங்கள் இதுவரை எதுவும் செய்யவில்லை. இரண்டாவது கேள்வியை மீண்டும் செய்ய நீங்கள் நினைக்கிறீர்களா?

எரிக் கவனாக்: ஆமாம், இரண்டாவது கேள்வி பல ஆண்டுகளாக உங்கள் செயல்பாட்டின் முக்கிய பகுதியைப் பற்றியது, இது உண்மையில் ஈ.டி.எல் இன் சிக்கல்களைக் கையாண்டது, வெளிப்படையாக அது நீங்கள் இன்னும் மெயின்பிரேம்களாகச் செய்யப் போகிறீர்கள், கோட்பாட்டளவில் விலகி இருங்கள், இருப்பினும் டெஸ் புள்ளி இன்னும் ஒரு வகையான ராக்கிங் மற்றும் உருட்டல். ஆனால் பங்கேற்பாளர், ஒத்திசைவு இயக்க முறைமைகளைத் தவிர்ப்பதன் மூலமும், ஒரு ஜிகாபைட் விநாடி வரை தரவையும் நகர்த்துவதில் மிகவும் சிறந்தது என்று குறிப்பிட்டார். நீங்கள் அதைப் பற்றி கருத்து தெரிவிக்க முடியுமா?

Tendü Yogurtçu: ஆமாம், உண்மையில் ஒட்டுமொத்த வள செயல்திறன் எங்கள் பலமாகவும், அளவிடுதல் மற்றும் செயல்திறன் எங்கள் பலமாகவும் இருந்து வருகிறது. நாங்கள் சமரசம் செய்யவில்லை, எளிமைப்படுத்துவதற்கு பல அர்த்தங்கள் உள்ளன, அவற்றிலிருந்து நாங்கள் சமரசம் செய்ய மாட்டோம். 2014 ஆம் ஆண்டில் மக்கள் ஹடூப்பைப் பற்றி பேசத் தொடங்கியபோது, ​​பல நிறுவனங்கள் ஆரம்பத்தில் செயல்திறனைப் பார்க்கவில்லை. அவர்கள், "ஓ, ஏதாவது நடந்தால் நான் இன்னொரு ஜோடி முனைகளைச் சேர்க்க முடியும், நான் நன்றாக இருப்பேன், செயல்திறன் எனது தேவை அல்ல."

நாங்கள் ஏற்கனவே சொந்தமாக இயங்குவதால் சிறந்த செயல்திறனைப் பற்றி நாங்கள் பேசிக் கொண்டிருந்தபோது, ​​ஹைவ் பல மேப்ரூட் வேலைகள் மற்றும் அவற்றைத் தொடங்குவதில் மேல்நிலைகளைக் கொண்டிருந்த ஆரம்ப விக்கல்கள் சிலவற்றைக் கூட நாங்கள் கொண்டிருக்கவில்லை. மக்கள் எங்களிடம், "ஓ, அது என் கவலை அல்ல, அதைப் பற்றி கவலைப்பட வேண்டாம்."

நாங்கள் 2015 க்கு வந்தபோது, ​​அந்த நிலப்பரப்பு மாறிவிட்டது, ஏனெனில் எங்கள் வாடிக்கையாளர்களில் சிலர் ஏற்கனவே தங்கள் உற்பத்தி கிளஸ்டர்களில் வைத்திருந்த சேமிப்பிடத்தை மீறிவிட்டனர். Syncsort என்ன வழங்க முடியும் என்பதைப் பார்ப்பது அவர்களுக்கு மிகவும் முக்கியமானதாக மாறியது. நீங்கள் ஒரு தரவுத்தளம் அல்லது மெயின்பிரேமில் இருந்து சில தரவுகளை எடுத்து, கொத்துக்களில் ஒரு பார்க்வெட் வடிவத்தில் எழுதுகிறீர்கள் என்றால், நீங்கள் தரையிறங்கினாலும், வேறொரு உருமாற்றம் செய்தாலும் அல்லது உள்நோக்க மாற்றம் மற்றும் தரையிறக்கப்பட்ட இலக்கு கோப்பு வடிவமைப்பைச் செய்தாலும், ஒரு வித்தியாசத்தை ஏற்படுத்தியது, ஏனெனில் நீங்கள் சேமிக்கிறீர்கள் சேமிப்பிடம், நீங்கள் பிணைய அலைவரிசையிலிருந்து சேமிக்கிறீர்கள், நீங்கள் கூடுதல் வேலைகளை இயக்காததால் கிளஸ்டரில் உள்ள பணிச்சுமையிலிருந்து சேமிக்கிறீர்கள். மிகவும் விழிப்புடன் இருப்பதன் அடிப்படையில் நாம் விளையாடும் அந்த பலங்கள், நம் தோலின் கீழ் வள செயல்திறனை உணர்கிறோம், தெரிகிறது.

அதை நாங்கள் விவரிக்கிறோம். இது எங்களுக்கு முக்கியமானதாகும். நாங்கள் அதை ஒரு பொருட்டாக எடுத்துக் கொள்ளவில்லை. நாங்கள் அதை ஒருபோதும் பொருட்படுத்தவில்லை, எனவே அப்பாச்சி ஸ்பார்க் அல்லது அடுத்த கணினி கட்டமைப்பில் அந்தத் திறனுடன் நாங்கள் தொடர்ந்து வலுவாக இருப்போம். அது தொடர்ந்து எங்கள் கவனமாக இருக்கும். தரவு இயக்கம் துண்டு மற்றும் தரவு அணுகல் பகுதியைப் பொறுத்தவரை, நிச்சயமாக இது எங்கள் பலங்களில் ஒன்றாகும், மேலும் ஹடூப் அல்லது ஸ்பார்க்கின் சூழலில் மெயின்பிரேம்களில் டிபி 2 அல்லது விஎஸ்ஏஎம் தரவை அணுகுவோம்.

எரிக் கவனாக்: சரி, இது வெப்காஸ்டை முடிக்க ஒரு சிறந்த வழியாகும், எல்லோரும். உங்கள் நேரத்திற்கும் கவனத்திற்கும் மிக்க நன்றி. டெண்டே மற்றும் ஒத்திசைவு, நன்றி அறைக்குள் வந்து, அவர்கள் சொல்வது போல் சுற்றுக்கு அடியெடுத்து வைத்ததற்கு நன்றி. பார்வையாளர்களிடமிருந்து நிறைய சிறந்த கேள்விகள். இது எப்போதும் நகரும் சூழல், எல்லோரும். மற்ற அனைவரையும் போலவே இந்த ஹாட் டெக்கையும் காப்பகப்படுத்துவோம். நீங்கள் எங்களை உள்ளே பகுப்பாய்வு.காம் மற்றும் techopedia.com இல் காணலாம். பொதுவாக இது ஒரு நாளில் அதிகரிக்கும். அதோடு, நாங்கள் உங்களிடம் விடைபெறப் போகிறோம், எல்லோரும். மிக்க நன்றி. நாங்கள் விரைவில் உங்களுடன் பேசுவோம். கவனித்துக் கொள்ளுங்கள். பை, பை.