பொருளடக்கம்:
வரையறை - லெக்சிகல் பகுப்பாய்வு என்றால் என்ன?
லெக்சிகல் பகுப்பாய்வு என்பது கணினி அறிவியலுக்கு மொழியியலுக்குப் பயன்படுத்தப்படும் ஒரு ஒத்த கருத்தாகும். அடிப்படையில், லெக்சிகல் பகுப்பாய்வு என்பது எழுத்துக்கள் அல்லது ஒலிகளின் ஸ்ட்ரீமை அர்த்தமுள்ள தொடரியல் குறிக்கும் அலகுகளின் தொகுப்பாக தொகுத்தல் என்பதாகும். மொழியியலில், இது பாகுபடுத்தல் என்றும், கணினி அறிவியலில், பாகுபடுத்தல் அல்லது டோக்கனைசிங் என்றும் அழைக்கலாம்.
டெக்கோபீடியா லெக்சிகல் பகுப்பாய்வை விளக்குகிறது
கணினி அறிவியலில் லெக்சிகல் பகுப்பாய்வின் யோசனை என்னவென்றால், லெக்சிகல் பகுப்பாய்வு ஸ்ட்ரீம்களை “லெக்ஸீம்களாக” உடைக்கிறது, அங்கு ஒரு டோக்கன் அர்த்தத்தின் அடிப்படை அலகு குறிக்கிறது. மொழி கம்பைலர் திரும்பிச் சென்று சரியான கணினி வழிமுறைகளைச் செயல்படுத்த தனிமைப்படுத்த வேண்டும் என்பதற்காக டோக்கன்கள் ஒன்றாக இணைக்கப்பட்டுள்ளன. அடிப்படையில், மனிதர்களும் கணினிகளும் லெக்சிக்கல் பகுப்பாய்வு செய்கின்றன, ஆனால் கணினிகள் அதை வித்தியாசமாகவும், தொழில்நுட்ப ரீதியாகவும் செய்கின்றன. கணினிகள் லெக்சிக்கல் பகுப்பாய்வு செய்யும் முறை மனிதர்களுக்கு வெளிப்படையாக இருக்க தேவையில்லை - இது கம்ப்யூட்டிங் அமைப்பில் திட்டமிடப்பட வேண்டும். கணினி அறிவியலில் லெக்சிக்கல் பகுப்பாய்வு செய்யும் திட்டங்கள் பெரும்பாலும் லெக்சர்கள், டோக்கனைசர்கள் அல்லது ஸ்கேனர்கள் என அழைக்கப்படுகின்றன.
