आयु 12+ · निःशुल्क · अंग्रेज़ी और हिन्दी
आप तैयार करेंगे: नाम सहित पाठ से वेक्टर का क्रम और जाँची हुई डॉट गुणन गणना।
किसी खंड पर जाएँ
शब्द मॉडल की तय इकाई नहीं है
“apple को संख्या 12345 दें” शुरुआत का उपयोगी चित्र है। इसमें दो चरण छूटते हैं: पाठ के किन टुकड़ों को टोकन मानें और उन टुकड़ों के लिए वेक्टर सीखें। टोकनाइज़र पाठ को उस क्रम में बदलता है जिसे कोई विशेष मॉडल ले सकता है।
टोकन पूरा शब्द, शब्द का भाग, विराम चिह्न या खाली जगह वाला टुकड़ा हो सकता है। बड़े-छोटे अक्षर और जगह महत्त्वपूर्ण हो सकते हैं: apple, Apple और apple की एनकोडिंग अलग हो सकती है। कुछ टोकनाइज़र पाठ का सामान्यीकरण करते हैं; कुछ ये अंतर रखते हैं। हिन्दी, मात्रा वाले पाठ और इमोजी में Unicode का तरीका भी मायने रखता है। एक दिखाई देने वाला अक्षर ज़रूरी नहीं कि एक टोकन हो।
जोड़ने के नियम से टुकड़े बनाएँ
बाइट-पेयर एनकोडिंग यानी BPE प्रशिक्षण पाठ से साथ आने वाले बारंबार जोड़ों को जोड़ने का क्रम सीखती है। एनकोडिंग में सीखे नियम लगते हैं। यह टोकनाइज़र का एक परिवार है; उत्तर का अनुमान लगाने वाला न्यूरल मॉडल नहीं। बाइट-आधारित रूप बाइट चिह्नों से शुरू होते हैं ताकि अपरिचित पाठ भी दर्शाया जा सके।
स्रोत: Hugging Face: बाइट-पेयर एनकोडिंग ↗
अभ्यास के लिए पहले से चुनी काल्पनिक सूची लें: a+p → ap, p+l → pl, ap+pl → appl, फिर appl+e → apple। पाँच शुरुआती टुकड़ों पर इसी क्रम में नियम लगाएँ। उदाहरण नियम तय करता है; यह किसी असली मॉडल के सीखे जोड़ नहीं बताता।
a p p l e → ap p l e → ap pl e → appl e → appleटुकड़ों की संख्या: 5 → 4 → 3 → 2 → 1।
ID लेबल है, अर्थ का अंक नहीं
पाठ बाँटने के बाद शब्दावली हर टोकन को पूर्णांक ID देती है। मानें कि बनाई हुई एक शब्दावली में apple → 12345 है। यह काल्पनिक है, किसी असली मॉडल का प्रकाशित मानचित्र नहीं। दूसरी शब्दावली वही पाठ दूसरी ID को दे सकती है—या कई टोकन बना सकती है।
स्रोत: Hugging Face Tokenizers: टोकन और शब्दावली ID ↗
बड़ी ID का अर्थ बड़ा, अच्छा या और “सेब जैसा” अर्थ नहीं। दो ID जोड़ने से उनके अर्थ नहीं जुड़ते। ID के नाम बदलते समय संबंधित एम्बेडिंग पंक्तियाँ और आउटपुट-टोकन मानचित्र भी उसी तरह बदलें तो मॉडल का व्यवहार बना रहता है। केवल एक खोज बदलने से आपसी मेल टूटेगा।
पंक्ति खोजें, फिर गणना करें
एम्बेडिंग मैट्रिक्स में हर शब्दावली टोकन की एक पंक्ति और हर पंक्ति में D संख्यात्मक निर्देशांक हैं। ID अपनी पंक्ति चुनती है। न्यूरल प्रशिक्षण में ये मान सीखे जा सकते हैं; सामान्य पाठ निर्माण में खोज संग्रहित मान लेती है। वेक्टर में वास्तविक मान वाली संख्याएँ होती हैं, जिन्हें सीमित संख्यात्मक परिशुद्धता से रखा जाता है।
स्रोत: PyTorch: एम्बेडिंग खोज ↗ · PyTorch: एम्बेडिंग मैट्रिक्स और सीखे निरूपण ↗
हमारी बनाई पंक्ति x = [0.2, −0.1, 0.4] पर चुने भार w = [1, 2, −1] से सीखी जाने वाली रैखिक क्रिया का छोटा रूप आज़माएँ। एक ही स्थान के मान गुणा करें और जोड़ें। इन निर्देशांकों को मिठास या रंग जैसे नाम नहीं दिए हैं।
x · w = (0.2 × 1) + (−0.1 × 2) + (0.4 × −1) = −0.4मैट्रिक्स गुणा कई आउटपुट बनाने के लिए ऐसे योग दोहराता है।
शुरुआती वेक्टर और संदर्भ अलग हैं
इस मॉडल में एक ही टोकन शुरुआत में वही एम्बेडिंग पंक्ति लेता है। स्थिति सूचना और आगे के न्यूरल खंड उसके निरूपण को आसपास के शुरुआती क्रम पर निर्भर बनाते हैं। मॉडल क्रम बताने के अलग तरीके लेते हैं, जैसे जोड़े गए स्थिति वेक्टर या अटेंशन में घुमाव।
स्रोत: Su व अन्य: घूर्णी स्थिति सूचना ↗
“I ate an apple” और “Apple makes computers” मिलाएँ। पहले उनके असली टोकन देखें; बड़े अक्षर से ही वे बदल सकते हैं। फिर संग्रहित शुरुआती पंक्ति और संदर्भ पर निर्भर छिपे वेक्टर का अंतर करें। लैब में हाथ से चुने वेक्टर गणना देखने देते हैं; उन्हें फल या कंपनियाँ समझने के लिए प्रशिक्षित नहीं किया गया।
अटेंशन की छोटी गणना देखें →निरूपण का हर बदलाव समझाएँ
छोटा उदाहरण स्वयं खोजें
अगला नियंत्रण दबाने से पहले इनपुट, बीच की एक गणना और परिणाम लिखें। एक मात्रा बदलकर समझाएँ कि आगे कौन-से मान बदलने चाहिए।
संबंधित लैब खोलें →स्रोत और आगे पढ़ें
- Hugging Face: सामान्यीकरण और शुरुआती विभाजन ↗
- Hugging Face: बाइट-पेयर एनकोडिंग ↗
- Hugging Face Tokenizers: टोकन और शब्दावली ID ↗
- PyTorch: एम्बेडिंग खोज ↗
- PyTorch: एम्बेडिंग मैट्रिक्स और सीखे निरूपण ↗
- Su व अन्य: घूर्णी स्थिति सूचना ↗
मूल व्याख्याएँ, चित्र, बनाए संख्यात्मक उदाहरण और उत्तर वाले अभ्यास। मूल शोधपत्र और आधिकारिक दस्तावेज़ विधियों का आधार देते हैं।