आयु 12+ · निःशुल्क · अंग्रेज़ी और हिन्दी
आप तैयार करेंगे: प्रशिक्षण और अनुमान के अंतर की व्याख्या, सॉफ़्टमैक्स गणना और पाठ निर्माण का क्रम।
किसी खंड पर जाएँ
प्रशिक्षण पैरामीटर बदलता है; निर्माण उनका उपयोग करता है
अगले टोकन के प्रशिक्षण उदाहरण में शुरुआती क्रम और डेटा में उसके बाद आया टोकन मिलता है। मॉडल प्रायिकताओं का वितरण बताता है। हानि मापती है कि लक्ष्य का अनुमान कितना खराब था। बैकप्रोपेगेशन ग्रेडिएंट निकालता है और ऑप्टिमाइज़र कई उदाहरणों पर मैट्रिक्स तथा एम्बेडिंग जैसे सीखे पैरामीटर बदलता है।
स्रोत: PyTorch: हानि, ग्रेडिएंट और पैरामीटर बदलाव ↗
हानि = −ln(p(लक्ष्य))।p = 0.5 हो तो हानि ≈ 0.693; p = 0.25 हो तो ≈ 1.386। देखे गए लक्ष्य को कम प्रायिकता देना अधिक हानि है।स्रोत: PyTorch: क्रॉस-एंट्रॉपी हानि ↗
प्रशिक्षण कई स्थानों के अंक साथ निकाल सकता है, जबकि कारणात्मक मास्क किसी स्थान को आगे के लक्ष्य टोकन देखने से रोकता है। सामान्य अनुमान में नया प्रॉम्प्ट संदर्भ बदलता है, संग्रहित मॉडल भार नहीं। बाद का प्रशिक्षण निर्देशों के उदाहरण और मानव पसंद की तुलना से व्यवहार बदल सकता है; यह सीखने का आगे का चरण है।
स्रोत: Radford व अन्य: ट्रांसफ़ॉर्मर भाषा मॉडल ↗ · Ouyang व अन्य: निर्देश और पसंद से प्रशिक्षण ↗
न्यूरल खंड क्या गणना करते हैं
सामान्य कारणात्मक ट्रांसफ़ॉर्मर में सीखे मैट्रिक्स गुणा से क्वेरी, की और वैल्यू वेक्टर बनते हैं। अटेंशन क्वेरी की अनुमत की से तुलना करता है, अंकों का सामान्यीकरण करके वैल्यू वेक्टर मिलाता है। कारणात्मक सीमा स्थान को स्वयं सहित शुरुआती क्रम लेने देती है और आगे के टोकन रोकती है।
स्रोत: Vaswani व अन्य: Attention Is All You Need ↗
फ़ीड-फ़ॉरवर्ड नेटवर्क हर स्थान पर सीखी रैखिक क्रियाएँ और अरैखिकता लगाता है। रेज़िडुअल रास्ते खंड का योगदान उसके इनपुट में वापस जोड़ते हैं; सामान्यीकरण सक्रियण का पैमाना नियंत्रित करता है। दोहराए खंड निरूपण बदलते हैं। सही क्रम और स्थिति के तरीके वास्तुकला के साथ बदलते हैं। यह सरलीकृत डिकोडर-आधारित विवरण है, हर ट्रांसफ़ॉर्मर का पूरा चित्र नहीं।
स्रोत: Radford व अन्य: ट्रांसफ़ॉर्मर भाषा मॉडल ↗
[0.75, 0.25], वैल्यू [2, 0] और [0, 4]।0.75[2, 0] + 0.25[0, 4] = [1.5, 1]। भारों का योग 1 है। यह चुनी गणना है, प्रशिक्षित भाषा मॉडल नहीं।अंकों को वितरण में बदलें
अंतिम निरूपण से शब्दावली के हर टोकन का एक अंक यानी लॉजिट निकलता है। सॉफ़्टमैक्स लॉजिट का घातांक लेकर उनके कुल से भाग देता है। मिली धन प्रायिकताओं का योग 1 होता है। ये अंक वेक्टर और सीखे भार से निकलते हैं, टोकन ID के आकार से नहीं।
स्रोत: PyTorch: सॉफ़्टमैक्स ↗
| उम्मीदवार | लॉजिट z | exp(z) | प्रायिकता |
|---|---|---|---|
| apple | ln(2) ≈ 0.693 | 2 | 2/4 = 0.50 |
| pear | 0 | 1 | 1/4 = 0.25 |
| EOS · अंत | 0 | 1 | 1/4 = 0.25 |
हर जाँचें: 2 + 1 + 1 = 4। 0.50 प्रायिकता इस बनाए वितरण में नमूने का आधा हिस्सा है, “आधा सेब” का अंक नहीं। दूसरा शुरुआती क्रम हर लॉजिट बदल सकता है। असली शब्दावलियों में कहीं अधिक उम्मीदवार होते हैं।
चुनें, जोड़ें, दोहराएँ
अधिकतम चुनने वाला नियम सबसे अधिक प्रायिकता का टोकन लेता है। नमूना नियम दूसरा उम्मीदवार भी ले सकता है: ऊपर तालिका में pear संभव है। चुना टोकन जोड़कर बढ़े शुरुआती क्रम से अगला वितरण निकालें और दोहराएँ। अंतिम टोकन या निर्माण सीमा चक्र रोकती है। चुनाव सेटिंग चयन बदलती है; मॉडल को फिर प्रशिक्षित नहीं करती।
स्रोत: Hugging Face: पाठ बनाने की रणनीतियाँ ↗
लैब का वास्तविक बाइग्राम गिनती मॉडल केवल पिछले टोकन पर निर्भर है। उसके तय नमूने में an का टोकन apple से पहले दो बार और orange से पहले एक बार है: तापमान 1 पर प्रायिकता 2/3 और 1/3 है। स्मूदिंग अनदेखे बदलाव नहीं जोड़ती; अनदेखे पिछले टोकन पर क्रम रुकता है। इस गिनती तालिका में न्यूरल एम्बेडिंग, अटेंशन या ग्रेडिएंट प्रशिक्षण नहीं है।
संभावना सत्य साबित नहीं करती
संभावित अगला पाठ आम गलत धारणा दोहरा सकता है या विश्वसनीय लगने वाला विवरण गढ़ सकता है। अगले टोकन की प्रायिकता पूरे उत्तर के सच होने की प्रायिकता नहीं है। संख्यात्मक विश्वास-अनुमान भी जाँचे परिणामों से कैलिब्रेशन माँगता है; अकेला सॉफ़्टमैक्स यह गारंटी नहीं देता।
स्रोत: Lin व अन्य: TruthfulQA ↗ · Guo व अन्य: प्रायिकता का कैलिब्रेशन ↗
तथ्य के दावे में पहचानें कि कौन-सा अवलोकन, गणना या मूल स्रोत उसे जाँच सकता है। बनाए गए गणित में एक चरण फिर निकालें। संदर्भ के लिए स्रोत खोलकर दावा मिलाएँ। इससे भाषा के पैटर्न के साथ प्रमाण जुड़ता है।
AI के काम की जाँच का अभ्यास करें →सीखना और चुनना अलग रखें
छोटा उदाहरण स्वयं खोजें
अगला नियंत्रण दबाने से पहले इनपुट, बीच की एक गणना और परिणाम लिखें। एक मात्रा बदलकर समझाएँ कि आगे कौन-से मान बदलने चाहिए।
संबंधित लैब खोलें →स्रोत और आगे पढ़ें
- PyTorch: हानि, ग्रेडिएंट और पैरामीटर बदलाव ↗
- PyTorch: क्रॉस-एंट्रॉपी हानि ↗
- Vaswani व अन्य: Attention Is All You Need ↗
- Radford व अन्य: ट्रांसफ़ॉर्मर भाषा मॉडल ↗
- PyTorch: सॉफ़्टमैक्स ↗
- Ouyang व अन्य: निर्देश और पसंद से प्रशिक्षण ↗
- Hugging Face: पाठ बनाने की रणनीतियाँ ↗
- Stanford: बाइग्राम भाषा मॉडल ↗
- Lin व अन्य: TruthfulQA ↗
- Guo व अन्य: प्रायिकता का कैलिब्रेशन ↗
मूल व्याख्याएँ, चित्र, बनाए संख्यात्मक उदाहरण और उत्तर वाले अभ्यास। मूल शोधपत्र और आधिकारिक दस्तावेज़ विधियों का आधार देते हैं।