इस वीडियो में मैं आपको step-by-step दिखाती हूँ कि अपने ही domain-specific dataset पर tokenizer कैसे train किया जाता है—ताकि आप general-purpose tokenizer पर depend न रहें। अभी तक हमने LLMs और Transformers की theory + maths समझी थी, और आज से हम practical implementation पर फोकस कर रहे हैं। मैं पहले tokenizer की basics clear करती हूँ: models text नहीं समझते, numbers समझते हैं—तो tokenizer words को tokens में convert करता है और हर token को unique ID देता है। फिर मैं दो common problems explain करती हूँ: word-level tokenization में vocabulary explosion (millions of tokens, ज्यादा memory + slow training) और out-of-vocabulary (OOV) की वजह से UNK tokens, जिससे output quality खराब होती है। फिर मैं subword tokenization (BPE) का benefit दिखाती हूँ—कैसे “write” जैसे unseen word को भी subwords में तोड़कर handle किया जा सकता है। Practical में, मैं Wikipedia से AI/ML/Deep Learning/Generative AI related text scrape करती हूँ (requests + BeautifulSoup), corpus बनाती हूँ, citation numbers clean करती हूँ (punctuation नहीं हटाती), और फिर Hugging Face tokenizers library से BPE tokenizer train करती हूँ। मैं vocab_size 5000 रखती हूँ और special tokens (UNK, PAD, BOS, EOS) add करती हूँ, tokenizer को JSON में save करती हूँ, और अंत में “agentic” जैसे word पर test करके दिखाती हूँ कि tokenizer fail नहीं होता—subwords से handle कर लेता है।