Lesson 2 · गहरा version

Retrieval: जवाब लिखने से पहले ढूँढना

Retrieval वो step है, जो सवाल आने पर आपके documents में से काम के टुकड़े ढूँढता है, ताकि LLM उन्हें पढ़कर जवाब लिखे। ये काम दो हिस्से करते हैं: retriever टुकड़े ढूँढता है, और reader उन्हें पढ़कर जवाब लिखता है।

इसकी ज़रूरत lesson 1 में दिखी थी। Queue log की एक line में रखते ही Thursday की probability 0.21 से 0.81 हो गई, लेकिन वो line हमने खुद चुनी थी। अब एक company सोचिए, जिसके पास 2,000 documents हैं, और हर document में करीब 30 paragraphs, यानी 2,000 × 30 = 60,000 paragraphs। Lesson 1 वाली में passages के लिए 7,000 tokens की जगह थी। तो 500 tokens वाले 7,000 ÷ 500 = 14 paragraphs ही समाते हैं।

इसलिए किसी program को हर सवाल पर 60,000 में से वो 14 चुनने होंगे, जिनमें जवाब है। ये lesson ऐसा program सबसे सीधे तरीके से बनाता है: शब्द गिनकर। Course के 3 सवालों में से एक पर ये ठीक चलता है। दूसरे पर ये सही और गलत text को बराबर रखता है, और तीसरे पर कुछ नहीं लौटाता।

इस lesson की सीढ़ी

सीढ़ी में 8 पड़ाव हैं। पहले 4 आसान version जैसे ही हैं, और 5 से 8 आपको Stanford की slides के level तक ले जाते हैं। हर पड़ाव के नीचे लिखा है कि उसके बाद आप क्या कर पाएँगे।

  1. Corpus, document, passage और queryबता पाएँगे कि retriever पूरा document क्यों नहीं लौटाता।
  2. Retrieval: सवाल आने पर सही passage prompt मेंRetrieval वाला prompt और Stanford की Why Retrieval? slide पढ़ पाएँगे।
  3. Retriever: हर passage को score, फिर top-KScores हाथ से निकाल पाएँगे, और बता पाएँगे कि पुराना forum post queue log के बराबर क्यों आया।
  4. Recall ceiling: जो passage नहीं आया, reader उसे नहीं पढ़ताहिसाब से दिखा पाएँगे कि retriever पूरे system की हद क्यों तय करता है।
  5. यहाँ से Stanford वाला level
  6. Retriever और reader, functions की तरहf(𝒟, Q) और g(Q, {P1, …, PK}) को अपने example से जोड़ पाएँगे, और slide की हर line समझा पाएँगे।
  7. DrQA: पूरे Wikipedia पर retriever और readerDrQA का retriever, reader और distant supervision वाला training data समझा पाएँगे।
  8. Recall ceiling असली numbers में, और K का हिसाबDrQA के numbers से ceiling निकाल पाएँगे, और हमारे corpus पर हर K का नतीजा बता पाएँगे।
  9. Stanford की slides खुद पढ़िएइस lesson की सारी Stanford slides की हर line समझा पाएँगे।

पहले से क्या चाहिए: Lesson 1 (token, prompt, context window, parameters, hallucination)। बाकी हर नई चीज़ ये lesson खुद समझाता है। पड़ाव 5 से आगे बाद के lessons के कुछ शब्द आते हैं, जैसे TF-IDF और Exact Match। ये lesson उन्हें वहीं थोड़े में समझाता है। जो पड़ाव आपको पहले से आता है, उसे छोड़कर अगले पर जाइए। जिस शब्द के नीचे बिंदुओं वाली line और ▾ हो, उस पर click करने से उसका मतलब खुलता है।

1Corpus, document और passage: retriever किसमें ढूँढता है

आपके सारे documents के set को corpus कहते हैं, और retriever इसी corpus में ढूँढता है। Corpus की हर एक चीज़ एक document है: एक web page, एक file, या एक email। Corpus का दूसरा नाम collection है।

Retriever पूरा document नहीं लौटाता, क्योंकि prompt में सिर्फ़ 14 टुकड़ों की जगह है, और लंबे document का ज़्यादातर हिस्सा सवाल से जुड़ा नहीं होता। जैसे 40 pages के syllabus में milestone की तारीख 2 lines में होगी। इसलिए retriever एक छोटा टुकड़ा लौटाता है, जैसे एक paragraph, और इसे passage कहते हैं।

जिस सवाल के लिए ढूँढना है, उसे query कहते हैं। इस lesson की पहली query lesson 1 वाली ही है: which office hour is least crowded।

आगे के lessons इसी छोटे corpus पर लौटेंगे। इसमें 6 documents हैं, और हर document से एक passage। हर passage का एक छोटा ID भी है, जैसे P3, ताकि जवाब उसका नाम ले सके। syllabus, queue log, Homework 1 की announcement और project page की बातें slides से हैं, office hours page और पुराना forum post मेरे बनाए

IDPassage
P1Grading. The project milestone is due Week 6, Thursday 11:59pm. Late days may not be applied to the milestone. The final report is due Week 10.Syllabus
P2Office hours: Tuesday 4pm in Room 104 and Thursday 9am on Zoom, run by the TAs.Office hours page
P3Queue log, last 3 weeks: Tuesday 4pm office hour averaged 14 students waiting; Thursday 9am office hour averaged 3.Queue log
P4Old forum post (2024): midweek afternoons are usually the least crowded time to visit.पुराना forum post
P5Homework 1 will be released on Oct 5.Homework 1 की announcement
P6Project proposal due on Oct 9. Teams of 1-3 people are recommended.Project page

पहले सोचिए

मान लीजिए syllabus और Homework 1 की announcement एक ही document के दो paragraphs होते। तब documents कितने होते, और passages कितने?

जवाब देखिए

Documents 5, लेकिन passages अब भी 6, और retriever इन्हीं 6 में से चुनता है। Company में भी यही फ़र्क है: 2,000 documents, लेकिन 60,000 passages।

2Retrieval: सवाल आने पर सही passage prompt में रखना

Retrieval का मतलब है: query आने पर corpus से सबसे काम के passages ढूँढना, और उन्हें सवाल के साथ prompt में रखना। तब model को सब कुछ पहले से याद नहीं करवाना पड़ता। Stanford की slide इसे just-in-time कहती है, यानी सही text ठीक सवाल आने के वक्त model के सामने आता है।

हमारी query पर retriever queue log ढूँढता है, और LLM को कुछ ऐसा prompt मिलता है: मेरा example

Answer the question using the passage below. Cite the passage ID.
[P3] Queue log, last 3 weeks: Tuesday 4pm office hour averaged 14 students waiting; Thursday 9am office hour averaged 3.
Question: Which office hour is least crowded?

जवाब आता है: Thursday 9am, about 3 students ahead of you [P3]. आख़िर का [P3] बताता है कि बात किस passage से आई। जवाब के साथ लिखे उसके source को citation कहते हैं। Citation देखकर आप queue log खोलकर check कर सकते हैं कि बात सच में वहाँ लिखी है।

Stanford slide: Why Retrieval? अकेले LLM का जवाब और retrieval के साथ LLM का जवाब
Stanford की Why Retrieval? वाली slide। बाईं तरफ़ अकेले LLM का अंदाज़ा है, और दाईं तरफ़ retriever का लौटाया queue log और उससे लिखा जवाब। Image पर click करने से वो पूरे size में खुलती है।

Lesson 1 में model की सारी जानकारी उसके में थी, और इसकी दो दिक्कतें थीं। नई बात डालने के लिए training चाहिए थी, और model अपना source नहीं बता सकता था। Retrieval में नई बात के लिए बस corpus में passage जोड़िए, और source citation से दिखता है। Stanford की slide इन दो फ़ायदों को Dynamic और Interpretable कहती है।

Stanford slide: retrieval से LM की कमियाँ दूर करना, Dynamic और Interpretable
Stanford की slide: just-in-time, Dynamic और Interpretable। नीचे के diagram में reader के जवाब का [1] एक citation है।

Lesson 1 में parameters के अंदर की जानकारी को कहा था। यहाँ जानकारी corpus में है, यानी model के बाहर, और ऐसी जानकारी को non-parametric memory कहते हैं।

लेकिन retrieval उतना ही अच्छा है, जितना ढूँढना। Lesson 1 के आख़िर में दिखा था कि पुराना forum post prompt में हो, तो model फिर Wednesday लिख सकता है। इसलिए अगला पड़ाव ढूँढने का पक्का नियम बनाता है।

3Retriever: हर passage को score, फिर top-K

Retriever हर passage को query के लिए एक score देता है, scores के हिसाब से sort करता है, और ऊपर के K passages लौटाता है। Score एक number है, जो बताता है कि passage query के लिए कितना काम का है।

ऊपर के K passages को top-K कहते हैं। K पहले से तय होता है, जैसे 2 या 100।

सबसे आसान score word overlap है: query के कितने शब्द passage में भी हैं। लेकिन which, is और the जैसे शब्द लगभग हर text में होते हैं, इसलिए उन्हें गिनने से कुछ पता नहीं चलता।

ऐसे बहुत आम शब्दों को stopwords कहते हैं, और retriever गिनने से पहले उन्हें हटा देता है। Query which office hour is least crowded से which और is हटाइए। तब चार शब्द बचते हैं: office, hour, least और crowded।

पहले सोचिए

Queue log में जवाब है, और पुराने forum post में सिर्फ़ 2024 की एक राय। Corpus table में दोनों में ये चार शब्द ढूँढिए। Word overlap किसे ज़्यादा score देगा?

जवाब देखिए

किसी को नहीं, दोनों को 2 मिलता है। Queue log में office और hour हैं, और forum post में least और crowded।

पूरे corpus के scores ये हैं:

Passageमिले शब्दScore
Queue logoffice, hour2
पुराना forum postleast, crowded2
Office hours pageofficeRetriever शब्दों को हूबहू मिलाता है, इसलिए hours और hour उसके लिए अलग शब्द हैं।1
Syllabus, Homework 1 की announcement, project pageकोई नहीं0

Word overlap सिर्फ़ शब्द गिनता है, इसलिए उसे नहीं दिखता कि queue log तीन हफ़्ते का data है, और forum post 2024 की एक राय। K = 2 पर retriever दोनों लौटाता है। तब prompt में सच्चे data के साथ वो पुरानी राय भी पहुँचती है, जिसके भरोसे model फिर Wednesday लिख सकता है।

Query और top-K passages पढ़कर जवाब लिखने वाले हिस्से को reader कहते हैं। आज reader अक्सर एक LLM होता है, जो इस खास काम पर train नहीं हुआ, बस prompt की instruction पढ़कर काम करता है। ऊपर वाले prompt की पहली line, Answer the question using the passage below, यही instruction है।

Training के बिना, सिर्फ़ instruction से काम करने को zero-shot कहते हैं। Reader अक्सर ऐसा ही LLM रहता है, इसलिए lessons 3 से 15 ज़्यादातर retriever को बेहतर बनाते हैं।

Retriever खुद चलाइए

एक query चुनिए, और K बदलिए। Score 0 वाले passages retriever नहीं लौटाता। Score बराबर हो, तो corpus में पहले लिखा passage ऊपर आता है।

2

RankPassageScore

खुद निकालिए

Query: when is the project milestone due। Stopwords हटाइए, और syllabus और project page का score निकालिए। K = 1 हो, तो reader को कौन सा passage मिलेगा? Widget में check कीजिए।

जवाब देखिए

बचे शब्द: project, milestone, due। Syllabus में तीनों हैं, इसलिए score 3। Project page में project और due हैं, इसलिए score 2। K = 1 पर reader को syllabus मिलेगा, जिसमें सही तारीख है: Week 6, Thursday 11:59pm।

4Recall ceiling: जो passage नहीं आया, reader उसे नहीं पढ़ता

अब widget में तीसरी query चुनिए: when can I get help from a TA। Stopwords हटाने पर help और ta बचते हैं। जवाब office hours page में है, लेकिन वहाँ TAs लिखा है, ta नहीं, और help किसी passage में नहीं है। इसलिए हर score 0 है, और retriever कुछ नहीं लौटाता। Reader कितना भी अच्छा हो, office hours page उसके prompt तक पहुँचा ही नहीं।

Retriever कितनी बार ज़रूरी passage ढूँढ पाता है, उसे मोटे तौर पर retriever का recall कहते हैं। जैसे 100 सवालों में से 60 पर सही passage top-K में आया, तो recall 60% है। 60% का मतलब है 100 में से 60, यानी 60 ÷ 100 = 0.6। Recall को ठीक-ठीक नापने के तरीके lesson 13 में हैं।

अब reader जोड़िए: सही passage मिलने पर वो 90% सवालों के सही जवाब देता है, यानी हर सवाल पर 0.9। तब 60 सवालों पर 60 × 0.9 = 54 सही जवाब आते हैं। बाकी 100 − 60 = 40 सवालों पर passages से कोई सही जवाब नहीं आता। अब आप reader को बेहतर कर सकते हैं, या retriever को। मेरा example

बदलावहिसाबसही जवाब
अभी60 × 0.954
Reader perfect कर दिया60 × 1.060
Retriever 80 तक ले गए, reader वैसा ही??

तीसरी row आप निकालिए

Retriever अब 80 सवालों पर सही passage लाता है, और reader अब भी 90% सही है। कितने सही जवाब मिलेंगे? Perfect reader से ज़्यादा, या कम?

जवाब देखिए

80 × 0.9 = 72, यानी perfect reader से 72 − 60 = 12 ज़्यादा। Perfect reader भी 60 से आगे नहीं जा सकता, क्योंकि बाकी 40 सवालों पर सही passage उस तक पहुँचा ही नहीं।

Perfect reader 60 पर गुणा के एक नियम की वजह से रुकता है। किसी number को 1 से छोटे number से गुणा करें, तो वो घटता है, जैसे 60 × 0.5 = 30। 1 से गुणा करें, तो वो वैसा ही रहता है, जैसे 60 × 1.0 = 60। Reader का हिस्सा 1 से ज़्यादा नहीं हो सकता, क्योंकि 1 का मतलब है हर सवाल सही।

इसलिए सही जवाब उन 60 सवालों से ज़्यादा नहीं हो सकते, जिन पर retriever सही passage लाया। यानी retriever का recall पूरे system की ऊपरी हद बन जाता है।

इस हद को recall ceiling कहते हैं, यानी recall की छत। Stanford की slide उसके नीचे लिखती है Missing evidence limits agent, यानी जो सबूत prompt तक नहीं पहुँचा, वो system को रोकता है। Agent lesson 16 में आता है।

Stanford slide Issues with RAG का retrieval वाला हिस्सा: Recall ceiling, Missing evidence limits agent
Stanford की slide Issues with RAG का retrieval वाला हिस्सा। बाकी दो दिक्कतें lesson 18 में आती हैं।

K बढ़ाने से recall बढ़ता है, लेकिन गलत passages भी साथ आते हैं, जैसे K = 2 पर पुराना forum post। और company वाले prompt में 14 से ज़्यादा passages समाते ही नहीं।

Word overlap 6 passages पर भी दो बार चूका। पहली बार उसने सही और गलत passage को बराबर रखा। दूसरी बार query और passage ने एक बात अलग शब्दों में कही, help from a TA और run by the TAs, और score 0 आया। Lesson 3 यहीं से शुरू होता है: text को ऐसे numbers में बदलना, जिनमें एक जैसी बात कहने वाले texts के numbers पास-पास हों।

यहाँ से Stanford वाला level

ऊपर के 4 पड़ाव आसान version जैसे ही हैं। आगे के 4 पड़ाव आपको Stanford की slides के level तक ले जाते हैं। पहले retriever-reader slide के symbols और function का गणित है, फिर DrQA नाम का असली system और उसका training data। उसके बाद recall ceiling असली numbers में है, और आख़िर में आप slides खुद पढ़ते हैं।

5Retriever और reader, functions की तरह: slide के symbols

Slide retriever और reader को दो functions की तरह लिखती है: retriever corpus और query से K passages देता है, और reader उनसे जवाब। इसे पढ़ने के लिए पहले function का मतलब चाहिए।

Function एक नियम है, जो input लेकर output देता है। जैसे नियम हो “दोगुना करके 1 जोड़िए”, तो इसे f(x) = 2x + 1 लिखते हैं। यहाँ f नियम का नाम है, और x input। तब f(3) = 2 × 3 + 1 = 7। Code में भी function यही करता है: arguments लेता है, और एक value लौटाता है।

Function के एक से ज़्यादा inputs भी हो सकते हैं। जैसे f(x, y) = x + 2y में f(1, 3) = 1 + 2 × 3 = 7। Slide की दोनों lines ऐसे ही दो inputs वाले functions हैं, और “⟶” का मतलब है “ये output देता है”:

Retrieverf(𝒟, Q) ⟶ P1, …, PK
Readerg(Q, {P1, …, PK}) ⟶ A

नीचे की table हर symbol को हमारे example से जोड़ती है:

Symbolमतलबहमारे example में
𝒟 = D1, D2, …, DNपूरा corpus, यानी documents की list। नीचे का छोटा number बताता है कि list में कौन सा document है, और “…” का मतलब है “इसी तरह आगे तक”।D1 = syllabus से D6 = project page तक
NCorpus में documents की गिनती6company में 2,000
QQuerywhich office hour is least crowded
fRetriever का नियमword overlap, फिर top-K
Kकितने passages लौटाने हैं। Slide कहती है कि K पहले से तय होता है, जैसे 100।2
P1, …, PKRetriever के लौटाए K passages, score के क्रम मेंP1 = queue log, P2 = पुराना forum post
{ … }Curly brackets चीज़ों का एक group बनाते हैं, जिसे कहते हैं।{queue log, पुराना forum post}
gReader का नियमपड़ाव 3 वाला zero-shot LLM
Aजवाब, जिसे slide answer string कहती है, यानी text का एक टुकड़ाThursday 9am, about 3 students ahead of you

Input में documents (D) हैं, और output में passages (P), क्योंकि पड़ाव 1 के मुताबिक retriever documents के टुकड़े लौटाता है। हमारी query पर दोनों functions तीन steps में चलते हैं:

  1. f(𝒟, Q): retriever हर passage का score निकालता है। Corpus के क्रम में scores 0, 1, 2, 2, 0, 0 हैं।
  2. K = 2 पर ऊपर के दो passages लौटते हैं: P1 = queue log और P2 = पुराना forum post। दोनों का score 2 है, इसलिए यहाँ corpus का क्रम चला।
  3. g(Q, {queue log, पुराना forum post}): reader दोनों passages पढ़कर A लिखता है। इस set में उलटी बातें कहने वाले दो passages हैं, इसलिए A में Thursday 9am भी आ सकता है, और Wednesday भी।

पहले सोचिए

Query when is the project milestone due और K = 2 पर f(𝒟, Q) क्या लौटाता है? K = 1 हो, तो g का input क्या है?

जवाब देखिए

K = 2 पर f लौटाता है: P1 = syllabus (score 3) और P2 = project page (score 2)। K = 1 पर g(Q, {syllabus}) बनता है, और A = Week 6, Thursday 11:59pm।

A reading comprehension problem: reader का काम

Reader वाली line के आगे slide पर A reading comprehension problem! लिखा है। Reading comprehension का मतलब है: दिया हुआ text पढ़कर उसी पर पूछे सवाल का जवाब देना। Retriever के बाद reader का काम ठीक यही है, क्योंकि passages उसके हाथ में आ चुके हैं।

इस काम का सबसे मशहूर dataset SQuAD है, यानी Stanford Question Answering Dataset। SQuAD बनाने वालों ने लोगों को Wikipedia का एक paragraph दिखाया, और लोगों ने उसी paragraph पर सवाल लिखे। जवाब हमेशा उसी paragraph का एक टुकड़ा है, और ऐसे टुकड़े को span कहते हैं। Training में 87,599 सवाल हैं। paper से एक example:

Paragraph: … At the beginning of the 17th century the empire contained 32 provinces and numerous vassal states. …
Q: How many provinces did the Ottoman empire contain in the 17th century?
A: 32

Slide की बाकी lines: fixed retriever, और दो तरह के readers

Slide के नीचे दो lines और हैं। पहली line retriever के बारे में है: A standard TF-IDF information-retrieval sparse model (a fixed module)। इसके तीन हिस्से हैं:

दूसरी line reader के बारे में है: a neural reading comprehension model। Neural model का मतलब है parameters वाला model, जो examples से train होता है, जैसे lesson 1 का LLM। Slide ऐसे reader के दो रास्ते बताती है:

6DrQA: पूरे Wikipedia पर retriever और reader

DrQA 2017 का एक system है, जो सवाल का जवाब पूरे English Wikipedia में ढूँढकर देता है। Danqi Chen और साथियों ने इसे Facebook AI Research में बनाया। paper से Stanford की slide इसे retriever-reader ढाँचे के example की तरह दिखाती है। Slide का सवाल है How many of Warsaw's inhabitants spoke Polish in 1933?, और जवाब 833,500।

यहाँ सवाल किसी भी विषय पर हो सकता है, और system को सही paragraph पहले से नहीं मिलता। ऐसे सवाल-जवाब को open-domain QA कहते हैं। SQuAD वाले reading comprehension में paragraph सवाल के साथ आता है, और open-domain QA में system को उसे पूरे corpus से खुद ढूँढना पड़ता है।

DrQA का retriever

DrQA का corpus 21 December 2016 का English Wikipedia है। List जैसे कुछ pages हटाने के बाद उसमें 5,075,182 articles बचे, यानी N = 5,075,182। Retriever train नहीं होता, और paper खुद उसे non-machine learning कहता है। वो सवाल और हर article को TF-IDF वाले शब्द-वज़नों की list की तरह देखता है, और इन lists से हर article का score निकालता है। हर सवाल पर वो 5 articles लौटाता है, यानी K = 5। paper से

ये retriever अकेले शब्दों के साथ साथ-साथ आने वाले दो शब्द भी मिलाता है। साथ-साथ आने वाले दो शब्दों को bigram कहते हैं। हमारी query के bigrams हैं: which office, office hour, hour is, is least और least crowded।

इन articles में अलग-अलग शब्द ही 9,008,962 हैं, और अलग-अलग bigrams इनसे कहीं ज़्यादा। इसलिए DrQA एक hash function से हर bigram को 224 खानों में से एक खाने का number देता है। Hash function एक तय नियम है, जो किसी भी text से एक तय range का number बनाता है। 224 का मतलब है 2 को 24 बार आपस में गुणा करना, यानी 16,777,216 खाने। paper से

पहले सोचिए

हमारे corpus पर शब्दों की जगह query के bigrams गिनिए। क्या queue log और पुराने forum post का tie टूटेगा?

जवाब देखिए

नहीं। Queue log में office hour है, और forum post में least crowded, यानी दोनों में 1 bigram मिलता है। बाकी 4 passages में query का कोई bigram नहीं है। Stopwords हटाकर bigrams बनाइए (office hour, hour least, least crowded), तब भी यही नतीजा आता है। हिसाब मेरा

Paper ने नापा कि कितने % सवालों में जवाब का text retriever के लौटाए 5 articles में से किसी एक में है। मुकाबले में Wikipedia का अपना search engine था: paper से

DatasetWikipedia searchDrQA, सिर्फ़ शब्दDrQA, शब्द + bigrams
SQuAD62.776.177.8
CuratedTRECTREC मुकाबलों के 2,180 सवाल81.085.286.0
WebQuestionsGoogle Suggest से लिए सवाल73.775.574.4
WikiMoviesfilms के बारे में सवाल61.754.470.3

DrQA का reader

DrQA का reader एक neural network है, जो SQuAD पर train हुआ। वो paragraph के हर token को दो probabilities देता है: जवाब यहाँ से शुरू होता है, और जवाब यहाँ ख़त्म होता है। फिर वो ऐसा टुकड़ा चुनता है, जिसके शुरू और आख़िर की probabilities का गुणा सबसे बड़ा हो। शर्त ये है कि शुरू और आख़िर के बीच 15 tokens से ज़्यादा का फ़ासला न हो। paper से

यानी DrQA का reader जवाब खुद नहीं गढ़ता, वो लौटाए गए text में से एक span चुनता है। पड़ाव 7 में ये बात ceiling के लिए ज़रूरी है। SQuAD के उन सवालों पर, जो training में नहीं थे, और जिनके साथ सही paragraph मिलता है, इस reader का 69.5% है। Exact Match का मतलब है कि जवाब हूबहू सही जवाब से मिले, तभी उसे सही गिनते हैं। paper से

Distant supervision: paragraph के label के बिना training data

Distant supervision का मतलब है: जिस data में सिर्फ़ सवाल और जवाब हैं, उसके लिए सही paragraph अपने आप ढूँढकर training example बनाना। SQuAD में हर सवाल के साथ उसका paragraph है, लेकिन CuratedTREC, WebQuestions और WikiMovies में सिर्फ़ सवाल-जवाब के जोड़े हैं। Reader को paragraph से span चुनना सीखना है, इसलिए उसे paragraph चाहिए। Slide पर distantly-supervised QA datasets का मतलब यही है।

हमारे corpus पर एक जोड़ा लीजिए: सवाल when is the project milestone due, और जवाब Week 6, Thursday 11:59pm। किसी passage पर label नहीं है। मेरा example

  1. सवाल पर retriever चलाइए: syllabus को 3 मिलता है, project page को 2, और बाकी चारों को 0।
  2. लौटे passages में से वो हटाइए, जिनमें जवाब का text हूबहू नहीं है। Project page में Week 6, Thursday 11:59pm नहीं है, इसलिए वो हटता है।
  3. बचा syllabus training example बनता है: सवाल, syllabus, और उसमें जवाब वाला span।

DrQA ने यही बड़े पैमाने पर किया, और साथ में कुछ filters लगाए। हर सवाल पर retriever के top 5 articles लिए, और जिन paragraphs में जवाब हूबहू नहीं था, उन्हें हटाया। 25 characters से छोटे और 1,500 से लंबे paragraphs भी हटे। सवाल में कोई नाम हो, जैसे Chadwick, तो वो नाम न रखने वाले paragraphs भी हटे। फिर जवाब के आस-पास के 20 tokens में सवाल के शब्द और bigrams गिनकर ज़्यादा से ज़्यादा 5 paragraphs रखे। paper से

Paragraph का label किसी इंसान ने नहीं लगाया, बल्कि जवाब के text से अपने आप निकला, इसलिए इसे distant, यानी सीधा नहीं, supervision कहते हैं। जवाब का text किसी paragraph में संयोग से भी हो सकता है, इसलिए ऐसा label कभी-कभी गलत होता है। ये चेतावनी मेरी

7Recall ceiling असली numbers में, और K का पूरा हिसाब

DrQA में recall ceiling साफ़ दिखती है, क्योंकि उसका reader सिर्फ़ लौटाए गए text में से span चुन सकता है। अगर जवाब का text 5 articles में है ही नहीं, तो reader उसे किसी भी तरह नहीं लिख सकता। Retriever SQuAD के 77.8% सवालों पर जवाब वाला article लाता है, इसलिए पूरा system ज़्यादा से ज़्यादा 77.8% सवालों पर सही हो सकता है। numbers paper से, ceiling का हिसाब मेरा

Paper ने अलग-अलग हालात में reader को नापा। SQuAD के सवालों पर नतीजे ये हैं: paper से

Reader को क्या मिलाExact Match (%)
सिर्फ़ सही paragraph, SQuAD की तरह69.5
सही article, पूरा49.4
Retriever के 5 articles, पूरे Wikipedia सेSQuAD और distant supervision वाले data पर साथ train हुए reader के साथ 29.827.1

Ceiling, यानी retriever कितने % सवालों पर जवाब वाला article लाया: 77.8।

अब पड़ाव 4 वाला गुणा यहाँ लगाइए। अगर reader 5 articles में भी उतना ही अच्छा होता, जितना एक सही paragraph में, तो सही जवाब 77.8% का 0.695 हिस्सा होते। हिसाब मेरा

  1. दोनों percentages को हिस्से में बदलिए: 77.8% = 0.778, और 69.5% = 0.695।
  2. गुणा कीजिए: 0.778 × 0.695 = 0.541, यानी 54.1%।
  3. असल नतीजे से मिलाइए: 54.1 ÷ 27.1 = 2.0, यानी असल नतीजा इस अंदाज़े का आधा है।

Paper इस गिरावट की दो वजहें बताता है। पहली, एक paragraph की जगह 5 पूरे articles पढ़ने हैं, और उनमें उसी विषय के बहुत से sentences जवाब जैसे दिखते हैं। इसीलिए सही article मिलने पर भी number 69.5 से 49.4 पर आ जाता है। दूसरी, लोगों ने SQuAD के सवाल एक खास paragraph देखकर लिखे थे, इसलिए paragraph के बिना कई सवाल अधूरे लगते हैं। paper से

मतलब recall ceiling सिर्फ़ ऊपरी हद है: system उसके नीचे कहीं भी रह सकता है। DrQA में ceiling 77.8 है, और असल नतीजा 27.1। Retriever जितने सवालों पर चूका, वो ceiling तय करता है। Reader की कमज़ोरी ceiling और असल नतीजे के बीच का फ़ासला बनाती है।

हमारे corpus पर K बदलिए

Least crowded वाली query पर हर K का नतीजा ये है। Score 0 वाले passages नहीं लौटते। हिसाब मेरा

KRetriever क्या लौटाता हैQueue log आया?बिना जवाब वाले
1queue logहाँ0
2queue log, पुराना forum postहाँ1
3 से 6queue log, पुराना forum post, office hours pageहाँ2

K = 1 पर queue log सिर्फ़ इसलिए आया, क्योंकि बराबर scores पर corpus का क्रम चलता है। Corpus में queue log (P3) forum post (P4) से पहले लिखा है। अगर forum post पहले लिखा होता, तो K = 1 पर reader को सिर्फ़ forum post मिलता। यानी tie में नतीजा ऐसा नियम तय करता है, जिसका सवाल से कोई लेना-देना नहीं।

अब तीनों widget queries को K = 2 पर देखिए। Least crowded पर queue log आता है, milestone पर syllabus आता है, और TA वाली query पर कुछ नहीं आता। तो 3 में से 2 queries पर सही passage पहुँचा, और 2 ÷ 3 = 0.667। Lesson 13 इस तरह के नाप को कहता है। इन 3 queries पर कोई भी reader passages के दम पर 3 में से 2 से ज़्यादा जवाब नहीं दे सकता।

पहले सोचिए

TA वाली query पर K = 6 कीजिए। क्या office hours page अब reader तक पहुँचेगा?

जवाब देखिए

नहीं। हर passage का score 0 है, और retriever score 0 वाले passages लौटाता ही नहीं, इसलिए K कितना भी हो, कुछ नहीं आता। K बढ़ाने से recall तभी बढ़ता है, जब सही passage का score 0 से ऊपर हो, बस वो नीचे के rank पर हो।

Company वाले system में हर passage 500 tokens का है, इसलिए K passages के लिए K × 500 tokens चाहिए। K = 14 पर 14 × 500 = 7,000 tokens लगते हैं, यानी lesson 1 वाली पूरी जगह। इससे बड़ा K prompt में समाता ही नहीं, चाहे recall के लिए वो कितना भी अच्छा हो।

8अब Stanford की slides खुद पढ़िए

नीचे इस lesson की Stanford slides हैं, बिना किसी बदलाव के। हर slide के नीचे कुछ सवाल हैं। पहले खुद जवाब सोचिए, फिर खोलिए। कोई बात अटके, तो जवाब में लिखे पड़ाव पर लौट जाइए। Phone पर slide छोटी दिखे, तो image पर click कीजिए, वो पूरे size में खुलेगी।

Stanford slide: Why Retrieval?
Stanford की slide: Why Retrieval?

Why Retrieval? वाली slide पढ़िए

  1. Slide की query में this week भी है, यानी which office hour this week is least crowded। Word overlap के scores में क्या बदलेगा?

    जवाब देखिए

    this एक stopword है, और week बचता है। Syllabus में Week 6 और Week 10 हैं, इसलिए syllabus को 1 मिलता है। Queue log में weeks लिखा है, week नहीं, इसलिए वो 2 पर रहता है, और forum post भी 2 पर। Tie वैसा ही रहता है। (पड़ाव 3)

  2. दाईं तरफ़ के box में retriever का काम कौन सा है, और reader का कौन सा?

    जवाब देखिए

    Retrieved वाली line retriever का लौटाया passage है, यानी queue log। नीचे का जवाब reader ने उसी passage से लिखा। (पड़ाव 2 और 3)

  3. बाईं तरफ़ का जवाब midweek hours की बात करता है। हमारे corpus का कौन सा passage यही कहता है, और K = 2 पर उसका क्या असर है?

    जवाब देखिए

    पुराना forum post: midweek afternoons are usually the least crowded। K = 2 पर वो queue log के साथ prompt में जाता है, और reader फिर Wednesday लिख सकता है। (पड़ाव 3)

Stanford slide: Using Retrieval to Overcome LMs’ Shortcomings
उसी slide का diagram, बड़ा करके
Stanford की slide: Using Retrieval to Overcome LMs’ Shortcomings, और नीचे उसका diagram, बड़ा करके।

Just-in-time वाली slide पढ़िए

  1. Just-in-time का क्या मतलब है, और ये memorize everything से कैसे अलग है?

    जवाब देखिए

    Model सब कुछ अपने parameters में याद नहीं रखता। सही text ठीक सवाल आने के वक्त prompt में आता है। (पड़ाव 2)

  2. Dynamic और Interpretable, lesson 1 की कौन सी दिक्कतें हल करते हैं?

    जवाब देखिए

    Dynamic: नई बात के लिए training नहीं चाहिए, बस corpus में passage जोड़िए। Interpretable: citation से आप source खोलकर check कर सकते हैं। (पड़ाव 2)

  3. Diagram में Text Collection क्या है, और जवाब के आख़िर में [1] क्यों है?

    जवाब देखिए

    Text Collection corpus है, जिसमें retriever ढूँढता है। [1] Wikipedia - Immune system लौटाए गए passage का source है, और जवाब का [1] उसी की citation है। (पड़ाव 1 और 2)

Stanford slide: Retrieval Often Used in Open-Domain QA, DrQA
Stanford की slide: Retrieval Often Used in Open-Domain QA। बीच का Wikipedia article image के तौर पर है, उसे पढ़ना ज़रूरी नहीं।

Open-domain QA वाली slide पढ़िए

  1. इस slide पर corpus क्या है, और DrQA में उसका N कितना है?

    जवाब देखिए

    पूरा English Wikipedia। Paper में 5,075,182 articles हैं, यानी N = 5,075,182। (पड़ाव 6)

  2. Document Reader ने 833,500 कहाँ से लिखा?

    जवाब देखिए

    Retriever के लौटाए Warsaw वाले article से। DrQA का reader जवाब खुद नहीं गढ़ता, वो article का एक span चुनता है। (पड़ाव 6)

  3. इसे open-domain QA क्यों कहते हैं?

    जवाब देखिए

    सवाल किसी भी विषय पर हो सकता है, और system को paragraph पहले से नहीं मिलता। उसे पूरे Wikipedia में खुद ढूँढना पड़ता है। (पड़ाव 6)

Stanford slide: Retriever-Reader Framework
उसी slide की retriever और reader वाली lines, बड़ी करके
उसी slide का retriever और reader वाला text, बड़ा करके
Stanford की slide: Retriever-Reader Framework, और नीचे उसकी दोनों lines और नीचे का text, बड़ा करके।

Retriever-Reader Framework वाली slide पढ़िए

  1. f(𝒟, Q) ⟶ P1, …, PK को हमारी पहली query और K = 2 पर लिखिए।

    जवाब देखिए

    f(6 passages वाला corpus, which office hour is least crowded) ⟶ queue log, पुराना forum post। (पड़ाव 5)

  2. Slide retriever को a fixed module क्यों कहती है?

    जवाब देखिए

    DrQA का TF-IDF retriever train नहीं होता। उसका नियम पहले से तय है, जैसे हमारे word overlap का। (पड़ाव 5 और 6)

  3. Reader की पहली bullet में distantly-supervised का क्या मतलब है?

    जवाब देखिए

    जिन datasets में सिर्फ़ सवाल-जवाब हैं, उनके paragraphs एक नियम ने retriever और जवाब के text से अपने आप ढूँढे। हमारे corpus पर ये नियम milestone वाले सवाल के लिए syllabus चुनता है। (पड़ाव 6)

Stanford slide: Issues with RAG
उसी slide का retrieval वाला हिस्सा, बड़ा करके
Stanford की slide: Issues with RAG, और नीचे उसका retrieval वाला हिस्सा, बड़ा करके। बाकी दिक्कतें lesson 18 में आती हैं।

Issues with RAG वाली slide पढ़िए

  1. Missing evidence limits agent: पड़ाव 4 की table में ये हद कितनी थी?

    जवाब देखिए

    60 सवाल। Retriever 60 सवालों पर सही passage लाया, इसलिए perfect reader भी 60 पर रुका। (पड़ाव 4)

  2. DrQA में ये हद कितनी है, और असल नतीजा कितना?

    जवाब देखिए

    Ceiling 77.8% है, और असल Exact Match 27.1%। (पड़ाव 7)

  3. Least crowded वाली query पर K = 2 के prompt में दो passages उलटी बातें कहते हैं। Reader-side के कौन से boxes इससे मिलते हैं?

    जवाब देखिए

    Distraction, यानी मिलता-जुलता लेकिन बेकार text, और Evidence conflict, यानी sources का आपस में टकराना। दोनों lesson 18 में आते हैं। (पड़ाव 3)

Stanford slide: Announcements
Stanford slide: Project Team and Key Considerations
Stanford slide: Chunking: Same Text, Three Splits
Chunking वाली slide के तीनों तरीके, बड़े करके
तीन Stanford slides, जिनसे हमारे corpus के passages आए: Announcements, Project Team and Key Considerations, और Chunking: Same Text, Three Splits। आख़िर में chunking वाले तीनों तरीके, बड़े करके।

Corpus वाली slides पढ़िए

  1. हमारे corpus के कौन से passages इन तीन slides से आए?

    जवाब देखिए

    Announcements वाली slide से Homework 1 की announcement और project proposal की तारीख आई। Project Team वाली slide से 1-3 लोगों की team आई, और ये दोनों बातें project page में हैं। Chunking वाली slide से syllabus का पूरा text आया। (पड़ाव 1)

  2. Chunking वाली slide पर 50 tokens वाले fixed chunks में milestone की तारीख कहाँ टूटी? इसका retrieval पर क्या असर है?

    जवाब देखिए

    पहले chunk में due Week 6, Thursday तक है, और 11:59pm दूसरे chunk में। Retriever सिर्फ़ पहला chunk लौटाए, तो reader को पूरी तारीख नहीं मिलती। Passage कहाँ ख़त्म हो, ये lesson 7 का विषय है। (पड़ाव 1)

इस lesson की 3 बातें

  1. Retrieval: हर query पर corpus से कुछ passages चुनकर prompt में रखना। इसके लिए training नहीं चाहिए, और जवाब के साथ citation आता है।
  2. Retriever f(𝒟, Q) top-K passages देता है, और reader g(Q, {P1, …, PK}) उनसे जवाब लिखता है। Word overlap queue log और पुराने forum post को बराबर 2 देता है, और bigrams भी ये tie नहीं तोड़ते।
  3. जो passage retriever नहीं लाया, reader उसे कभी नहीं पढ़ता, और यही recall ceiling है। DrQA में ceiling 77.8% है, लेकिन पूरा system 27.1% पर रहता है, क्योंकि ceiling सिर्फ़ ऊपरी हद है।

इस lesson के नए शब्द

Corpus (collection)
सारे documents का set। जैसे company के 2,000 documents, या इस course के 6 छोटे texts।
Document
Corpus की एक चीज़: web page, file या email। जैसे course का syllabus।
Passage
Document का छोटा टुकड़ा, जो retriever लौटाता है। जैसे syllabus का वो paragraph, जिसमें milestone की तारीख है।
Query
वो सवाल, जिसके लिए ढूँढना है। जैसे “which office hour is least crowded”।
Retrieval
Query के लिए काम के passages ढूँढकर prompt में रखना। जैसे queue log का passage सवाल के साथ prompt में जाए।
Citation
जवाब के साथ उसका source। जैसे “Thursday 9am [P3]” में [P3], यानी queue log।
Non-parametric memory
Model के बाहर, corpus में रखी जानकारी। जैसे queue log: उसे बदलने के लिए training नहीं चाहिए।
Retriever
हर passage को score देकर top-K लौटाने वाला हिस्सा। जैसे इस lesson का word overlap वाला retriever।
Score
Passage query के लिए कितना काम का है, उसका number। जैसे word overlap में queue log का score 2।
Top-K
सबसे ज़्यादा score वाले K passages। जैसे K = 2 पर queue log और पुराना forum post।
Word overlap
Query के कितने शब्द passage में भी हैं। सबसे आसान score। जैसे queue log में office और hour हैं, तो score 2।
Stopwords
is, the, which जैसे बहुत आम शब्द, जिन्हें गिनती में नहीं लेते। “which office hour is least crowded” से which और is हटते हैं।
Reader
Query और top-K passages पढ़कर जवाब लिखने वाला हिस्सा। आज अक्सर एक LLM। जैसे queue log पढ़कर “Thursday 9am” लिखना।
Zero-shot
उस खास काम पर training के बिना, सिर्फ़ instruction पढ़कर काम करना। जैसे prompt में लिखा “Answer the question using the passage below”।
Recall
Retriever कितनी बार ज़रूरी passage ढूँढ पाता है। जैसे 100 सवालों में 60 पर, तो recall 60%।
Recall ceiling
Retriever का recall पूरे system की ऊपरी हद बन जाता है। Recall 60% है, तो reader कितना भी अच्छा हो, 100 में से 60 से ज़्यादा जवाब passages के दम पर नहीं आते।
Reading comprehension
दिया हुआ text पढ़कर उसी पर पूछे सवाल का जवाब देना। Retriever के बाद reader का काम यही है। जैसे Ottoman empire वाला paragraph पढ़कर 32 बताना।
SQuAD
Stanford Question Answering Dataset: Wikipedia के paragraphs पर लोगों के लिखे सवाल, और जवाब हमेशा paragraph का एक span। जैसे training में 87,599 सवाल।
Open-domain QA
किसी भी विषय का सवाल, जिसका paragraph साथ नहीं मिलता, इसलिए system उसे पूरे corpus में खुद ढूँढता है। जैसे DrQA में Warsaw वाला सवाल, पूरे Wikipedia पर।
DrQA
2017 का retriever-reader system: fixed TF-IDF retriever पूरे Wikipedia से 5 articles लौटाता है, और neural reader उनमें से एक span चुनता है। जैसे Warsaw वाले सवाल पर 833,500।
Bigram
साथ-साथ आने वाले दो शब्द। जैसे queue log में office hour, और forum post में least crowded।
Distant supervision
सिर्फ़ सवाल-जवाब वाले data के लिए paragraph अपने आप ढूँढना: retriever चलाइए, और जिन passages में जवाब का text हूबहू है, उन्हें रखिए। जैसे milestone वाले सवाल पर syllabus।