Natural Language Processing: verschil tussen versies

Uit Wina Examenwiki
Naar navigatie springen Naar zoeken springen
← Oudere bewerking
Wouter.mertens (overleg | bijdragen)
17 bewerkingen
 
(140 tussenliggende versies door 49 gebruikers niet weergegeven)
Regel 1: Regel 1:
=Natural Language Processing=
==Samenvattingen==
[[Natural Language Processing/Samenvattingen| Klik hier om de samenvattingen te bekijken]]


==Systems & Approaches==
==Informatie over het vak==
Sinds 2009 wordt dit vak gegeven door Marie-Francine Moens en Vincent Vandeghinste.
De inhoud is dan ook compleet veranderd.


Ik stel voor dat we hier de gevonden informatie of links posten over. De vragen die we over het systeem zullen krijgen zijn waarschijnlijk:
Update 2015:  
*Bespreek 1 van de 3 systemen die je gelezen hebt:
* Lessen worden afwisselend gegeven door Marie-Francine Moens en Vincent Vandeghinste
** What kind of nlp system is it?
* Lessen duren 1,5 uur
** What is the approach. What are the principles?
* Er worden 4 oefenzittingen gegeven
** Give Pro’s and Contra’s
** How is this an improvement over older systems; how would newer systems tackle this problem?


=== ATLAST ===
== Algemeen ==
=== BASEBALL ===
* Schriftelijk 4u
=== BOEING SEC ===
* Open boek, gebruik van handboek Jurafsky & Martin, slides, oplossingen oefenzittingen en notities.
=== BORIS ===
=== CA ===
=== CO-OP ===
=== DEACON ===
=== DIAMOND ===
=== DOCTOR ===
=== ELI ===
=== ELIZA ===
[http://www-ai.ijs.si/eliza-cgi-bin/eliza_script http://www-ai.ijs.si/eliza-cgi-bin/eliza_script]


=== EPISTLE ===
==Examenvragen==
=== EUROTRA ===
[https://docs.google.com/document/d/1W8Wt2wVeoaHo5DulKSATFhQqBwevDN3YdtIcg5afOzs/edit?usp=sharing 2021 google doc]
=== FLEXP ===
===January 2015===
=== FRUMP ===
=== GRUNDY ===
=== GUS ===
=== GSP ===
=== HAM-ANS ===
=== HAM-RPM ===
=== HARPY ===
=== HEARSAY-II ===
=== INTELLECT ===
=== JETS ===
=== KAMP ===
=== KLAUS ===
=== LADDER/LIFER ===
=== LEXICAT ===
=== LINGOL ===
=== LNR ===
=== LOGOS ===
=== LUNAR ===
=== MARGIE ===
=== MCHART ===
=== METAL ===
=== MIND ===
=== NLP ===
=== PAM ===
=== PARRY ===
=== PARSIFAL ===
=== PHLIQA1 ===
=== PLANES ===
=== POLITICS ===
=== PROMT ===
=== PROTOSYNTEX ===
=== REL ===
=== RENDEZVOUS ===
=== REQUEST ===
=== ROBOT ===
=== RUS ===
=== SAD-SAM ===
=== SHRDLU ===
=== SIR ===
=== SOPHIE ===
=== SPEECHLIS ===
=== STUDENT ===
=== SYNTHEX ===
=== SYSTRAN ===


[http://en.wikipedia.org/wiki/SYSTRAN SYSTRAN op wikipedia]
1. Given three phrases.


=== TALE-SPIN ===
  a) Tag all the phrases using the Penn treebank POS tags.
=== TAUM-METEO ===
  b) Compute the HMM transition probability matrix (do not apply smoothing).
=== TEXT ===
  c) Compute the HMM emission probability matrix (no smoothin).
=== TORUS ===
  d) Given a new phrase: compute the bigram probabilities for this phrase.
=== TOVNA ===
  e) Discuss the results of d). What would happen if we apllied smoothing?
=== TQA ===
=== UNDERSTAND ===
=== USL ===
=== VERBMOBIL ===
=== WEP/PEP ===
=== EIGEN VONDSTEN ===


2. Given two phrases:


van de nieuwsgroep:
Fruit flies like a ripe banana.
Time flies like an arrow.


==Koenraad Heijlen, 2006-06-18==
  a) Write down the PCFG for this corpus.
Examenvragen NLP 2005; zeker geen verrassing t.o.v. de vorige jaren.  
  b) Convert it to CNF.
  c) Apply CKY parsing.  
  d) Show the resulting parse trees and their probabilities.
  e) Discuss the results.


* 1. Gegeven 3 teksten (1 correct, 1 ingetypt en 1 door een spellings-checker gehaald met de gevonden fouten gemarkeerd).  
3. Given a hidden Markov model and a series of observations, compute the most likely joint state of the HMM.


Gevraagd:
4. Given three text snippets, compute the association of two pairs of words using pointwise mutual information association measure and the Lin association measure.
(a) bereken precision en recall
(b) bespreek en wat vind je van het resultaat?


*2. Parsing
5. Question 5, January 2015.


Grammar:
6. You want to build a system which finds companies, brands, names, etc. which are mentioned on web pages. How would you do this? Go step by step, in enough detail, using the techniques mentioned in the course. Mention the bottlenecks involved in the process.
S ← NP VP                        NP ← DET N
VP ← V NP                        NP ← DET N PP
VP ← V NP PP                      PP ← P NP


Lexicon:
the: DET
boy, girl, mouth: N
on: P
kisses: V, N


Gevraagd:
===Januari 2015===
:Shift reduce parser: maak hiervoor een parser state diagram en oracle;
1) Gegeven een FSA, geef de bijhorende regex en geef 10 strings die door deze FSA gegenereerd kunnen worden. De FSA was net dezelfde als die van op het examen in 2009.
:Pas het toe op de gegeven zin: “The boy kisses the girl on the mouth”. (of vice versa)


*3. Bespreek 1 van de 3 systemen die je gelezen hebt:
2) Je krijgt 2 parse-trees (2 heel eenvoudige zinnen "time flies like an arrow" en "time flies like a banana")
** What kind of nlp system is it?
  a) stel een PCFG hiervan op
** What is the approach. What are the principles?
  b) zet deze PCFG om naar CNF
** Give Pro’s and Contra’s
  c) pas CKY toe op de zin "time flies like a banana"
** How is this an improvement over older systems; how would newer systems tackle this problem?
  d) teken de mogelijke parse-trees en schrijf bij elk hun probabiliteit


==Willem Poorten, 2003-06-21==
3) Gegeven 5 zinnen (zin 1 is dezelfde als zin 3 en zin 2 is dezelfde als zin 4). Het woord "anybody" kwam geen enkele keer voor in de 5 zinnen, het woord "nobody" 3 keer.
* 1. In class we dealt with ATN’s for NP-structures. Write the network(s) that you need to recognice and analyse (i.e. build the structure of) a PP (Prepositional Phrase); start from the states of the simple RTN for PPs From figure (TD3’)
a) Met het gebruik van bigrams, bereken de probabiliteit van het woord "nobody" en het woord '"anybody" met behulp van MLE, Laplace smoothing en Good Turing Smoothing.
REMARK: the NP-ATN is not asked for; you may assume that it is available
b) Vergelijk de drie methodes en geef voor- en nadelen voor elke methode.


* 2. ab*a*c: transitiediagram maken
4) Theorievraag: de vraag ging over pairwise coreference classifier (discourse analysis) en had twee deelvragen:
a) hoe worden coreference chains gevormd op basis van het resultaat van de classifier?
  b) geef vijf features (gezien tijdens de les) die voor deze classifier gebruikt kan worden


* 3. geg:  
5) Theorievraag: gegeven de slides van de laatste les over semantic parsing. Op de slides staat een uitgewerkt voorbeeld van stochastic gradient descent, een optimaliserend algoritme. Gevraagd: leg de verschillende iteraties van het voorbeeld uit en leg uit hoe de parameters in het algoritme aan hun waarde komen.
S <- NP VP
VP <- V NP
VP <- V NP PP
NP <- DET N
NP <- DET N PP
PP <- P NP
shift reduce parser: maak hiervoor een parser state diagram en oracle
parse trace NOT asked


*4. reading assignment
===Juni 2009===
** kind of nlp system
1) Gegeven een FSA, geef de bijhorende regex. De FSA zag er ongeveer zo uit:
** approach/principles
** pro en contra
q_0 -> q_1 <-> f <- q_2
** how is this an improvement over older systems/how would newer systems tackle this problem
        |            ^
        |            |
          - - - - - -
met q_0 -> q_1 = a
    q_1 -> f = b
    q_1 -> q_2 = b
    q_2 -> f = a
    f -> q_1 = a


==Robby Goetschackx, 2002-02-02==
2) Je krijgt 2 parse-trees (2 heel eenvoudige zinnen "time flies like an arrow" en "time flies
    like a banana")
  a) stel een PCFG hiervan op
  b) zet deze PCFG om naar CNF
  c) pas CKY toe op een zin (juiste zin weet ik niet meer, alleszinds ook iets met "time flies")
  d) teken de mogelijke parse-trees en schrijf bij elk hun probabiliteit


* 1) error grammar approach en similarity: bespreek voor en nadelen, wat gebruiken in een echt systeem
3) Wat is rhetorical structure theory? Geef relevante voorbeelden, uitleg en toepassingen.


* 2) a(ba)*b*c: deterministisch transitiediagram maken
4) Gegeven 3 engelstalige zinnen.
  a) bereken de similatiteit tussen 'flight' & 'debris' en 'flight' & 'Airbus' via de lin assoc
      methode
  b) waarvoor kan je deze similariteit zoals gebruiken


* 3) geg:
5) theorie...cant quite remember
S <- NP
NP <- DET NO
NP <- NP PP
NO <-N
NO <- ADJ NO
PP <- PREP NP
shift reduce parser: maak hiervoor een parser state diagram en oracle + pas toe op een gegeven zin


* 4) reading assignment
6) Stel je moet een e-mail management programma maken dat bestaat uit 2 delen.
** kind of nlp system
  - Task manager : haalt uit de binnenkomende e-mails alle tasken
** approach/principles
  - Time manager : bewaart het overzicht over je afspraken en herinnert je aan deadline en tasks
** pro en contra
  Hoe zou je dit aanpakken?
** how is this an improvement over older systems/how would newer systemstackle this problem
 
[[Categorie:mi]]

Huidige versie van 22 jan 2021 16:39

Samenvattingen

Klik hier om de samenvattingen te bekijken

Informatie over het vak

Sinds 2009 wordt dit vak gegeven door Marie-Francine Moens en Vincent Vandeghinste. De inhoud is dan ook compleet veranderd.

Update 2015:

  • Lessen worden afwisselend gegeven door Marie-Francine Moens en Vincent Vandeghinste
  • Lessen duren 1,5 uur
  • Er worden 4 oefenzittingen gegeven

Algemeen

  • Schriftelijk 4u
  • Open boek, gebruik van handboek Jurafsky & Martin, slides, oplossingen oefenzittingen en notities.

Examenvragen

2021 google doc

January 2015

1. Given three phrases. 

 a) Tag all the phrases using the Penn treebank POS tags.
 b) Compute the HMM transition probability matrix (do not apply smoothing).
 c) Compute the HMM emission probability matrix (no smoothin).
 d) Given a new phrase: compute the bigram probabilities for this phrase.
 e) Discuss the results of d). What would happen if we apllied smoothing?

2. Given two phrases:

Fruit flies like a ripe banana. Time flies like an arrow. 

 a) Write down the PCFG for this corpus.
 b) Convert it to CNF.
 c) Apply CKY parsing. 
 d) Show the resulting parse trees and their probabilities.
 e) Discuss the results.

3. Given a hidden Markov model and a series of observations, compute the most likely joint state of the HMM.

4. Given three text snippets, compute the association of two pairs of words using pointwise mutual information association measure and the Lin association measure.

5. Question 5, January 2015.

6. You want to build a system which finds companies, brands, names, etc. which are mentioned on web pages. How would you do this? Go step by step, in enough detail, using the techniques mentioned in the course. Mention the bottlenecks involved in the process.


Januari 2015

1) Gegeven een FSA, geef de bijhorende regex en geef 10 strings die door deze FSA gegenereerd kunnen worden. De FSA was net dezelfde als die van op het examen in 2009.

2) Je krijgt 2 parse-trees (2 heel eenvoudige zinnen "time flies like an arrow" en "time flies like a banana") 

 a) stel een PCFG hiervan op
 b) zet deze PCFG om naar CNF
 c) pas CKY toe op de zin "time flies like a banana"
 d) teken de mogelijke parse-trees en schrijf bij elk hun probabiliteit

3) Gegeven 5 zinnen (zin 1 is dezelfde als zin 3 en zin 2 is dezelfde als zin 4). Het woord "anybody" kwam geen enkele keer voor in de 5 zinnen, het woord "nobody" 3 keer. 

a) Met het gebruik van bigrams, bereken de probabiliteit van het woord "nobody" en het woord '"anybody" met behulp van MLE, Laplace smoothing en Good Turing Smoothing. 
b) Vergelijk de drie methodes en geef voor- en nadelen voor elke methode.

4) Theorievraag: de vraag ging over pairwise coreference classifier (discourse analysis) en had twee deelvragen: 

a) hoe worden coreference chains gevormd op basis van het resultaat van de classifier?
b) geef vijf features (gezien tijdens de les) die voor deze classifier gebruikt kan worden

5) Theorievraag: gegeven de slides van de laatste les over semantic parsing. Op de slides staat een uitgewerkt voorbeeld van stochastic gradient descent, een optimaliserend algoritme. Gevraagd: leg de verschillende iteraties van het voorbeeld uit en leg uit hoe de parameters in het algoritme aan hun waarde komen.

Juni 2009

1) Gegeven een FSA, geef de bijhorende regex. De FSA zag er ongeveer zo uit:

q_0 -> q_1 <-> f <- q_2
        |            ^
        |            |
         - - - - - - 
met q_0 -> q_1 = a
    q_1 -> f = b
    q_1 -> q_2 = b
    q_2 -> f = a
    f -> q_1 = a

2) Je krijgt 2 parse-trees (2 heel eenvoudige zinnen "time flies like an arrow" en "time flies 
   like a banana")
 a) stel een PCFG hiervan op
 b) zet deze PCFG om naar CNF
 c) pas CKY toe op een zin (juiste zin weet ik niet meer, alleszinds ook iets met "time flies")
 d) teken de mogelijke parse-trees en schrijf bij elk hun probabiliteit

3) Wat is rhetorical structure theory? Geef relevante voorbeelden, uitleg en toepassingen.

4) Gegeven 3 engelstalige zinnen.
  a) bereken de similatiteit tussen 'flight' & 'debris' en 'flight' & 'Airbus' via de lin assoc 
     methode
  b) waarvoor kan je deze similariteit zoals gebruiken

5) theorie...cant quite remember

6) Stel je moet een e-mail management programma maken dat bestaat uit 2 delen.
  - Task manager : haalt uit de binnenkomende e-mails alle tasken
  - Time manager : bewaart het overzicht over je afspraken en herinnert je aan deadline en tasks
 Hoe zou je dit aanpakken?
Overgenomen van "http://examens.wina.be/index.php?title=Natural_Language_Processing&oldid=20066"