Natural Language Processing

Samenvattingen

Klik hier om de samenvattingen te bekijken

Informatie over het vak

Sinds 2009 wordt dit vak gegeven door Marie-Francine Moens en Vincent Vandeghinste. De inhoud is dan ook compleet veranderd.

Update 2015:

• Lessen worden afwisselend gegeven door Marie-Francine Moens en Vincent Vandeghinste
• Lessen duren 1,5 uur
• Er worden 4 oefenzittingen gegeven

Algemeen

• Schriftelijk 4u
• Open boek, gebruik van handboek Jurafsky & Martin, slides, oplossingen oefenzittingen en notities.

Examenvragen

2021 google doc

January 2015

1. Given three phrases.

 a) Tag all the phrases using the Penn treebank POS tags.
 b) Compute the HMM transition probability matrix (do not apply smoothing).
 c) Compute the HMM emission probability matrix (no smoothin).
 d) Given a new phrase: compute the bigram probabilities for this phrase.
 e) Discuss the results of d). What would happen if we apllied smoothing?

2. Given two phrases:

Fruit flies like a ripe banana. Time flies like an arrow.

 a) Write down the PCFG for this corpus.
 b) Convert it to CNF.
 c) Apply CKY parsing. 
 d) Show the resulting parse trees and their probabilities.
 e) Discuss the results.

3. Given a hidden Markov model and a series of observations, compute the most likely joint state of the HMM.

4. Given three text snippets, compute the association of two pairs of words using pointwise mutual information association measure and the Lin association measure.

5. Question 5, January 2015.

6. You want to build a system which finds companies, brands, names, etc. which are mentioned on web pages. How would you do this? Go step by step, in enough detail, using the techniques mentioned in the course. Mention the bottlenecks involved in the process.

Januari 2015

1) Gegeven een FSA, geef de bijhorende regex en geef 10 strings die door deze FSA gegenereerd kunnen worden. De FSA was net dezelfde als die van op het examen in 2009.

2) Je krijgt 2 parse-trees (2 heel eenvoudige zinnen "time flies like an arrow" en "time flies like a banana")

 a) stel een PCFG hiervan op
 b) zet deze PCFG om naar CNF
 c) pas CKY toe op de zin "time flies like a banana"
 d) teken de mogelijke parse-trees en schrijf bij elk hun probabiliteit

3) Gegeven 5 zinnen (zin 1 is dezelfde als zin 3 en zin 2 is dezelfde als zin 4). Het woord "anybody" kwam geen enkele keer voor in de 5 zinnen, het woord "nobody" 3 keer.

a) Met het gebruik van bigrams, bereken de probabiliteit van het woord "nobody" en het woord '"anybody" met behulp van MLE, Laplace smoothing en Good Turing Smoothing. 
b) Vergelijk de drie methodes en geef voor- en nadelen voor elke methode.

4) Theorievraag: de vraag ging over pairwise coreference classifier (discourse analysis) en had twee deelvragen:

a) hoe worden coreference chains gevormd op basis van het resultaat van de classifier?
b) geef vijf features (gezien tijdens de les) die voor deze classifier gebruikt kan worden

5) Theorievraag: gegeven de slides van de laatste les over semantic parsing. Op de slides staat een uitgewerkt voorbeeld van stochastic gradient descent, een optimaliserend algoritme. Gevraagd: leg de verschillende iteraties van het voorbeeld uit en leg uit hoe de parameters in het algoritme aan hun waarde komen.

Juni 2009

1) Gegeven een FSA, geef de bijhorende regex. De FSA zag er ongeveer zo uit:

q_0 -> q_1 <-> f <- q_2
        |            ^
        |            |
         - - - - - - 
met q_0 -> q_1 = a
    q_1 -> f = b
    q_1 -> q_2 = b
    q_2 -> f = a
    f -> q_1 = a

2) Je krijgt 2 parse-trees (2 heel eenvoudige zinnen "time flies like an arrow" en "time flies 
   like a banana")
 a) stel een PCFG hiervan op
 b) zet deze PCFG om naar CNF
 c) pas CKY toe op een zin (juiste zin weet ik niet meer, alleszinds ook iets met "time flies")
 d) teken de mogelijke parse-trees en schrijf bij elk hun probabiliteit

3) Wat is rhetorical structure theory? Geef relevante voorbeelden, uitleg en toepassingen.

4) Gegeven 3 engelstalige zinnen.
  a) bereken de similatiteit tussen 'flight' & 'debris' en 'flight' & 'Airbus' via de lin assoc 
     methode
  b) waarvoor kan je deze similariteit zoals gebruiken

5) theorie...cant quite remember

6) Stel je moet een e-mail management programma maken dat bestaat uit 2 delen.
  - Task manager : haalt uit de binnenkomende e-mails alle tasken
  - Time manager : bewaart het overzicht over je afspraken en herinnert je aan deadline en tasks
 Hoe zou je dit aanpakken?