Natural Language Processing: verschil tussen versies

Uit Wina Examenwiki
Naar navigatie springen Naar zoeken springen
← Oudere bewerking
Wouter.mertens (overleg | bijdragen)
17 bewerkingen
 
(142 tussenliggende versies door 49 gebruikers niet weergegeven)
Regel 1: Regel 1:
=Natural Language Processing=
==Samenvattingen==
[[Natural Language Processing/Samenvattingen| Klik hier om de samenvattingen te bekijken]]


==Systems & Approaches==
==Informatie over het vak==
Sinds 2009 wordt dit vak gegeven door Marie-Francine Moens en Vincent Vandeghinste.
De inhoud is dan ook compleet veranderd.


Ik stel voor dat we hier de gevonden informatie of links posten over. De vragen die we over het systeem zullen krijgen zijn waarschijnlijk:
Update 2015:  
*Bespreek 1 van de 3 systemen die je gelezen hebt:
* Lessen worden afwisselend gegeven door Marie-Francine Moens en Vincent Vandeghinste
** What kind of nlp system is it?
* Lessen duren 1,5 uur
** What is the approach. What are the principles?
* Er worden 4 oefenzittingen gegeven
** Give Pro’s and Contra’s
** How is this an improvement over older systems; how would newer systems tackle this problem?


=== ATLAST ===
== Algemeen ==
=== BASEBALL ===
* Schriftelijk 4u
=== BOEING SEC ===
* Open boek, gebruik van handboek Jurafsky & Martin, slides, oplossingen oefenzittingen en notities.
=== BORIS ===
=== CA ===
=== CO-OP ===
=== DEACON ===
=== DIAMOND ===
=== DOCTOR ===
=== ELI ===
=== ELIZA ===
=== EPISTLE ===
=== EUROTRA ===
=== FLEXP ===
=== FRUMP ===
=== GRUNDY ===
=== GUS ===
=== GSP ===
=== HAM-ANS ===
=== HAM-RPM ===
=== HARPY ===
=== HEARSAY-II ===
=== INTELLECT ===
=== JETS ===
=== KAMP ===
=== KLAUS ===
=== LADDER/LIFER ===
=== LEXICAT ===
=== LINGOL ===
=== LNR ===
=== LOGOS ===
=== LUNAR ===
=== MARGIE ===
=== MCHART ===
=== METAL ===
=== MIND ===
=== NLP ===
=== PAM ===
=== PARRY ===
=== PARSIFAL ===
=== PHLIQA1 ===
=== PLANES ===
=== POLITICS ===
=== PROMT ===
=== PROTOSYNTEX ===
=== REL ===
=== RENDEZVOUS ===
=== REQUEST ===
=== ROBOT ===
=== RUS ===
=== SAD-SAM ===
=== SHRDLU ===
=== SIR ===
=== SOPHIE ===
=== SPEECHLIS ===
=== STUDENT ===
=== SYNTHEX ===
=== SYSTRAN ===


[http://en.wikipedia.org/wiki/SYSTRAN]
==Examenvragen==
[https://docs.google.com/document/d/1W8Wt2wVeoaHo5DulKSATFhQqBwevDN3YdtIcg5afOzs/edit?usp=sharing 2021 google doc]
===January 2015===


=== TALE-SPIN ===
1. Given three phrases.
=== TAUM-METEO ===
=== TEXT ===
=== TORUS ===
=== TOVNA ===
=== TQA ===
=== UNDERSTAND ===
=== USL ===
=== VERBMOBIL ===
=== WEP/PEP ===
=== EIGEN VONDSTEN ===


  a) Tag all the phrases using the Penn treebank POS tags.
  b) Compute the HMM transition probability matrix (do not apply smoothing).
  c) Compute the HMM emission probability matrix (no smoothin).
  d) Given a new phrase: compute the bigram probabilities for this phrase.
  e) Discuss the results of d). What would happen if we apllied smoothing?


van de nieuwsgroep:
2. Given two phrases:


==Koenraad Heijlen, 2006-06-18==
Fruit flies like a ripe banana.
Examenvragen NLP 2005; zeker geen verrassing t.o.v. de vorige jaren.  
Time flies like an arrow.


* 1. Gegeven 3 teksten (1 correct, 1 ingetypt en 1 door een spellings-checker gehaald met de gevonden fouten gemarkeerd).  
  a) Write down the PCFG for this corpus.
  b) Convert it to CNF.
  c) Apply CKY parsing.
  d) Show the resulting parse trees and their probabilities.
  e) Discuss the results.


Gevraagd:
3. Given a hidden Markov model and a series of observations, compute the most likely joint state of the HMM.
(a) bereken precision en recall
(b) bespreek en wat vind je van het resultaat?


*2. Parsing
4. Given three text snippets, compute the association of two pairs of words using pointwise mutual information association measure and the Lin association measure.


Grammar:
5. Question 5, January 2015.
S ← NP VP                        NP ← DET N
VP ← V NP                        NP ← DET N PP
VP ← V NP PP                      PP ← P NP


Lexicon:
6. You want to build a system which finds companies, brands, names, etc. which are mentioned on web pages. How would you do this? Go step by step, in enough detail, using the techniques mentioned in the course. Mention the bottlenecks involved in the process.
the: DET
boy, girl, mouth: N
on: P
kisses: V, N


Gevraagd:
:Shift reduce parser: maak hiervoor een parser state diagram en oracle;
:Pas het toe op de gegeven zin: “The boy kisses the girl on the mouth”. (of vice versa)


*3. Bespreek 1 van de 3 systemen die je gelezen hebt:
===Januari 2015===
** What kind of nlp system is it?
1) Gegeven een FSA, geef de bijhorende regex en geef 10 strings die door deze FSA gegenereerd kunnen worden. De FSA was net dezelfde als die van op het examen in 2009.
** What is the approach. What are the principles?
** Give Pro’s and Contra’s
** How is this an improvement over older systems; how would newer systems tackle this problem?


==Willem Poorten, 2003-06-21==
2) Je krijgt 2 parse-trees (2 heel eenvoudige zinnen "time flies like an arrow" en "time flies like a banana")
* 1. In class we dealt with ATN’s for NP-structures. Write the network(s) that you need to recognice and analyse (i.e. build the structure of) a PP (Prepositional Phrase); start from the states of the simple RTN for PPs From figure (TD3’)
  a) stel een PCFG hiervan op
REMARK: the NP-ATN is not asked for; you may assume that it is available
  b) zet deze PCFG om naar CNF
  c) pas CKY toe op de zin "time flies like a banana"
  d) teken de mogelijke parse-trees en schrijf bij elk hun probabiliteit


* 2. ab*a*c: transitiediagram maken
3) Gegeven 5 zinnen (zin 1 is dezelfde als zin 3 en zin 2 is dezelfde als zin 4). Het woord "anybody" kwam geen enkele keer voor in de 5 zinnen, het woord "nobody" 3 keer.
a) Met het gebruik van bigrams, bereken de probabiliteit van het woord "nobody" en het woord '"anybody" met behulp van MLE, Laplace smoothing en Good Turing Smoothing.
  b) Vergelijk de drie methodes en geef voor- en nadelen voor elke methode.


* 3. geg:  
4) Theorievraag: de vraag ging over pairwise coreference classifier (discourse analysis) en had twee deelvragen:
  S <- NP VP
  a) hoe worden coreference chains gevormd op basis van het resultaat van de classifier?
VP <- V NP
  b) geef vijf features (gezien tijdens de les) die voor deze classifier gebruikt kan worden
VP <- V NP PP
NP <- DET N
NP <- DET N PP
  PP <- P NP
shift reduce parser: maak hiervoor een parser state diagram en oracle
parse trace NOT asked


*4. reading assignment
5) Theorievraag: gegeven de slides van de laatste les over semantic parsing. Op de slides staat een uitgewerkt voorbeeld van stochastic gradient descent, een optimaliserend algoritme. Gevraagd: leg de verschillende iteraties van het voorbeeld uit en leg uit hoe de parameters in het algoritme aan hun waarde komen.
** kind of nlp system
** approach/principles
** pro en contra
** how is this an improvement over older systems/how would newer systems tackle this problem


==Robby Goetschackx, 2002-02-02==
===Juni 2009===
1) Gegeven een FSA, geef de bijhorende regex. De FSA zag er ongeveer zo uit:
q_0 -> q_1 <-> f <- q_2
        |            ^
        |            |
          - - - - - -
met q_0 -> q_1 = a
    q_1 -> f = b
    q_1 -> q_2 = b
    q_2 -> f = a
    f -> q_1 = a


* 1) error grammar approach en similarity: bespreek voor en nadelen, wat gebruiken in een echt systeem
2) Je krijgt 2 parse-trees (2 heel eenvoudige zinnen "time flies like an arrow" en "time flies
    like a banana")
  a) stel een PCFG hiervan op
  b) zet deze PCFG om naar CNF
  c) pas CKY toe op een zin (juiste zin weet ik niet meer, alleszinds ook iets met "time flies")
  d) teken de mogelijke parse-trees en schrijf bij elk hun probabiliteit


* 2) a(ba)*b*c: deterministisch transitiediagram maken
3) Wat is rhetorical structure theory? Geef relevante voorbeelden, uitleg en toepassingen.


* 3) geg:
4) Gegeven 3 engelstalige zinnen.
S <- NP
  a) bereken de similatiteit tussen 'flight' & 'debris' en 'flight' & 'Airbus' via de lin assoc
NP <- DET NO
      methode
NP <- NP PP
  b) waarvoor kan je deze similariteit zoals gebruiken
NO <-N
NO <- ADJ NO
PP <- PREP NP
shift reduce parser: maak hiervoor een parser state diagram en oracle + pas toe op een gegeven zin


* 4) reading assignment
5) theorie...cant quite remember
** kind of nlp system
 
** approach/principles
6) Stel je moet een e-mail management programma maken dat bestaat uit 2 delen.
** pro en contra
  - Task manager : haalt uit de binnenkomende e-mails alle tasken
** how is this an improvement over older systems/how would newer systemstackle this problem
  - Time manager : bewaart het overzicht over je afspraken en herinnert je aan deadline en tasks
  Hoe zou je dit aanpakken?
 
[[Categorie:mi]]

Huidige versie van 22 jan 2021 16:39

Samenvattingen

Klik hier om de samenvattingen te bekijken

Informatie over het vak

Sinds 2009 wordt dit vak gegeven door Marie-Francine Moens en Vincent Vandeghinste. De inhoud is dan ook compleet veranderd.

Update 2015:

  • Lessen worden afwisselend gegeven door Marie-Francine Moens en Vincent Vandeghinste
  • Lessen duren 1,5 uur
  • Er worden 4 oefenzittingen gegeven

Algemeen

  • Schriftelijk 4u
  • Open boek, gebruik van handboek Jurafsky & Martin, slides, oplossingen oefenzittingen en notities.

Examenvragen

2021 google doc

January 2015

1. Given three phrases. 

 a) Tag all the phrases using the Penn treebank POS tags.
 b) Compute the HMM transition probability matrix (do not apply smoothing).
 c) Compute the HMM emission probability matrix (no smoothin).
 d) Given a new phrase: compute the bigram probabilities for this phrase.
 e) Discuss the results of d). What would happen if we apllied smoothing?

2. Given two phrases:

Fruit flies like a ripe banana. Time flies like an arrow. 

 a) Write down the PCFG for this corpus.
 b) Convert it to CNF.
 c) Apply CKY parsing. 
 d) Show the resulting parse trees and their probabilities.
 e) Discuss the results.

3. Given a hidden Markov model and a series of observations, compute the most likely joint state of the HMM.

4. Given three text snippets, compute the association of two pairs of words using pointwise mutual information association measure and the Lin association measure.

5. Question 5, January 2015.

6. You want to build a system which finds companies, brands, names, etc. which are mentioned on web pages. How would you do this? Go step by step, in enough detail, using the techniques mentioned in the course. Mention the bottlenecks involved in the process.


Januari 2015

1) Gegeven een FSA, geef de bijhorende regex en geef 10 strings die door deze FSA gegenereerd kunnen worden. De FSA was net dezelfde als die van op het examen in 2009.

2) Je krijgt 2 parse-trees (2 heel eenvoudige zinnen "time flies like an arrow" en "time flies like a banana") 

 a) stel een PCFG hiervan op
 b) zet deze PCFG om naar CNF
 c) pas CKY toe op de zin "time flies like a banana"
 d) teken de mogelijke parse-trees en schrijf bij elk hun probabiliteit

3) Gegeven 5 zinnen (zin 1 is dezelfde als zin 3 en zin 2 is dezelfde als zin 4). Het woord "anybody" kwam geen enkele keer voor in de 5 zinnen, het woord "nobody" 3 keer. 

a) Met het gebruik van bigrams, bereken de probabiliteit van het woord "nobody" en het woord '"anybody" met behulp van MLE, Laplace smoothing en Good Turing Smoothing. 
b) Vergelijk de drie methodes en geef voor- en nadelen voor elke methode.

4) Theorievraag: de vraag ging over pairwise coreference classifier (discourse analysis) en had twee deelvragen: 

a) hoe worden coreference chains gevormd op basis van het resultaat van de classifier?
b) geef vijf features (gezien tijdens de les) die voor deze classifier gebruikt kan worden

5) Theorievraag: gegeven de slides van de laatste les over semantic parsing. Op de slides staat een uitgewerkt voorbeeld van stochastic gradient descent, een optimaliserend algoritme. Gevraagd: leg de verschillende iteraties van het voorbeeld uit en leg uit hoe de parameters in het algoritme aan hun waarde komen.

Juni 2009

1) Gegeven een FSA, geef de bijhorende regex. De FSA zag er ongeveer zo uit:

q_0 -> q_1 <-> f <- q_2
        |            ^
        |            |
         - - - - - - 
met q_0 -> q_1 = a
    q_1 -> f = b
    q_1 -> q_2 = b
    q_2 -> f = a
    f -> q_1 = a

2) Je krijgt 2 parse-trees (2 heel eenvoudige zinnen "time flies like an arrow" en "time flies 
   like a banana")
 a) stel een PCFG hiervan op
 b) zet deze PCFG om naar CNF
 c) pas CKY toe op een zin (juiste zin weet ik niet meer, alleszinds ook iets met "time flies")
 d) teken de mogelijke parse-trees en schrijf bij elk hun probabiliteit

3) Wat is rhetorical structure theory? Geef relevante voorbeelden, uitleg en toepassingen.

4) Gegeven 3 engelstalige zinnen.
  a) bereken de similatiteit tussen 'flight' & 'debris' en 'flight' & 'Airbus' via de lin assoc 
     methode
  b) waarvoor kan je deze similariteit zoals gebruiken

5) theorie...cant quite remember

6) Stel je moet een e-mail management programma maken dat bestaat uit 2 delen.
  - Task manager : haalt uit de binnenkomende e-mails alle tasken
  - Time manager : bewaart het overzicht over je afspraken en herinnert je aan deadline en tasks
 Hoe zou je dit aanpakken?
Overgenomen van "http://examens.wina.be/index.php?title=Natural_Language_Processing&oldid=20066"