Seminar 1913

Methoden des Maschinellen Lernens
mit Anwendungen für die semantische Kategorisierung

Wintersemester 2005/2006

Kurzbeschreibung

Das Seminar stellt grundlegende Methoden des Maschinellen Lernens vor, die bei der semantischen Kategorisierung von Texten und Dokumenten sowie von Wörtern und Begriffen Einsatz finden. Die semantische Kategorisierung von Texten ist wichtiger Bestandteil der intelligenten Dokumentenverwaltung, die semantische Kategorisierung von Begriffen ist zentral für den Aufbau von Computerlexika und Begriffsontologien. Zu den im Seminar behandelten Lernverfahren zählen unter anderem Entscheidungsbäume, Bayessche Klassifikatoren und Clustering-Verfahren. Konkreten Anwendungsszenarien im Bereich der semantischen Kategorisierung wird ausreichend Raum eingeräumt.

Termine

Themen

1. Entscheidungsbäume und Maximum-Entropy-Verfahren mit Anwendungen für die Textkategorisierung
   
   Literatur:
   • T. Mitchell (1997): Machine Learning. McGraw Hill.
     [Kapitel 3: Decision Trees]
   • C. D. Manning, H. Schütze (1999): Foundations of Statistical Natural Language Processing. MIT Press.
     [Abschnitte 16.1 (Decision Trees) und 16.2 (Maximum Entropy Modeling)]
   • J. Kazama, J. Tsujii (2005): Maximum Entropy Models with Inequality Constraints: A Case Study on Text Categorization. Machine Learning 60:159-194


2. Anwendungen der Lernarchitektur SNoW für die Eigennamen- und Frageklassifikation
   
   Literatur:
   • X. Li, P. Morie, D. Roth (2005): Semantic Integration in Text: From Ambiguous Names to Identifiable Entities. AI Magazine, Special Issue on Semantic Integration, pp. 45-68.
   • X. Li, D. Roth (2002): Learning Question Classifiers. In: Proceedings of the 19th International Conference on Computational Linguistics, pp. 556-562.
   • A. Carlson, C. Cumby, N. Rizzolo, J. Rosen, D. Roth (2004): SNoW User Manual.
   • T. Mitchell (1997): Machine Learning. McGraw Hill.
     [Abschnitt 4.4: Perceptrons]


3. Case-Based Reasoning mit Anwendungen auf textuelle Dokumente
   
   Literatur:
   • M. M. Richter (1998): Introduction. In: M. Lenz, B. Bartsch-Spörl, H.-D. Burkhard, S. Wess (eds.), Case-Based Reasoning Technology: From Foundations to Applications, Lecture Notes in Computer Science 1400, Springer, pp. 1-15
   • M. Lenz, A. Hübner, M. Kunze (1998): Textual CBR. In: M. Lenz, B. Bartsch-Spörl, H.-D. Burkhard, S. Wess (eds.), Case-Based Reasoning Technology: From Foundations to Applications, Lecture Notes in Computer Science 1400, Springer, pp. 115-138
   • M. Healy, S. J. Delany, A. Zamolotskikh (2005): An Assessment of Case Based Reasoning for Short Text Message Classification. In: N. Creaney (ed.), Proceedings of the 16th Irish Conference on Artificial Intelligence and Cognitive Science (AICS '05), pp. 257-266.
   • S. J. Delany, P. Cunningham, L. Coyle (2004): An Assessment of Case-Based Reasoning for Spam Filtering (Extended Version). In: L. McGinty & B. Crean (eds.), Proceedings of 15th Irish Conference on Artificial Intelligence and Cognitive Science (AICS '04), pp. 9-18.


4. Clustering mittels Expectation-Maximation mit Anwendungen für den Aufbau semantischer Lexika
   
   Literatur:
   • M. Rooth, S. Riezler, D. Prescher, G. Carroll, F. Beil (1999): Inducing a Semantically Annotated Lexicon via EM-Based Clustering, In: Proceedings of the 37th Annual Meeting of the ACL.
   • D. Prescher (2001): EM-basierte maschinelle Lernverfahren für natürliche Sprachen. Dissertation, Universität Stuttgart.
     [Kapitel 2 und 3]
   • C. D. Manning, H. Schütze (1999): Foundations of Statistical Natural Language Processing. MIT Press.
     [Abschnitt 14.2: Non-Hierarchical Clustering]
   • T. Mitchell (1997): Machine Learning. McGraw Hill.
     [Abschnitt 6.12: The EM Algorithm]


5. Support-Vector-Machinen mit Anwendungen für die Textklassifikation
   
   Literatur:
   • E. Leopold, J. Kindermann (2002): Text Categorization with Support Vector Machines. How to Represent Texts in Input Space? Machine Learning, 46:423­444.
   • T. Joachims (2001): A Statistical Learning Model of Text Classification for Support Vector Machines. In: Proceedings of SIGIR'01, September 9-12, 2001, New Orleans.
   • C. Burgess (1998): A Tutorial on Support Vector Machines for Pattern Recognition. Data Mining and Knowledge Discovery 2:121-167.
   • B. Schölkopf, A. Smola (2002): Learning with Kernels - Support Vector Machines, Regularization, Optimization and Beyond. MIT Press.
     [Kapitel 1: A Tutorial Introduction]


6. Anwendungen der Formalen Begriffsanalyse für den textbasierten Aufbau von Konzepthierarchien
   
   Literatur:
   • P. Cimiano, A. Hotho, S. Staab (2005): Learning Concept Hierarchies from Text Corpora using Formal Concept Anaylsis. Journal of Artificial Intelligence Research (JAIR) 24:305-339.
   • P. Cimiano, G. Stumme, A. Hotho, J. Tane (2004): Conceptual Knowledge Processing with Formal Concept Analysis and Ontologies. In: Proceedings of the The Second International Conference on Formal Concept Analysis (ICFCA 04), pp. 189-207. Springer.
   • B. Ganter, R. Wille (1996): Formale Begriffsanalyse. Springer.
     [Kapitel 1 und 2]
     (Siehe auch die Homepage zur Formalen Begriffsanalyse.)


7. Bootstrapping-Ansätze für den Aufbau semantischer Lexika
   
   Literatur:
   • E. Riloff, J. Shepherd (1999): A Corpus-Based Bootstrapping Algorithm for Semi-Automated Semantic Lexicon Construction, Journal of Natural Language Engineering, Vol. 5, No. 2, pp. 147-156.
   • M. Thelen, E. Riloff (2002): A Bootstrapping Method for Learning Semantic Lexicons using Extraction Pattern Contexts, In: Proceedings of the 2002 Conference on Empirical Methods in Natural Language Processing (EMNLP 2002).
   • T. Baldwin (2005): Bootstrapping Deep Lexical Resources: Resources for Courses, In: Proceedings of the ACL-SIGLEX 2005 Workshop on Deep Lexical Acquisition, Ann Arbor, USA, pp. 67-76.
   • Ergänzungslektüre:
     C. D. Manning, H. Schütze (1999): Foundations of Statistical Natural Language Processing. MIT Press.
     [Kapitel 8: Lexical Acquisition]
   
   
8. Vektorraummodelle mit Anwendungen im Textmining und Informationretrieval
   
   Literatur:
   • M. W. Berry, Z. Drmac, E. R. Jessup (1999): Matrices, Vector Spaces, and Information Retrieval. SIAM Review, 41(2):335-362.
   • C. D. Manning, H. Schütze (1999): Foundations of Statistical Natural Language Processing. MIT Press.
     [Abschnitte 15.1, 15.2 und 15.3]
   • Ergänzungslektüre:
     A. Hotho, A. Nürnberger, G. Paaß (2005): A Brief Survey of Text Mining. LDV Forum, 20(1):19-62


9. Latent Semantic Analysis
   
   Literatur:
   • S. Deerwester, S. Dumais, G. Furnas, T. Landauer, R. Harshman (1990): Indexing by Latent Semantic Analysis. Journal of the American Society for Information Sciences, 41:391-447.
   • T. Landauer, P. Foltz, D. Laham (1998): Introduction to LSA. Discourse Processes, 25:259-284.
   • P. Nakov, E. Valchanova, G. Angelova (2002): Towards Deeper Understanding of LSA Performance. In: Proceedings of Recent Advances in Natural Language Processing. pp. 311-318.
   • C. D. Manning, H. Schütze (1999): Foundations of Statistical Natural Language Processing. MIT Press.
     [Abschnitt 15.4: Latent Semantic Indexing]