Seminar Text Mining und Anwendungen

Steffen Bickel, Ulf Brefeld, Michael Brückner, (Tobias Scheffer)

Lehrinhalte:

Text Mining beschäftigt sich mit Algorithmen, die Wissen aus Textsammlungen gewinnen. Da über 80% aller elektronischen Daten in unstrukturierter textueller Form vorliegen, sind die Methoden des Text Mining von großer Bedeutung. In diesem Seminar wollen wir Methoden und Algorithmen des Text Mining mit Bezug zu konkreten Anwendungsbereichen erarbeiten. Anwendungsbereiche von Text Mining liegen unter anderem in Biomedizin, Dokumentenmanagement, Betrugserkennung, Web-Personalisierung, Marketing, Customer Relationship Management, Recommender Systems. Teilnehmer der Veranstaltung bereiten einen Vortrag zu einem der Themenvorschläge vor und verfassen eine schriftliche Ausarbeitung.

Die Fähigkeit sicher und verständlich Vorträge zu halten, ich sehr wichtig in Studium und Beruf. In vielen Fällen ist es wichtiger wie man etwas vorträgt, als was man vorträgt. Wir wollen diese Fähigkeit gezielt trainieren. Zum einen bekommt ihr bei dem zweiten Treffen mit uns Feedback zu euren Präsentationsfolien, zum anderen machen wir eine kurze Videoanalyse im Anschluss an jeden Vortrag. Ihr bekommt dabei von uns Tipps, wie ihr eure Vortragstechnik verbessern könnt.

Termine:

Wir treffen uns am Mittwoch den 19.10. von 17:00 bis 19:00 Uhr in Raum RUD 25, 3.113 zur Einführung in das Thema und zur Themenvergabe. Bitte meldet euch vorher bei Goya an. Wer zur Themenvergabe nicht anwesend sein kann, sollte dies vorher mit uns absprechen.

Unser Zeitplan sieht so aus:

bis 1. Dezember 2005: Erarbeitung der Literatur und Absprache der Gliederung mit dem jeweiligen Betreuer.
bis 16. Januar 2006: Abgabe der Ausarbeitung in elektronischer Form per Email an euren Betreuer.
ca. 19. Januar 2006: Verteilung der Koreferatsthemen per Email.
bis 31. Januar 2006: Durchsprechen der vorläufigen Vortragsfolien mit dem jeweiligen Betreuer.
Blockseminar am 8. und 9. Februar 2006 im Humboldt-Kabinett (Gebäude RUD 25, 1. Stock zwischen Haus 3 und 4).

Material:

Dokumentvorlagen fuer Ausarbeitung [MS Word] [Latex].
Folien der Einführungsveranstaltung (können auch als Folienvorlage fuer eure Folien verwendet werden): [pdf] [ppt].
Literaturhinweise stehen unten direkt neben dem jeweiligen Thema.

Vorraussichtliche Themen:

Thema	Literatur (Achtung: Manche Links funktionieren nur, wenn ihr von HU-internen IP-Adressen zugreift und für manche benötigt ihr das in der Einführungsveranstaltung verteilte Passwort.)
Email-Spam-Filterung auf Textebene	Siefkes et al.: Combining Winnow and Orthogonal Sparse Bigrams for Incremental Spam Filtering. Spam Deobfuscation using a Hidden Markov Model GoodWord Attacks on Statistical Spam Filters Bickel and Scheffer: Mining Email Data. 2004. (kurze Uebersicht, evtl. veraltet) Conference on Email and Anti-Spam 2004 2005
Email-Spam-Filterung auf Graphebene	Golbeck, Hendler: Reputation Network Analysis for Email Filtering Comparative Graph Theoretical Characterization of Networks of Spam and Legitimate Email Scalable and Reliable Collaborative Spam Filters: Harnessing the Global Social Email Networks Boykin, P., & Roychowdhury, V. (2004). Personal email networks: an effective anti-spam tool. Preprint, arXiv id 0402143.
Email- und Web-Graph Mining (Social Network Mining, Community Mining)	Tyler, Wilkinson and Huberman: Email as Spectroscopy: Automated Discovery of Community Structure within Organizations Newman, Forrest, Balthrop: Email networks and the spread of computer viruses Culotta et al.: Extracting social networks and contact information from email and the Web Flake et al.: Efficient Identification of Web Communities Flake et al.: Methods for Mining Web Communities: Bibliometric, Spectral, and Flow, 2003 Shetty and Adibi: Discovering Important Nodes through Graph Entropy The Case of Enron Email Database, LinkKDD 2005. Cai et al.: Mining Hidden Community in Heterogeneous Social Networks, LinkKDD 2005.
Email Management (Email Verwaltung, Email-Beantwortung)	Email Task Management: An Iterative Relational Learning Approach Bickel and Scheffer: Learning from Message Pairs for Automatic Email Answering. European Conference on Machine Learning. 2004. Bickel, Haider and Scheffer: Predicting Sentences using N-Gram Language Models, Proceedings of the Conference on Empirical Methods in Natural Language Processing, 2005 emailresearch.org
Named-Entity-Recognition in Biomedizinischen Texten (bitte Rücksprache mit Ulf für die evtl. Aufteilung in 2 Unterthemen)	De Bruijn, B. and Martin, J.: Literature Mining in Molecular Biology (Einfuehrung) Hakenberg et al.: Systematic Feature Evaluation for Gene Name Recognition (interessantes Verfahren und einige Basisreferenzen) Finn and Kushmerick: Multi-level Boundary Classification for Information Extraction BioCreative-Wettbewerbsbeitraege (Task 1A war Named-Entity-Recognition)
Fact-Extraction aus Biomedizinischen Texten (Fokus auf Identifizierung von Protein-Protein Interaktionen)	De Bruijn, B. and Martin, J.: Literature Mining in Molecular Biology (Einfuehrung) diverse Papers von Blaschke et al. [99] [01a] [01b] [01c] [02] Temkin and Gilder: Extraction of protein interaction information from unstructured text using a context-free grammar
Homonymerkennung - Word Sense Disambiguation	Manning and Schuetze: Foundations of Statistical Natural Language Processing. Kapitel 7. (Buch bei uns ausleihbar) Stokoe et al.: Word Sense Disambiguation in Information Retrieval Revisited. SIGIR 2003.
Synonymerkennung - Automatic Thesaurus Generation	Monica Lassi: Automatic thesaurus construction Lin et al.: Identifying Synonyms among Distributionally Similar Words Chen et al.: Automatic Thesaurus Generation for an Electronic Community System Kageura et al.: Automatic Thesaurus Generation through Multiple Filtering Chen et al.: Building a Web Thesaurus from Web Link Structure Lin, D.: Automatic Retrieval and Clustering of Similar Words.
Hypernymerkennung - Automatische Generierung von Begriffshierarchien	Hearst, Marti: Automatic Acquisition of Hyponyms from Large Text Corpora Sara Rydin: Building a hyponymy lexicon with hierarchical structure Sombatsrisomboon et al.: Acquisition of Hypernyms and Hyponyms from the WWW Lawrie and Croft: Discovering and Comparing Topic Hierarchies Morin and Jacquemin: Automatic Acquisition and Expansion of Hypernym Links Xu et al.: Automatic Acquisition of Domain Relevant Terms and their Relations with Bootstrapping Snow and Patel: Automatic Hypernym Classification
Plagiaterkennung - Authorship Attribution - Style Mining	Authorship Attribution Reading List Paul Clough: Plagiarism in natural and programming languages: an overview of current tools and technologies IJCAI'03 Workshop on Computational Approaches to Style Analysis and Synthesis [Papers]
Text Clustering fuer Websuchanfragen (z.B. www.vivisimo.com)	O. Zamir and O. Etzioni, Grouper: A dynamic clustering interface to web search results J. Stefanowski, D. Weiss. Carrot2 and Language Properties in Web Search Results Clustering Dell Zhang, Yisheng Dong. Semantic, Hierarchical, Online Clustering of Web Search Results Zeng et al.: Learning to Cluster Web Search Results Wang and Kitsuregawa: Evaluating contents-link coupled web page clustering for web search results, CIKM 2002.
Webseitenranking fuer Suchanfragen anhand von Linkgraphen	L. Page, S. Brin, R. Motwani, T. Winograd, "The PageRank citation ranking: Bringing order to the Web," Jon M. Kleinberg: Authoritative Sources in a Hyperlinked Environment. Stanford Digital Library Technologies Project. Journal of the ACM. 1999. Diligenti et al.: A Unified Probabilistic Framework for Web Page Scoring Systems, 2004.
Link Spam-Erkennung und -Unterdrückung	Fetterly et al.: Spam, Damn Spam, and Statistics: Using Statistical Analysis to Locate Spam Web Pages. 2004. Drost and Scheffer: Thwarting the nigritude ultramarine: learning to identify link spam. ECML 2005. Wu and Davison: Identifying Link Farm Spam Pages. WWW 2005. Gyongyi et al.: Combating web spam with TrustRank. VLDB 2004. AIRWeb 2005, First International Workshop on Adversarial Information Retrieval on the Web
Text Mining fuer Recommender Systems	Learning for Recommender Systems Billsus and Pazzani: Learning Collaborative Information Filters, 1998. Balabanovic and Shoham. Fab: Content-based, collaborative recommendation. 1997. Melville et al.: Content-Boosted Collaborative Filtering, SIGIR 2001. Adomavicius, Sankaranarayanan, Sen, Tuzhilin: Incorporating Contextual Information in Recommender Systems Using a Multidimensional Approach
Opinion Mining	Choi et al.: Identifying Sources of Opinions with Conditional Random Fields and Extraction Patterns, EMNLP 2005. (super Literaturübersicht) Bing Liu et al.: Opinion Observer: Analyzing and Comparing Opinions on the Web, WWW 2005. Dave, Lawrence and Pennock: Mining the Peanut Gallery: Opinion Extraction and Semantic Classification of Product Reviews Hurst and Nigam: Retrieving Topical Sentiments from Online Document Collections Nigam and Hurst: Towards a Robust Metric of Opinion Miles Efron: Cultural Orientation: Classifying Subjective Documents by Cociation Analysis Hu and Liu: Mining Opinion Features in Customer Reviews
Novelty Detection / First Story Detection	Zhang et al.: Novelty and Redundancy Detection in Adaptive Filtering Allan et al.: First Story Detection In TDT Is Hard Stokes and Carthy.: First Story Detection using a Composite Document Representation. Allan et al.: Topic Detection and Tracking Pilot Study Final Report Topic Detection and Tracking Project (TDT) TREC Novelty Track Publications [TREC 11][TREC 12] (Dies sind Wettbewerbe, wenn du hier nach den Gewinner-Veröffentlichungen suchst, findest du vermutlich die State-of-the-Art-Verfahren.)
Entdeckung neuer Themen in verlinkten Textdaten (WWW)	Matsumura et al.: Discoverey of Emerging Topics between Communities on WWW Matsumura et al.: Future Directions of Communities on the Web Matsumura et al.: Discovering Seeds of New Interest Spread from Premature Pages Cited by Multiple Communities Jatowt et al.: query-based discovering of popular changes in www Jatowt et al.: Change Summarization in Web Collections Bun and Ishizuka: Emerging Topic Tracking System
BLOG-Mining	Gruhl et al.: The Predictive Power of Online Chatter, KDD 2005. Gruhl et al.: Information Diffusion Through Blogspace, WWW 2004. Yi: Detecting Buzz from Time-Sequenced Document Streams. Workshop on the Weblogging Ecosystem: Aggregation, Analysis and Dynamics, 2005. Hier bitte unbedingt noch mehr recherchieren, ob es da vielleicht noch andere Veröffentlichungen zu dem Thema gibt, z.B. auch "Related Work" der obigen Papers lesen.
Text Summarization	Da es zu diesem Thema sehr viel Literatur gibt, könnt ihr selbst festlegen, wo ihr einen Schwerpunkt legen möchtet und mit welchen Veröffentlichungen ihr euch beschäftigen möchtet. Gute Ausgangspunkte sind die folgenden Links. DUC ist ein Summarization-Wettbewerb, bei dem jeder Teilnehmer auch seine Algorithmen veröffentlicht, wenn ihr euch da die Gewinner-Veröffentlichungen anseht, findet ihr vermutlich die State-of-the-Art-Verfahren. www.summarization.com Document Understanding Conferences (DUC) DUC 2003 Overview
Question Answering	TREC Question-Answering (Overview) TREC Question-Answering Track Publications Pasca and Harabagiu: Answer Mining from On-Line Documents