Seminar Text Mining und Anwendungen

Steffen Bickel, Michael Brückner, Laura Dietz, Tobias Scheffer

Lehrinhalte:

Text Mining beschäftigt sich mit Algorithmen, die Wissen aus Textsammlungen gewinnen. Da über 80% aller elektronischen Daten in unstrukturierter textueller Form vorliegen, sind die Methoden des Text Mining von großer Bedeutung. In diesem Seminar wollen wir Methoden und Algorithmen des Text Mining mit Bezug zu konkreten Anwendungsbereichen erarbeiten. Anwendungsbereiche von Text Mining liegen unter anderem in Biomedizin, Dokumentenmanagement, Betrugserkennung, Web-Personalisierung, Marketing, Customer Relationship Management, Recommender Systems. Teilnehmer der Veranstaltung bereiten einen Vortrag zu einem der Themenvorschläge vor und verfassen eine schriftliche Ausarbeitung.

Die Fähigkeit sicher und verständlich Vorträge zu halten, ist sehr wichtig in Studium und Beruf. In vielen Fällen ist es wichtiger wie man etwas vorträgt, als was man vorträgt. Wir wollen diese Fähigkeit gezielt trainieren. Zum einen bekommt ihr bei dem zweiten Treffen mit uns Feedback zu euren Präsentationsfolien, zum anderen bekommt ihr von uns im Anschluss an euren Vortrag Tipps, wie ihr eure Vortragstechnik verbessern könnt.

Das Seminar ergänzt sich gut mit unseren Halbkursen 'Maschinelles Lernen' und 'Maschinelle Sprachverarbeitung'.

Termine:

Wir treffen uns am Freitag den 19.10. um 13 Uhr in Raum RUD 26, 1'307. zur Vorstellung der Themen und Themenvergabe. Wer zur Themenvergabe nicht anwesend sein kann, sollte dies vorher mit uns absprechen.

Unser Zeitplan sieht so aus:

bis 9. November 2007: Erarbeitung der Literatur und Absprache der Gliederung mit dem jeweiligen Betreuer.
bis 23. November 2007: Abgabe der Ausarbeitung in elektronischer Form per Email an euren Betreuer.
ca. 1. Dezember 2007: Verteilung der Koreferatsthemen per Email.
bis 7. Dezember 2007: Durchsprechen der vorläufigen Vortragsfolien mit dem jeweiligen Betreuer.
Blockseminar vorraussichtlich am 10. Januar 2008, 10:45-13:00, in Raum 1.306 im ESZ (Gebäude RUD 26).

Material:

Dokumentvorlagen fuer Ausarbeitung [MS Word] [Latex].
Folien der Einführungsveranstaltung (können auch als Folienvorlage fuer eure Folien verwendet werden): [pdf] [ppt].
Literaturhinweise stehen unten direkt neben dem jeweiligen Thema.

Vorraussichtliche Themen:

Thema	Literatur (Achtung: Manche Links funktionieren nur, wenn ihr von HU-internen IP-Adressen zugreift)
Email-Spam-Filterung auf Content-Ebene	Siefkes et al.: Combining Winnow and Orthogonal Sparse Bigrams for Incremental Spam Filtering. Sculley : Spam Filtering using Inexact String Matching in Explicit Feature Space with On-Line Linear Classifiers Bratko et al.: Spam Filtering Using Statistical Data Compression Models, Bratko et al.: Towards Practical PPM Spam Filtering: Experiments for the TREC 2006 Spam Track Dredze et al.: Learning Fast Classifiers for Image Spam Conference on Email and Anti-Spam 2004-2007
Email-Spam-Filterung auf Graphebene	Golbeck, Hendler: Reputation Network Analysis for Email Filtering Comparative Graph Theoretical Characterization of Networks of Spam and Legitimate Email Scalable and Reliable Collaborative Spam Filters: Harnessing the Global Social Email Networks Boykin, P., & Roychowdhury, V. (2004). Personal email networks: an effective anti-spam tool. Preprint, arXiv id 0402143. Lam and Yeung: A Learning Approach to Spam Detection based on Social Networks
Adversarial Learning für Spam Filterung	Globerson and Roweis: Nightmare at Test Time: Robust Learning by Feature Deletion Lowd and Meek: GoodWord Attacks on Statistical Spam Filters Lowd and Meek: Adversarial Learning Wittel and Wu: On Attacking Statistical Spam Filters Androutsopoulos et al.: A Game Theoretic Model of Spam E-Mailing, Vassilakis et al.: A GameTheoretic Investigation of the Effect of Human Interactive Proofs on Spam Email
Email- und Web-Graph Mining (Social Network Mining, Community Mining)	Tyler, Wilkinson and Huberman: Email as Spectroscopy: Automated Discovery of Community Structure within Organizations Newman, Forrest, Balthrop: Email networks and the spread of computer viruses Culotta et al.: Extracting social networks and contact information from email and the Web Flake et al.: Efficient Identification of Web Communities Flake et al.: Methods for Mining Web Communities: Bibliometric, Spectral, and Flow, 2003 Shetty and Adibi: Discovering Important Nodes through Graph Entropy The Case of Enron Email Database, LinkKDD 2005. Cai et al.: Mining Hidden Community in Heterogeneous Social Networks, LinkKDD 2005.
Probabilistische Themenmodelle zur Auflösung von Autorennamen	Steyvers and Griffiths: Probabilistic topic models Rosen-Zvi et al.: Learning Author Topic Models from Text Corpora Bhattacharya and Getoor: A Latent Dirichlet Model for Unsupervised Entity Resolution
Einflussvorhersage in Dokumentensammlungen	Shaparenko and Joachims: Information Genealogy: Uncovering the Flow of Ideas in Non-Hyperlinked Document Databases Dietz et al.: Unsupervised Prediction of Citation Influences (gute Einführung zu Probabilistic topic models, by Steyvers and Griffiths)
Webseitenranking fuer Suchanfragen anhand von Linkgraphen	L. Page, S. Brin, R. Motwani, T. Winograd, "The PageRank citation ranking: Bringing order to the Web," Jon M. Kleinberg: Authoritative Sources in a Hyperlinked Environment. Stanford Digital Library Technologies Project. Journal of the ACM. 1999. Diligenti et al.: A Unified Probabilistic Framework for Web Page Scoring Systems, 2004. Broder et al.: Efficient PageRank Approximation via Graph Aggregation Nie et al.: Topical Link Analysis for Web Search (nice overview on topical pagerank variants)
Novelty Detection / First Story Detection	Schoelkopf et al.: Support Vector Method for Novelty Detection Canu and Smola: Kernel methods and the exponential family Schoelkopf et al.: Estimating the Support of a High-Dimensional Distribution Manevitz and Yousef: One-Class SVMs for Document Classification Markou and Singh: Novelty Detection: A Review Part 1: Statistical Approaches A Review Part 2: Neural network based approaches Zhang et al.: A Probabilistic Model for Online Document Clustering with Application to Novelty Detection Li, Wang, Wa: A Probabilistic Model for Retrospective News Event Detection Zhang et al.: Novelty and Redundancy Detection in Adaptive Filtering Allan et al.: First Story Detection In TDT Is Hard Stokes and Carthy.: First Story Detection using a Composite Document Representation. Topic Detection and Tracking Project (TDT) TREC Novelty Track Publications [TREC 11][TREC 12] (Dies sind Wettbewerbe, wenn du hier nach den Gewinner-Veröffentlichungen suchst, findest du vermutlich die State-of-the-Art-Verfahren.)
Weblog-Mining	Die folgenden 5 Konferenzen/Workshops bieten einen guten Überblick über die aktuellen Forschungsthemen im Bereich Weblog-Mining, sie können sich von dort einige Papers mit interessanten Algorithmen in Absprache mit uns aussuchen und vorstellen: ICWSM conference WWW Workshop on the Weblogging Ecosystem 2006 2005 EACL 2006 Workshop on Wikis and blogs and other dynamic text sources AAAI 2006 Symposia on Computational Approaches to Analyzing Weblogs Blog Track of Trec 2006, (search for keyword 'blog' in title of publications) Dies sind noch 3 ältere Publikationen Gruhl et al.: The Predictive Power of Online Chatter, KDD 2005. Gruhl et al.: Information Diffusion Through Blogspace, WWW 2004. Yi: Detecting Buzz from Time-Sequenced Document Streams.
Transfer Lernen und Domain Adaptation im Text Mining	With labeled adaptation data: Daume and Marcu: Domain Adaptation for Statistical Classifiers Daume: Frustratingly Easy Domain Adaptation (basiert eigentlich auf Evgeniou and Pontil: Regularized Multi–Task Learning, dort versteht man besser warum das funktionieren kann) Liao et al.: Logistic regression with an auxiliary data source. Marx et al.: Two Algorithms for Transfer Learning. Wu and Dietterich: Improving SVM accuracy by training on auxiliary data sources. Without labeled adaptation data: Blitzer et al.: Domain Adaptation with Structural Correspondence Learning, Blitzer et al.: Biographies, Bollywood, Boom-boxes and Blenders: Domain Adaptation for Sentiment Classification Bickel et al.: Discriminative Learning for Differing Training and Test Distributions
Text Mining mit strukturierten Ein-/Ausgabemodellen	Tsochantaridis et al.: Large Margin Methods for Structured and Interdependent Output Variables ähnlich, zum letzten, Altun et al.: SVM Learning for Interdependent and Structured Output Spaces Cai and Hofmann: Hierarchical Document Categorization with Support Vector Machines
Ranking von Suchergebnissen mit Support Vector Maschinen
Active Learning im Text Mining
Information Retrieval von Multimedia-Inhalten