Masterseminar WS2024
Conversational AI. Dialogsysteme, Bots, Assistenten.
Veranstalter: Christoph Ringlstetter
Zeit/Ort : Do. 16:15 bis 17:45 Entweder Oettingenstr. 67, Raum 057 Erdgeschoss bzw. nach Ankündigung virtuell per Zoom
<
>
Sprechstunde : nach Vereinbarung per Zoom.
Im Seminar werden detailliert die Grundlagen und jüngere Entwicklungen zur sogenannten Conversational AI besprochen. Entlang der Hauptkomponenten von Dialogsystemen, Eingabekanal, Sprachverstehen, Dialogmanagement, Sprachgenerierung, und Ausgabekanal werden Varianten, Frameworks und Implementierungsstrategien vorgestellt. Dabei werden neben den theoretischen Konzepten sowohl neuere Ergebnisse der Forschung als auch die Entwicklungen der letzten Jahre in der Industrie berücksichtigt. Insbesondere sind natürlich auch die allerjüngsten Entwicklungen im Bereich generative AI zu betrachten. Hier wird das Seminar herausarbeiten welche Methoden durch den Durchbruch der General Pretrained Transformers vor allem in der für Konversation getunten Form obsolet werden, welche neuen Möglichkeiten sich erschließen. Da Einiges dafür spricht, dass wir hier ZeitzeugInnen einer wissenschaftlichen Revolution sind, sollen auch wissenschatstheoretische, gesllschaftliche, juristische und ethische Aspekte betrachtet werden.
Interessante Links
Voraussetzungen:
Die Veranstaltung richtet sich an die Masterstudierenden der Computerlinguistik.
Für diese Veranstaltung muss man sich anmelden. Teilnahmevoraussetzung ist die
Übernahme eines Vortrags. Die Teilnehmenr sollten die Kurse zur Computerlinguistik aus dem Bachelorstudium besucht haben.
Scheinkriterien
Masterschein benotet mit 6 ECTS nach Referat 30 min und Seminararbeit (auch als Konvolut zu Literaturthemen möglich) bzw. praktischer Implementierung sowie ggf. Erledigung der Aufgaben.
Literatur für die Sitzungen
Sitzung_1: Lesen Sie Vasant Dhar: The Paradigm Shifts in Artificial Intelligence (Besprechungstermin: 24.10. 16:15).
Sitzung_2: Lesen Sie Sebastien Bubeck et al.:Sparks of Artificial General Intelligence:
Early experiments with GPT-4 (Besprechungstermin: 31.10. 16:15).
Sitzung_3: Lesen Sie das Kapitel aus Jurafsky/Martin zu LLMs
Kap10 (Besprechungstermin: 06.11. 16:15).
Lesen Sie das Kapitel aus Jurafsky/Martin zu Transformern
Kap9 (Besprechungstermin: 06.11. 16:15).
Sitzung_4: Lesen Sie das Kapitel aus Jurafsky/Martin zu Prompting<\
a href="https://web.stanford.edu/~jurafsky/slp3/12.pdf"> Kap12 (Besprechung\
stermin: 21.11. 16:15).
Sitzung_5: Lesen Sie das Survey Paper zu RAG von Yunfan Gao et al.
Retrieval-Augmented Generation for Large
Language Models: A Survey (Besprechung\
stermin: 28.11. 16:15).
Seminarplan (vorläufig)
Hier der vorläufige Seminarplan, der noch ständig ergänzt wird und den Sie auch durch eigene Ideen anreichern können
Sitzungen
Sitzung_0 Organisation
Sitzung_1 Einführung
Sitzung_2 LLMs
Sitzung_3 LANGCHAIN
Sitzung_4 Prompting
Sitzung_5 Retrieval Augmented Generation
Sitzung_6 Memory
Sitzung_7 Vertical Models
Sitzung_8 Agents
Sitzung_8 Agents
Referat zu Prompting
Referat zu RAGS
Referat zu Memory
Referat zu Vertical Models
Referat zu Agents
Referat zu TTS
Referat zu neuronalen Methoden für Conversational AI
Referat zu Deep Learning Methoden im Rasa Framewok
Referat zu DSGVO und Privacy
Literature
Overview
Michael F. McTear, 2002: Spoken dialogue technology: enabling the conversational user interface.
Tomáš Zemčík, 2019: A brief history of chatbots
Jurafsky/Martin Ch.24
Hongshen Chen, Xiaorui Liu, Dawei Yin, Jiliang Tang, 2018: A Survey on Dialogue Systems: Recent Advances and New Frontiers
Language Understanding and LLMs
Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder Zihao Fu et al.
Evaluation of OpenAI o1: Opportunities and Challenges of AGI
Tianyang Zhong et al.
Modelling Emotions, Empathetic Dialogue Systems
Yukun Ma,Khanh Linh Nguyen a , Frank Z. Xing b , Erik Cambria: A survey on empathetic dialogue systems
ASR and TTS
Jurafsky/Martin Automatic Speech Recognition and Text to Speech
Naihan Li, Shujie Liu, Yanqing Liu, Sheng Zhao, Min Liu: Neural Speech Synthesis with Transformer Network
Karita, Shigeki; Chen, Nanxin; Hayashi, Tomoki; Hori, Takaaki; Inaguma, Hirofumi; Jiang, Ziyan;Someki, Masao; Enrique Yalta Soplin, Nelson; Yamamoto, Ryuichi; Wang, Xiaofei; Watanabe,
Shinji; Yoshimura, Takenori; Zhang, Wangyou: A Comparative Study on Transformer Vs RNN in Speech Applications
Design and Evaluation
Joseph Seering,Michal Luria, Geoff F Kaufman,Jessica Hammer:Beyond Dyadic Interactions: Considering Chatbots as Community Members
Jan Deriu, Alvaro Rodrigo, Arantxa Otegi, Guillermo Echegoyen, Sophie Rosset, Eneko Agirre, Mark Cieliebak: Survey on Evaluation Methods for Dialogue Systems
Neural Approaches for Modelling Dialogue Systems
Neural Approaches to Conversational AI Question Answering, Task-Oriented Dialogues and Social Chatbots: Jianfeng Gao, Michel Galley, Lihong Li
Training Neural Response Selection for Task-Oriented Dialogue Systems:Matthew Henderson, Ivan Vulić, Daniela Gerz, Iñigo Casanueva, Paweł Budzianowski, Sam Coope, Georgios Spithourakis, Tsung-Hsien Wen, Nikola Mrkšić, Pei-Hao Su
Wizard of Wikipedia: Knowledge-Powered Conversational agents: Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, Jason Weston
Dialogue Transformers:Vladimir Vlasov, Johannes E. M. Mosig, Alan Nichol
Chatbot Frameworks
Rasa: Open Source Language Understanding and Dialogue Management: Tom Bocklisch, Joey Faulkner, Nick Pawlowski, Alan Nichol
Building Chatbots with Zero Experience: Globalme
Ethics, Privacy
Fred H. Cate & Rachel Dockery1:Artificial Intelligence and Data Protection:
Observations on a Growing Conflict "
Questions and Answers Bots
Chit Chat Bots
Reinforcement Learning
Brain Computer Interface
Elon Musk, Neurolink: An integrated brain-machine interface platform with thousands of channels "
Claudia Knops: Brain-Machine-Interfaces – Gehirn und Maschine verknüpft"
Moses, D.A., Leonard, M.K., Makin, J.G. et al.: Real-time decoding of question-and-answer speech dialogue using human cortical activity
Allen Coin , Megan Mulder and Veljko Dubljevic:Ethical Aspects of BCI Technology: What Is the State
of the Art?
Other
Books
McTear, Michael, Callejas, Zoraida, Griol Barres, David, 2016: The Conversational Interface Talking to Smart Devices