Отслеживание состояния целеориентированного диалога на основе БЕРТ
Автор: Гуляев П.А., Елистратова Е.А., Коновалов В.П., Куратов Ю.М., Пугачев Л.П., Бурцев М.С.
Журнал: Труды Московского физико-технического института @trudy-mipt
Рубрика: Информатика и управление
Статья в выпуске: 3 (51) т.13, 2021 года.
Бесплатный доступ
Отслеживание состояния диалога (Dialogue State Tracking) является одним из ключевых компонентов виртуальных помощников, таких как Alexa или Siri. Для выполнения различных задач этим помощникам необходимо поддерживать всё большее количество сервисов и API. В этой работе мы представляем систему отслеживания целеориентированного диалога с помощью языковой модели BERT с использованием методов обучения понимания вопросно-ответных систем. На вход модель принимает историю диалогов с описанием выделяемых полей и сервисов, а также возможными значениями полей. Языковая модель позволяет переиспользовать информацию о выделяемых слотах в мультидоменных диалогах и масштабироваться на выделение полей, не участвовавших в процессе обучения. Наша модель достигает общей целевой точности 53,97% для набора данных SGD, что превосходит базовую модель.
Диалоговые системы, состояние диалога, интенты, слоты, берт
Короткий адрес: https://sciup.org/142231492
IDR: 142231492 | DOI: 10.53815/20726759_2021_13_3_48
Список литературы Отслеживание состояния целеориентированного диалога на основе БЕРТ
- Konovalov V. [et al.\. The negochat corpus of human-agent negotiation dialogues // Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16). 2016. P. 3141-3145.
- Guhjaev P. [et al.\. Goal-oriented multi-task bert-based dialogue state tracker // arXiv preprint arXiv:2002.02450. 2020.
- Budzianowski P. [et al.\. MultiWOZ-A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling // arXiv preprint arXiv:1810.00278. 2018.
- Hemphill C.T., Godfrey J. J., Doddington G.R. The ATIS spoken language systems pilot corpus // Speech and Natural Language: Proceedings of a Workshop Held at Hidden Valley, Pennsylvania, June 24-27, 1990. 1990.
- Eric M. [et al.\. Multiwoz 2.1: Multi-domain dialogue state corrections and state tracking baselines. 2019.
- Devlin J. [et al.\. Bert: Pre-training of deep bidirectional transformers for language understanding // arXiv preprint arXiv:1810.04805. 2018.
- Thomson В., Young S. Bavesian update of dialogue state: A POMDP framework for spoken dialogue systems // Computer Speech k, Language. 2010. V. 24, N 4. P. 562-588.
- Wang Z., Lemon O. A simple and generic belief tracking mechanism for the dialog state tracking challenge: On the believabilitv of observed information // Proceedings of the SIGDIAL 2013 Conference. 2013. P. 423-432.
- Williams J.D. Web-stvle ranking and SLU combination for dialog state tracking // Proceedings of the 15th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL). 2014. P. 282-291.
- Henderson M., Thomson В., Williams J.D. The second dialog state tracking challenge // Proceedings of the 15th annual meeting of the special interest group on discourse and dialogue (SIGDIAL). 2014. P. 263-272.
- Chao G.L., Lane I. Bert-dst: Scalable end-to-end dialogue state tracking with bidirectional encoder representations from transformer // arXiv preprint arXiv:1907.03040. 2019.
- Wu C.S. [et al.\. Transferable multi-domain state generator for task-oriented dialogue systems // arXiv preprint arXiv:1905.08743. 2019.
- Rastogi A. [et al.\. Towards scalable multi-domain conversational agents: The schema-guided dialogue dataset // Proceedings of the AAAI Conference on Artificial Intelligence. 2020. V. 34. N 05. P. 8689-8696.
- Rajpurkar P. [et al.}. Squad: 100,000+ questions for machine comprehension of text // arXiv preprint arXiv: 1606.05250. 2016.
- Zilka L., Jurcicek F. Incremental LSTM-based dialog state tracker // 2015 Ieee Workshop on Automatic Speech Recognition and Understanding (Asru). IEEE, 2015. P. 757-762.
- Mrksic N. [et al.}. Neural belief tracker: Data-driven dialogue state tracking // arXiv preprint arXiv:1606.03777. 2016.
- Zhong V., Xiong C., Socher R. Global-locallv self-attentive encoder for dialogue state tracking // Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2018. P. 1458-1467.
- Nouri E., Hosseini-Asl E. Toward scalable neural dialogue state tracking model // arXiv preprint arXiv:1812.00899. 2018.
- Ren L. [et al.}. Towards universal dialogue state tracking // arXiv preprint arXiv:1810.09587. 2018.
- Goel R., Paul S., Hakkani-Tur D. Hvst: A hybrid approach for flexible and accurate dialogue state tracking // arXiv preprint arXiv:1907.00883. 2019.
- Xu P., Hu Q. An end-to-end approach for handling unknown slot values in dialogue state tracking // arXiv preprint arXiv:1805.01555. 2018.
- Peters M.E. [et al.\. Deep contextualized word representations // arXiv preprint arXiv:1802.05365. 2018.
- Loshchilov I., Hutter F. Decoupled weight decay regularization // arXiv preprint arXiv:1711.05101. 2017.
- Wolf T. [et al], HuggingFace's Transformers: State-of-the-art natural language processing // arXiv preprint arXiv:1910.03771. 2019.
