CẢI TIẾN MÔ HÌNH DỊCH MÁY MẠNG NƠ-RON ANH-VIỆT SỬ DỤNG ĐỒ THỊ TRI THỨC
Nội dung chính của bài viết
Tóm tắt
Dịch máy là một vấn đề quan trọng trong lĩnh vực xử lí ngôn ngữ tự nhiên (XLNNTN), với mục tiêu tạo ra các bản dịch từ ngôn ngữ nguồn sang ngôn ngữ đích có ý nghĩa tương đương. Tuy nhiên, các mô hình dịch máy mạng nơ-ron (Neural Machine Translation - NMT) hiện tại gặp khó khăn trong việc xử lí các thực thể, đặc biệt là với các ngôn ngữ thiếu nguồn tài nguyên chất lượng cao như tiếng Việt. Bài báo này đề xuất một phương pháp cải thiện khả năng của các mô hình NMT bằng cách tích hợp thông tin từ đồ thị tri thức (Knowledge Graph - KG) vào mô hình Transformer. Phương pháp này giúp mô hình học được biểu diễn của các thực thể trong quá trình huấn luyện, từ đó tăng cường khả năng dịch tự động khi gặp các thực thể và các yếu tố ngôn ngữ tương tự khác. Kết quả thực nghiệm cho thấy phương pháp đề xuất cải thiện đáng kể chất lượng dịch của mô hình Transformer, đặc biệt trong việc dịch các thực thể. Những kết quả này chứng minh hiệu quả của việc tích hợp đồ thị tri thức vào mô hình NMT và mở ra hướng phát triển mới cho nghiên cứu trong lĩnh vực này.
Từ khóa
BERT, xử lí ngôn ngữ tự nhiên, dịch máy, đồ thị tri thức, dịch máy mạng nơ-ron
Chi tiết bài viết
Tài liệu tham khảo
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. North American Chapter of the Association for Computational Linguistics, 1, 4171-4186. https://doi.org/10.18653/v1/n19-1423
Du, J., Way, A., & Zydro’n, A. (2016). Using BabelNet to improve OOV coverage in SMT. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16) (pp.9-15).
Ehrlinger, L., & Wöß, W. (2016). Towards a definition of knowledge graphs. International Conference on Semantic Systems, 48, 1-4.
Gehring, J., Auli, M., Grangier, D., Yarats, D., & Dauphin, Y. N. (2017, July). Convolutional sequence to sequence learning. In International conference on machine learning (pp.1243-1252).
Guo, J., Zhang, Z., Xu, L., Chen, B., & Chen, E. (2021). Adaptive adapters: An efficient way to incorporate BERT into neural machine translation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 29, 1740-1751. https://doi.org/10.1109/TASLP.2021.3076863
Liu, W., Zhou, P., Zhao, Z., Wang, Z., Ju, Q., Deng, H., & Wang, P. (2020). K-BERT: Enabling language representation with knowledge graph. In 2021 International Conference on Computer Communication and Artificial Intelligence (CCAI), (pp.91-96). https://doi.org/10.1609/aaai.v34i03.5681
Lu, Y., Zhang, J., & Zong, C. (2018). Exploiting knowledge graph in neural machine translation. In China Workshop on Machine Translation (pp.27-38). https://doi.org/10.1007/978-981-13-3083-4_3
Melnyk, I., Dognin, P., & Das, P. (2022). Knowledge graph generation from text. Findings of the Association for Computational Linguistics: EMNLP 2022 (pp.1610-1622).
Moussallem, D., Ngonga Ngomo, A.-C., Buitelaar, P., & Arčan, M. (2019). Utilizing Knowledge Graphs for Neural Machine Translation Augmentation. In Proceedings of the 10th international conference on knowledge capture (pp.139-146). https://doi.org/10.1145/3360901.3364423
Navigli, R., & Ponzetto, S. P. (2010). BabelNet: Building a very large multilingual semantic network. Annual Meeting of the Association for Computational Linguistics (pp.216-225).
Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: A method for automatic evaluation of machine translation. Annual Meeting of the Association for Computational Linguistics (pp.311-318). https://doi.org/10.3115/1073083.1073135
Shi, C., Liu, S., Shi, C., Ren, S., Feng, S., Li, M., Zhou, M., & Sun, X. (2016). Knowledge-Based Semantic Embedding for Machine Translation. Annual Meeting of the Association for Computational Linguistics, 1, 2245-2254. https://doi.org/10.18653/v1/p16-1212
Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. Neural Information Processing Systems, 27, 3104-3112.
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. In Advances in Neural Information Processing Systems, 30. https://doi.org/10.48550/arXiv.1706.03762
Yao, S., Wang, R., Sun, S., Bu, D., & Liu, J. (2020). Joint embedding learning of educational knowledge graphs. In Artificial Intelligence Supported Educational Technologies. Advances in Analytics for Learning and Teaching (pp.1-12). Springer. https://doi.org/10.1007/978-3-030-41099-5_12
Wang, Z., Chen, T., Ren, J., Yu, W., Cheng, H., & Li, L. (2018). Deep reasoning with knowledge graph for social relationship understanding. International Joint Conference on Artificial Intelligence, 1021-1028. https://doi.org/10.24963/ijcai.2018/142