CẢI TIẾN MÔ HÌNH DỊCH MÁY MẠNG NƠ-RON ANH-VIỆT SỬ DỤNG ĐỒ THỊ TRI THỨC
Main Article Content
Abstract
Dịch máy là một vấn đề quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên (XLNNTN), với mục tiêu tạo ra các bản dịch từ ngôn ngữ nguồn sang ngôn ngữ đích có ý nghĩa tương đương. Tuy nhiên, các mô hình dịch máy mạng nơ-ron (Neural Machine Translation - NMT) hiện tại gặp khó khăn trong việc xử lý các thực thể, đặc biệt là với các ngôn ngữ thiếu nguồn tài nguyên chất lượng cao như tiếng Việt. Bài báo này đề xuất một phương pháp cải thiện khả năng của các mô hình NMT bằng cách tích hợp thông tin từ đồ thị tri thức (Knowledge Graph - KG) vào mô hình Transformer. Phương pháp này giúp mô hình học được biểu diễn của các thực thể trong quá trình huấn luyện, từ đó tăng cường khả năng dịch tự động khi gặp các thực thể và các yếu tố ngôn ngữ tương tự khác. Kết quả thực nghiệm cho thấy phương pháp đề xuất cải thiện đáng kể chất lượng dịch của mô hình Transformer, đặc biệt trong việc dịch các thực thể. Những kết quả này chứng minh hiệu quả của việc tích hợp đồ thị tri thức vào mô hình NMT và mở ra hướng phát triển mới cho nghiên cứu trong lĩnh vực này.
Keywords
Dịch máy, Dịch máy mạng nơ-ron, Bert, Đồ thị tri thức, Xử lý ngôn ngữ tự nhiên
Article Details
References
Chuang Shi, Shi, C., Shujie Liu, Chen Shi, Chen Shi, Shuo Ren, Liu, S., Ren, S., Shi Feng, Mu Li, Feng, S., Li, M., Ming Zhou, Zhou, M., Xu Sun, Ming Zhou, Ming Zhou, Zhou, M., Xu Sun, … Wang, H. (2016). Knowledge-Based Semantic Embedding for Machine Translation. Annual Meeting of the Association for Computational Linguistics, 1, 2245–2254. https://doi.org/10.18653/v1/p16-1212
Diego Moussallem, Moussallem, D., Axel-Cyrille Ngonga Ngomo, Ngomo, A.-C. N., Paul Buitelaar, Buitelaar, P., Mihael Arčan, & Arcan, M. (2019). Utilizing Knowledge Graphs for Neural Machine Translation Augmentation. International Conference on Knowledge Capture, 139–146. https://doi.org/10.1145/3360901.3364423
Diego Moussallem, Moussallem, D., Mihael Arčan, Arcan, M., Axel-Cyrille Ngonga Ngomo, Ngomo, A.-C. N., Paul Buitelaar, & Buitelaar, P. (2019). Augmenting Neural Machine Translation with Knowledge Graphs. arXiv: Computation and Language.
Ilya Sutskever, Sutskever, I., Oriol Vinyals, Vinyals, O., Quoc V. Le, & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. Neural Information Processing Systems, 27, 3104–3112.
Jacob Devlin, Ming-Wei Chang, Kenton Lee, & Kristina Toutanova. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. North American Chapter of the Association for Computational Linguistics. https://doi.org/10.18653/v1/n19-1423
Jinhua Du, Du, J., Andy Way, Way, A., Andrzej Zydro’n, & Zydro’n, A. (2016). Using BabelNet to improve OOV coverage in SMT. International Conference on Language Resources and Evaluation, 9–15.
Jinhua Zhu, Zhu, J., Yingce Xia, Xia, Y., Lijun Wu, Wu, L., Di He, He, D., Tao Qin, Qin, T., Tao Qin, Tao Qin, Tao Qin, Tian, Q., Wengang Zhou, Wengang Zhou, Zhou, W., Houqiang Li, Li, H., … Tie-Yan Liu. (2020). Incorporating BERT into Neural Machine Translation. arXiv: Computation and Language.
Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, & Yann Dauphin. (2017). Convolutional Sequence to Sequence Learning. International Conference on Machine Learning.
Kishore Papineni, Papineni, K., Salim Roukos, Roukos, S., Todd J. Ward, Ward, T., Wei-Jing Zhu, & Zhu, W.-J. (2002). Bleu: A Method for Automatic Evaluation of Machine Translation. Annual Meeting of the Association for Computational Linguistics, 311–318. https://doi.org/10.3115/1073083.1073135
Lisa Ehrlinger, Ehrlinger, L., Wolfram Wöß, & Wöß, W. (2016). Towards a Definition of Knowledge Graphs. International Conference on Semantic Systems.
Melnyk, Igor, Igor Melnyk, Dognin, Pierre, Pierre Dognin, Das, Payel, & Payel Das. (2022). Knowledge Graph Generation From Text. Cornell University - arXiv. https://doi.org/10.48550/arxiv.2211.10511
Nicolas Carion, Carion, N., Francisco Massa, Massa, F., Gabriel Synnaeve, Synnaeve, G., Nicolas Usunier, Usunier, N., Alexander Kirillov, Kirillov, A., Sergey Zagoruyko, & Zagoruyko, S. (2020). End-to-End Object Detection with Transformers. European Conference on Computer Vision, 213–229. https://doi.org/10.1007/978-3-030-58452-8_13
Roberto Navigli, Navigli, R., Simone Paolo Ponzetto, & Ponzetto, S. P. (2010). BabelNet: Building a Very Large Multilingual Semantic Network. Annual Meeting of the Association for Computational Linguistics, 216–225.
Siyu Yao, Yao, S., Siyu Yao, Ruijie Wang, Ruijie Wang, Wang, R., Shen Sun, Sun, S., Shen Sun, Derui Bu, Bu, D., Jun Liu, & Liu, J. (2020). Joint Embedding Learning of Educational Knowledge Graphs. arXiv: Artificial Intelligence, 209–224. https://doi.org/10.1007/978-3-030-41099-5_12
Weijie Liu, Liu, W., Weijie Liu, Peng Zhou, Zhou, P., Zhe Zhao, Zhao, Z., Zhiruo Wang, Wang, Z., Qi Ju, Ju, Q., Haotang Deng, Deng, H., Wang, P., Ping Wang, Ping Wang, Wang, P., & Wang, P. (2020). K-BERT: Enabling Language Representation with Knowledge Graph. AAAI Conference on Artificial Intelligence, 34(3), 2901–2908. https://doi.org/10.1609/aaai.v34i03.5681
Yu Lu, Lu, Y., Jiajun Zhang, Jiajun Zhang, Jiajun Zhang, Zhang, J., Chengqing Zong, & Zong, C. (2018). Exploiting Knowledge Graph in Neural Machine Translation. Machine Translation, 27–38. https://doi.org/10.1007/978-981-13-3083-4_3
Zhouxia Wang, Wang, Z., Tianshui Chen, Chen, T., Jimmy Ren, Ren, J., Weihao Yu, Yu, W., Hui Cheng, Cheng, H., Hui Cheng, Hui Cheng, Cheng, H., Lin Li, & Lin, L. (2018). Deep Reasoning with Knowledge Graph for Social Relationship Understanding. International Joint Conference on Artificial Intelligence, 1021–1028. https://doi.org/10.24963/ijcai.2018/142