CÁC PHƯƠNG PHÁP DỰA TRÊN GRADIENT CHO BÀI TOÁN TỐI ƯU HÓA BẬC HAI CÓ NHIỄU
Nội dung chính của bài viết
Tóm tắt
Trong bài báo này, chúng tôi nghiên cứu bài toán tối ưu một hàm bậc hai nhiều biến có nhiễu bằng cách sử dụng phương pháp gradient xấp xỉ, trong đó đạo hàm được ước lượng thông qua các lược đồ sai phân trung tâm. Hai mô hình nhiễu được phân tích: (i) ma trận bậc hai được biết, trong khi các thành phần tuyến tính và hằng số bị nhiễu; (ii) cả ma trận và thành phần tuyến tính đều được biết, chỉ có thành phần hằng số là nhiễu. Chúng tôi xây dựng các chặn sai số hiển, thiết lập tốc độ hội tụ dựa trên các ước lượng của Polyak (Polyak, 1987), và xác định độ phức tạp cho dãy lặp sinh bởi phương pháp gradient xấp xỉ với bước nhảy cố định.
Từ khóa
hàm bậc hai nhiều biến có nhiễu, tối ưu hóa không dùng đạo hàm, phương pháp sai phân trung tâm, thuật toán gradient xấp xỉ
Chi tiết bài viết
Tài liệu tham khảo
Izmailov, A. F., & Solodov, M. V. (2014). Newton-type methods for optimization and variational problems (Vol. 1). Springer. https://doi.org/10.1007/978-3-319-04247-3
Polyak, B. T. (1987). Introduction to optimization. https://doi.org/10.1007/978-0-387-40065-5
Wright, S. J. (2006). Numerical optimization.