AMCF-NET: MẠNG HỢP NHẤT ĐA PHƯƠNG THỨC ĐA TỈ LỆ THÍCH ỨNG CHO BÀI TOÁN ĐỊNH VỊ CHÉO GIỮA ẢNH UAV VÀ ẢNH VỆ TINH

Tóm tắt

ảnh vệ tinh đóng vai trò quan trọng đối với việc điều hướng tự động trong các môi trường
không có GPS. Tuy nhiên, có những thách thức lớn nảy sinh từ khoảng cách miền bao gồm
sự khác biệt về góc nhìn, sự thay đổi về tỉ lệ và sự khác biệt về đặc điểm hình ảnh giữa
ảnh UAV và ảnh vệ tinh. Trong bài báo này, chúng tôi đề xuất mạng hợp nhất đa tỉ lệ và đa
phương thức thích ứng (Adaptive Multi-scale Cross-modal Fusion Network – AMCF-Net), một
phương pháp mới giải quyết hiệu quả các hạn chế này thông qua kiến trúc backbone dùng
chung và cơ chế hợp nhất thích ứng.
Không giống như các phương pháp sử dụng hai backbone trước đây xử lý ảnh UAV và
ảnh vệ tinh tách biệt, phương pháp của chúng tôi sử dụng một backbone FocalNet-Tiny thống
nhất để trích xuất đặc trưng đa phương thức, tiếp theo là mô đun hợp nhất đặc trưng đa
phương thức thích ứng không gian (AMCF) để kết hợp động các đặc trưng đa tỉ lệ dựa trên
trọng số thích ứng được học. Cách tiếp cận học biểu diễn chung này giúp cải thiện đáng kể
khả năng căn chỉnh đa phương thức và giảm đáng kể chi phí tính toán.
Các thí nghiệm toàn diện trên bộ dữ liệu UL14 cho thấy AMCF-Net đạt hiệu suất hàng
đầu, với Điểm khoảng cách tương đối (RDS) đạt 78,12% và độ chính xác ở mức mét là
27,25% tại 3 m, 50,16% tại 5 m, 84,37% tại 10 m và 88,51% tại 20 m. Các thử nghiệm xác
nhận hiệu quả của mạng backbone dùng chung và cơ chế hợp nhất thích ứng cho thấy những
cải thiện đáng kể so với các phương pháp xử lý tách biệt truyền thống.