Tái tạo và hiển thị 3D tự động dựa trên hình ảnh thưa

Tóm tắt

Phục dựng và kết xuất đối tượng 3 chiều hiện nay đang có một vai trò quan trọng trong lĩnh vực thị giác máy tính bởi những ứng dụng rộng rãi của nó. Hiện nay có nhiều kỹ thuật được áp dụng để thực hiện việc này, chẳng hạn như dùng máy quét laser hoặc kỹ thuật quang trắc (photogrammetry). Những năm gần đây, các phương pháp dựa trên trí tuệ nhân tạo, như Neural Radiance Field, đã được đề xuất và đạt được những kết quả ấn tượng. Bài báo này trình bày một phương pháp áp dụng quang trắc để tự động phục dựng đám mây điểm 3D của một đối tượng, và sau đó sử dụng phương pháp Gaussian splatting để kết xuất hình ảnh đối tượng 3D. Trong việc này, đầu tiên, hình ảnh của đối tượng được chụp bằng các máy ảnh thông thường. Quá trình chụp bao gồm việc di chuyển 360 độ vòng quanh đối tượng và chụp ở ba độ cao khác nhau. Thứ nhì, phương pháp dựa trên sự phục dựng cấu trúc từ chuyển động (structure from motion) được sử dụng để tái tạo đám mây điểm 3D trên bề mặt đối tượng. Kế tiếp, đám mây điểm 3D này được chuyển đổi và coi như các điểm Gaussian 3D khởi đầu. Và rồi, những điểm Gaussian này sẽ được tiến hành huấn luyện để kết xuất bằng cách tối ưu hóa sự khác biệt giữa các phép tổng hợp hình chiếu (projection syntheses) của đám mây điểm Gaussian trên các hình ảnh huấn luyện. Sau cùng, hình ảnh kết xuất từ một góc nhìn bất kỳ được tạo ra bằng cách tổng hợp hình chiếu của những Gaussian trên mặt phẳng góc nhìn mới đó. Thực nghiệm của chúng tôi cho thấy rằng qui trình nguyên lý  này mang lại kết quả ưu việt trong phục dựng và kết xuất hình ảnh của vật thể 3D. Với một đối tượng nhỏ, cụ thể như một mô hình bông hoa bằng chất liệu vãi có kích thước 50cm x 40cm x 40cm, số lượng hình ảnh cần thiết cho huấn luyện là vào khoảng 90 ảnh, và thời gian cần xử lý để tái tạo vật thể 3D là xấp xỉ 30 phút.