Một kiến trúc tổng hợp mới cho mô tả ảnh

Các tác giả

  • Tran Thi Hue Viện Hàn lâm Khoa học và Công nghệ Việt Nam, Hà Nội, Việt Nam; Đại học Đại Nam, Hà Nội
  • Le Thi Ha Trường Cao đẳng Kinh tế Công nghiệp Hà Nội, Việt Nam
  • Pham Van Hai Đại học Khoa học và Công nghệ Hà Nội, Hà Nội, Việt Nam
  • Do Hoang Long Đại học Khoa học và Công nghệ Hà Nội, Hà Nội, Việt Nam
  • Luong Thi Hong Lan Đại học Công nghiệp Hà Nội, Hà Nội, Việt Nam

Từ khóa

Chú thích ảnh, mô hình transformer, đồ thị ngữ nghĩa, đồ thị hình học

DOI:

https://doi.org/10.32913/mic-ict-research-vn.v2024.n2.1295

Tóm tắt

Quá trình tự động sinh ra lời mô tả về sự vật, đối tượng trực quan trong ảnh được gọi là chú thích hình ảnh. Nó liên
quan đến việc sử dụng cả thị giác máy tính và xử lý ngôn ngữ tự nhiên (NLP) để trích xuất các đặc điểm của hình
ảnh. Trong nghiên cứu này, chúng tôi phát triển mô hình SPNER-SAN kết hợp giữa Mạng tự chú ý quan hệ nâng cao
(ER-SAN), có dạng cấu trúc giống như Transformer, với Mạng đề xuất đồ thị con (SPN) mới được phát triển của chúng
tôi. Mục tiêu chính của sự kết hợp này là cải thiện kết quả của quá trình sinh chú thích cho hình ảnh bằng cách tận
dụng các ưu điểm của cả hai thành phần. Thực nghiệm trên bộ dữ liệu Coco chứng minh rằng mô hình SPNER-SAN
cải thiện đáng kể chất lượng của câu mô tả sinh ra so với với các phương pháp liên quan. Mô hình đạt hiệu suất cao
hơn trên cả 5 chỉ số độ đo so sánh như BLEU, METEOR, ROUGR, CIDER, và SPICE. Điều này cho thấy tính hiệu
quả của nó trong việc sinh tự động các chú thích rõ ràng và phù hợp với ngữ cảnh.

Lượt tải

Chưa có dữ liệu tải xuống.

Tiểu sử tác giả

  • {affiliation}

    Tran Thi Hue receive the degree in Computer Science from the Military Tech nical Academy in 2008. She works at Dai Nam University, Hanoi. Her research in terests include artificial intelligence, image processing, machine learning, etc

  • {affiliation}

    Le Thi Ha receive the degree in Computer Science from Hanoi University of Industry in 2011. She works at Hanoi College of Economics and Industry and studied for a master’s degree at Hanoi  University of Industry. Her research interests include artificial intelligence, image processing, machine learning, soft computing, etc

  • {affiliation}

    Pham Van Hai  receive a Doctor of Engineering degree (Ph.D.) at Ritsumeikan University (Japan). He is an Associate Pro fessor at the School of Information and Communication Technology, Hanoi University of Science and Technology. His major fields include Artificial Intelligence, Knowledge-Based, Big Data, Soft Computing, Rule-based, and Fuzzy Systems.

  • {affiliation}

    Do Hoang Long has been graduated from Hanoi University of Science and Technology in 2024. He works at FPT Software and is pursuing a Master’s degree at the same university. His research focuses on Data Mining, Fuzzy Computing, and Artificial Intelligence.

  • {affiliation}

     Luong Thi Hong Lan hasbeen graduated from Hanoi University of Technology in 2002 and received a PhD. Degree in Computer Science in Institute of Information Technology, Vietnam Academy of Science and Technology, Hanoi, Vietnam, in 2021. Now, she is working at the Faculty of Information Technology at Hanoi University of Industry. Her research concentrates on Artificial Intelligence, Data Mining, Soft Computing, and Fuzzy Computing.

Lượt tải xuống

Đã Xuất bản

2024-11-25

Số

Tập 2024 Số 2 (2024): Tháng 11 Số đặc biệt VNICT 2024

Chuyên mục

Bài viết