BIỂU DIỄN VÀ TÍCH HỢP NGỮ CẢNH TRONG VIỆC TẠO MÃ GIAO DIỆN NGƯỜI DÙNG DỰA TRÊN LLM: MỘT ĐÁNH GIÁ TỔNG QUAN VỀ TÀI LIỆU NGHIÊN CỨU (2020–2025)
Từ khóa
DOI:
https://doi.org/10.34238/tnu-jst.14674Tóm tắt
Trong kỹ thuật phần mềm, việc sinh mã giao diện (UI-to-Code) không chỉ dừng lại ở độ chính xác về mặt hình ảnh mà còn đảm bảo chức năng chính xác, logic tương tác và hành vi khi chạy. Những tiến bộ gần đây trong các mô hình ngôn ngữ lớn đã cải thiện rõ rệt khả năng tạo mã; tuy nhiên, tiến bộ trong lĩnh vực này vẫn còn chưa đồng đều. Một thách thức chính nằm ở sự phân mảnh của các chiến lược tích hợp ngữ cảnh. Trong trường hợp thiếu các cơ chế nhất quán để biểu diễn và kết hợp thông tin ngữ cảnh, các nghiên cứu hiện có thường phát triển một cách riêng lẻ. Sự phân mảnh này hạn chế việc so sánh có ý nghĩa giữa các phương pháp và cản trở việc chuyển giao các hệ thống UI-to-Code từ môi trường nghiên cứu được kiểm soát sang quy trình phát triển thực tế. Để xem xét các vấn đề này một cách khoa học, nghiên cứu này tiến hành đánh giá tài liệu có hệ thống tuân thủ PRISMA về các nghiên cứu được công bố từ năm 2020 đến năm 2025. Từ tập hợp ban đầu gồm 1,190 ấn phẩm, 46 nghiên cứu cốt lõi đã được chọn để phản ánh hiện trạng của lĩnh vực này. Kết quả cho thấy sự gia tăng đáng kể trong hoạt động nghiên cứu kể từ năm 2024, kèm theo sự chuyển dịch từ việc tạo mã một lần sang các kiến trúc lặp và đa tác nhân với các cơ chế xác minh tích hợp. Bài báo kết luận bằng cách xác định những thách thức kỹ thuật và thực tiễn còn lại, đồng thời đề xuất các định hướng ứng dụng cụ thể cho các nhà nghiên cứu và chuyên gia đang phát triển thế hệ công cụ UI-to-Code tiếp theo.Lượt tải
Tài liệu tham khảo
D. Chen et al., “LLM for mobile: An initial roadmap,” ACM Transactions on Software Engineering and Methodology, vol. 34, no. 5, pp. 1-29, 2025.
J. Wei et al., “On AI-inspired UI design,” IEEE Software, vol. 42, no. 3, pp. 50-58, 2025.
D. Dao, J. Y. C. Teo, W. Wang, and H. D. Nguyen, “LLM-powered multimodal AI conversations for diabetes prevention,” in Proc. 1st ACM Workshop on AI-Powered Q&A Systems for Multimedia, 2024, pp. 1-6.
S. Böhm and S. Graser, “AI-based mobile app prototyping: Status quo, perspectives, and preliminary insights from experimental case studies,” in Proc. 16th Int. Conf. Advances in Human-Oriented and Personalized Mechanisms, Technologies, and Services, ThinkMind, Valencia, Spain, 2023, pp. 29-37.
Y. Jiang et al., “Computational approaches for understanding, generating, and adapting user interfaces,” in CHI Conf. on Human Factors in Computing Systems Extended Abstracts, 2022, pp. 1-6.
L. Alwakeel, K. Lano, and H. Alfraihi, “Towards integrating machine learning models into mobile apps using AppCraft,” in Proc. Agile MDE/MeSS/TTC@STAF, 2023, pp. 1-4.
J. Senanayake et al., “Android code vulnerabilities early detection using AI-powered ACVED plugin,” in IFIP Annual Conf. on Data and Applications Security and Privacy, Springer, 2023, pp. 339-357.
T. P. Nguyen, T. D. Nguyen, and N. P. Doan, “Generative AI-driven web development: A comprehensive systematic review and future research directions,” Vinh University Journal of Science, vol. 54, no. 3A, pp. 75-85, 2025, doi: 10.56824/vujs.2025a083a.
Y. Li et al., “An empirical study of AI techniques in mobile applications,” Journal of Systems and Software, vol. 219, 2025, Art. no. 112233, doi: 10.1016/j.jss.2024.112233.
M. Miraz, M. Ali, and P. S. Excell, “Cross-cultural usability evaluation of AI-based adaptive user interfaces for mobile applications,” Acta Scientiarum. Technology, vol. 44, 2022, Art. no. e61112, doi: 10.4025/actascitechnol.v44i1.61112.
S. Petridis et al., “In situ AI prototyping: Infusing multimodal prompts into mobile settings with MobileMaker,” in Proc. IEEE Symp. on Visual Languages and Human-Centric Computing (VL/HCC), 2024, pp. 121-133.
N. P. Doan, T. V. Nguyen, T. T. Pham, T. T. H. Nguyen, and X. K. Pham, “A Systematic Review of Generative AI Applications in UI/UX Design for Mobile Applications,” in Advances in Information and Communication Technology, ICTA 2025, Lecture Notes in Networks and Systems, vol. 1831, 2026, pp. 184-193, doi: 10.1007/978-3-032-18316-3_21.
L. Alwakeel, K. Lano, and H. Alfraihi, “AppCraft: Model-driven development framework for mobile applications,” IEEE Access, vol. 13, pp. 23658-23699, 2025, doi: 10.1109/ACCESS.2025.3536321.
Y. Gui et al., “UICoPilot: Automating UI synthesis via hierarchical code generation from webpage designs,” in Proc. ACM Web Conf., 2025, pp. 1846-1855, doi: 10.1145/3696410.3714900.
I. H. Sarker, M. M. Hoque, M. K. Uddin, and T. Alsanoosy, “Mobile data science and intelligent apps: Concepts, AI-based modeling and research directions,” Mobile Networks and Applications, vol. 26, no. 1, pp. 285-303, 2021.
M. J. Page et al., “The PRISMA 2020 statement: An updated guideline for reporting systematic reviews,” BMJ, vol. 372, 2021, Art. no. n71, doi: 10.1136/bmj.n71.
S. Keele, "Guidelines for Performing Systematic Literature Reviews in Software Engineering," Tech. Rep. EBSE-2007-01, 2007.
K. Petersen, R. Feldt, S. Mujtaba, and M. Mattsson, “Systematic mapping studies in software engineering,” in Proc. 12th Int. Conf. on Evaluation and Assessment in Software Engineering (EASE), 2008, pp. 68-77, doi: 10.14236/ewic/EASE2008.8.
C. Wohlin, “Guidelines for snowballing in systematic literature studies and a replication in software engineering,” in Proc. 18th Int. Conf. on Evaluation and Assessment in Software Engineering, 2014, pp. 1-10, doi: 10.1145/2601248.2601268.
T. Beltramelli, “pix2code: Generating code from a graphical user interface screenshot,” in Proc. ACM SIGCHI Symp. on Engineering Interactive Computing Systems, 2018, pp. 1-6, doi: 10.1145/3220134.3220135.
T. D. Nguyen, T. V. Nguyen, T. P. Nguyen, and T. T. Pham, “TinyML Applications in Wearable Devices: A Systematic Review and Research Directions,” in Advances in Information and Communication Technology, ICTA 2025, Lecture Notes in Networks and Systems, vol. 1831, 2026, pp. 194-203, doi: 10.1007/978-3-032-18316-3_22.
T. D. Nguyen, T. P. Nguyen, and N. P. Doan, “A systematic review of the application of artificial intelligence techniques in the development of smart wearable device applications,” Vinh University Journal of Science, vol. 54, no. 3A, pp. 5-16, 2025, doi: 10.56824/vujs.2025a081a.
S. Jabeen et al., “A review on methods and applications in multimodal deep learning,” ACM Transactions on Multimedia Computing, Communications and Applications, vol. 19, no. 2s, pp. 1-41, 2023.
J. Achiam et al., “GPT-4 technical report,” arXiv:2303.08774, 2023, doi: 10.48550/arXiv.2303.08774.
Y. Gui et al., “WebCode2M: A real-world dataset for code generation from webpage designs,” in Proc. ACM Web Conf., 2025, pp. 1836-1845, doi: 10.1145/3696410.3714890.
C. Si et al., “Design2Code: Benchmarking multimodal code generation for automated front-end engineering,” in Proc. NAACL-HLT (Long Papers), 2025, pp. 5615-5634, doi: 10.18653/v1/2025.naacl-long.285.
Y. Wan et al., “Interaction2Code: Benchmarking multimodal interaction-aware UI code generation,” in Proc. Int. Conf. on Automated Software Engineering (ASE), 2025, pp. 1-21.
C. Chen, T. Su, G. Meng, Z. Xing, and Y. Liu, “From UI design image to GUI skeleton: A neural machine translator to bootstrap mobile GUI implementation,” in Proc. 40th Int. Conf. Softw. Eng. (ICSE), 2018, pp. 665-676, doi: 10.1145/3180155.3180240.
F. Wu, C. Gao, S. Li, X.-C. Wen, and Q. Liao, “MLLM-based UI2Code automation guided by UI layout information,” Proc. ACM Softw. Eng., vol. 2, no. ISSTA, pp. 1123-1145, 2025, doi: 10.1145/3728925.
G. Li and Y. Li, “Spotlight: Mobile UI understanding using vision-language models with a focus,” arXiv:2209.14927, 2022, doi: 10.48550/arXiv.2209.14927.
C. Zhang, Z. Yang, J. Liu, Y. Han, X. Chen, Z. Huang, B. Fu, and G. Yu, “AppAgent: Multimodal agents as smartphone users,” in Proc. CHI Conf. Hum. Factors Comput. Syst., 2025, pp. 1-20, doi: 10.1145/3706598.3713600.
T. Zhou, Y. Zhao, X. Hou, X. Sun, K. Chen, and H. Wang, “DeclarUI: Bridging design and development with automated declarative UI code generation,” Proc. ACM Softw. Eng., vol. 2, no. FSE, pp. 219-241, 2025, doi: 10.1145/3715726.
X. Yu, C. Li, M. Pan, and X. Li, “DroidCoder: Enhanced Android code completion with context-enriched retrieval-augmented generation,” in Proc. 39th IEEE/ACM Int. Conf. Automated Softw. Eng. (ASE), 2024, pp. 681-693, doi: 10.1145/3691620.3695063.
Y. Jiang, Y. Zheng, Y. Wan, J. Han, Q. Wang, M. R. Lyu, and X. Yue, “ScreenCoder: Advancing visual-to-code generation for front-end automation via modular multimodal agents,” arXiv:2507.22827, 2025, doi: 10.48550/arXiv.2507.22827.
