TÍCH HỢP MÔ HÌNH NGÔN NGỮ LỚN VÀO HỆ THỐNG CHẤM ĐIỂM LẬP TRÌNH TỰ ĐỘNG: TIẾP CẬN CHUỖI SUY LUẬN CHO PHẢN HỒI SƯ PHẠM VÀ TỐI ƯU BỘ NHỚ
Từ khóa
DOI:
https://doi.org/10.34238/tnu-jst.15929Tóm tắt
Sự phát triển của giáo dục thông minh đã thúc đẩy việc ứng dụng các Hệ thống chấm điểm tự động trong đào tạo lập trình. Tuy nhiên, đa số nền tảng hiện nay chủ yếu trả về kết quả đúng/sai mà chưa cung cấp phản hồi mang tính sư phạm để hỗ trợ người học cải thiện tư duy thuật toán. Trong khi đó, các Mô hình ngôn ngữ lớn cho thấy tiềm năng đáng kể trong phân tích mã nguồn, nhưng khi áp dụng trực tiếp theo cơ chế zero-shot thường xuất hiện hiện tượng “ảo giác” và thiếu nhất quán trong các bài toán có ràng buộc tài nguyên nghiêm ngặt. Nghiên cứu này đề xuất kiến trúc mô-đun đa tầng kết hợp mô hình ngôn ngữ lớn với kỹ thuật Chuỗi suy luận dành cho lập trình thi đấu. Hệ thống thực hiện quy trình suy luận tuần tự gồm phân tích ngữ nghĩa chương trình, đánh giá độ phức tạp thuật toán, phát hiện lỗi biên như IndexError và tối ưu bộ nhớ. Đặc biệt, mô hình có khả năng chủ động đề xuất kiểu dữ liệu __int128 nhằm hạn chế tràn số nguyên. Thực nghiệm trên 1.250 bài nộp C/C++ cho thấy phương pháp Chuỗi suy luận vượt trội hơn baseline zero-shot, cải thiện 8,7% độ chính xác Pass@1, tăng 9,2% năng lực phân tích thuật toán, nâng tỷ lệ phát hiện IndexError thêm 22,2% và cải thiện 57,6% độ chính xác khi sử dụng int128.Lượt tải
Tài liệu tham khảo
Y. Jung, Y. Lee, J. Bae, D. Y. Kim, H. Choi, M. Kang, and U. Lee, "Exploring the Role of Automated Feedback in Programming Education: A Systematic Literature Review," arXiv preprint arXiv:2602.00089, 2026, doi: 10.48550/arXiv.2602.00089.
M. Messer, N. C. C. Brown, M. Kölling, and M. Shi, "Automated Grading and Feedback Tools for Programming Education: A Systematic Review," ACM Transactions on Computing Education, vol. 24, no. 1, 2024, doi: 10.1145/3636515.
M. Al-Shakarji, "Mitigating Hallucination in Large Language Model Code Generation for Higher Education," Degree Project in Computer Science and Engineering, KTH Royal Institute of Technology, 2024.
M. Richards, K. Waugh, M. Slaymaker, M. Petre, J. Woodthorpe, and D. Gooch, "Bob or bot: Exploring ChatGPT’s answers to university computer science assessment," ACM Transactions on Computing Education, vol. 24, no. 1, pp. 1-32, 2024, doi: 10.1145/3633287.
B. Althani, "A Multi-Objective Statistical Framework for Evaluating LLM-Based Code Modernization: Transformation Pattern Analysis and Effect Size Validation," Computers, vol. 15, no. 3, 2026, Art. no. 148, doi: 10.3390/computers15030148.
M. Mahdaoui, S. Nouh, M. S. E. K. Alaoui, and K. Kandali, "Automated Grading Method of Python Code Submissions Using Large Language Models and Machine Learning," Information, vol. 16, no. 8, 2025, Art. no. 674, doi: 10.3390/info16080674.
A. Memon and A. Mohamed, "Evaluating Generative AI for CS1 Code Grading: Direct Vs Reverse Methods," in Proceedings of the IEEE International Conference on Collaborative Advances in Software and Computing (CASCON), 2025, pp. 178-183.
B. Cowan, Y. Watanobe, and A. Shirafuji, "Enhancing Programming Learning with LLMs: Prompt Engineering and Flipped Interaction," in Proceedings of the 2023 4th Asia Service Sciences and Software Engineering Conference, 2023, pp. 10-16.
L. Y. Tan, S. Hu, D. J. Yeo, and K. H. Cheong, "A Comprehensive Review on Automated Grading Systems in STEM Using AI Techniques," Mathematics, vol. 13, no. 17, 2025, Art. no. 2828, doi: 10.3390/math13172828.
E.-Q. Tseng, P.-C. Huang, C. Hsu, P.-Y. Wu, C.-T. Ku, and Y. Kang, "CodEv: An Automated Grading Framework Leveraging Large Language Models for Consistent and Constructive Feedback," arXiv preprint arXiv:2501.10421, 2025, doi: 10.48550/arXiv.2501.10421.
M. Akyash, K. Z. Azar, and H. M. Kamali, "StepGrade: Grading Programming Assignments with Context-Aware LLMs," in Proc. 2025 IEEE Integrated STEM Education Conference (ISEC), 2025, pp. 1-6, doi: 10.1109/ISEC64801.2025.11147374.
A. Tabassum, M. S. Hossain, M. F. Arefin, T. Islam, and T. S. Zaman, "A-ProS: Towards Reliable Autonomous Programming Through Multi-Model Feedback," arXiv preprint arXiv:2605.18073, 2026, doi: 10.48550/arXiv.2605.18073.
S. Elnaffar, F. Rashidi, and A. Z. Abualkishik, "Teaching with AI: A Systematic Review of Chatbots, Generative Tools, and Tutoring Systems in Programming Education," arXiv preprint arXiv:2510.03884, 2025, doi: 10.48550/arXiv.2510.03884.
K. Wang, Y. Shi, R. Shen, T. W. Price, and D. Wang, "CodeExemplar: Example-Based Scaffolding for Introductory Programming in the GenAI Era," arXiv preprint arXiv:2603.23830, 2026, doi: 10.48550/arXiv.2603.23830.
IBM, "What is chain of thought (CoT) prompting?," IBM Think, 2024. [Online]. Available: https://www.ibm.com/think/topics/chain-of-thoughts?lnk=thinkhpeverpe4us. [Accessed May 23, 2026].
S. Halim, F. Halim, and S. Prasetya, Competitive Programming 4: The Lower Bound of Programming Contests in the 2020s, 4th ed. LuLu Press, 2020.
N. Hossain and M. Martonosi, "TEMpesT: Testing Empirically for Memory Transistency," ACM Transactions on Architecture and Code Optimization, vol. 22, no. 4, 2025, Art. no. 165, doi: 10.1145/3774419.
J. Schultke, "Bit-precise integers," ISO/IEC JTC1/SC22/WG21 C++ Standard Committee Paper, no. P3666R4, 2026. [Online]. Available: https://www.open-std.org/jtc1/sc22/wg21/docs/papers/ 2026/p3666r4.html. [Accessed May 23, 2026].
Free Software Foundation, "Using the GNU Compiler Collection (GCC): 128-bit Integers," GNU Project, 2024. [Online]. Available: https://gcc.gnu.org/onlinedocs/gcc/_005f_005fint128.html. [Accessed May 23, 2026].
ISO/IEC, "Information technology — Programming languages — C++," ISO/IEC 14882:2020 Standard, 2020. [Online]. Available: https://www.iso.org/standard/79358.html. [Accessed May 23, 2026].
J. Cambronero, S. Mukherjee, T. Mytkowicz, and G. Loop, "Fault-Aware Neural Code Rankers," Microsoft Research, 2022. [Online]. Available: https://www.microsoft.com/en-us/research/ publication/fault-aware-neural-code-rankers/. [Accessed May 23, 2026].
J. Yoon, S. Lee, H. Chang, and S. Kim, "Rubric Is All You Need: Improving LLM-based Code Evaluation With Question-Specific Rubrics," arXiv preprint arXiv:2503.23989, 2025, doi: 10.48550/arXiv.2503.23989.
