A Method for Semi-Automatic Evaluation and Testing of Programming Assignments

• Main Author: Skūpas, Bronius
• Other Authors: ČAPLINSKAS, ALBERTAS
• Format: Doctoral Thesis
• Language: English
• Published: Lithuanian Academic Libraries Network (LABT) 2013
• Subjects: Informatics Engineering; Semi-automatic evaluation; Programming assignments; Programming exam; Pusiau automatinis vertinimas; Programavimo užduotys; Programavimo egzaminas
• Online Access: http://vddb.laba.lt/fedora/get/LT-eLABa-0001:E.02~2013~D_20130220_160949-60851/DS.005.1.01.ETD

The thesis investigates the automatic and semi-automatic evaluation of programming assignments in teaching of programming, exams and competitions. Manual evaluation of programming assignments is still dominant in programming teaching in Lithuania. In some contexts (i.e. programming competitions, basics of programming and algorithms course) there is widely applied automatic and semi-automatic evaluation of programming tasks based on black-box testing approach. However, automatic evaluation based on black-box testing is criticized for its inability to demonstrate the strengths and the weaknesses of the program being evaluated. Automatic evaluation is not capable of identifying the level of achievement in incomplete programs. The thesis addresses the problem of evaluation of practical programming assignments in Information Technology maturity exam (IT VBE). This problem involves requirements to evaluate reliably thousands of programming assignment solutions in a reasonable amount of time. The thesis presents analysis of systems for automatic evaluation of programming tasks and appropriate types of assignments. The analysis led to the improvement of the evaluation method. The most important result of the research is the proposed way to improve the semi-automatic evaluation and testing method by increasing its interactivity. A semi-automatic assessment system is expanded by adding the components responsible for the modification of submitted programs, monitoring changes in the... [to full text] === Disertacijoje nagrinėjamas automatinis ir pusiau automatinis programavimo užduočių vertinimas programavimo mokyme, egzaminuose ir varžybose. Šiuo metu informatikos mokyme Lietuvoje vis dar dominuoja rankinis programavimo užduočių vertinimas. Atskirose švietimo srityse (programavimo varžybos, algoritmavimo kursai) išplito automatinis ir pusiau automatinis programavimo užduočių vertinimas, paremtas juodosios dėžės testavimo principu. Tačiau automatinio vertinimo pagrindu gauti įverčiai kritikuojami kaip neatskleidžiantys visų pateiktos programos privalumų ir trūkumų. Ypatingai dideli vertinimo netikslumai gaunami vertinant nebaigtas programas. Disertacijoje sprendžiama Informacinių technologijų valstybinio brandos egzamino (IT VBE) praktinių programavimo užduočių vertinimo problema – siekiama gauti patikimus įvertinimus dideliam pateiktų programavimo užduočių sprendimų kiekiui per priimtiną laiką. Išanalizuotos automatinės programavimo užduočių vertinimo sistemos bei joms tinkami užduočių tipai atvedė prie idėjos tobulinti vertinimo metodą. Svarbiausias disertacijos rezultatas – pasiūlytas būdas tobulinti pusiau automatinį vertinimo ir testavimo metodą didinant jo interaktyvumą. Tam pusiau automatinė vertinimo sistema turi būti papildoma komponentais, leidžiančiais modifikuoti pateiktą programą, stebėti modifikuotos programos funkcionalumo pokyčius. Pasiūlytas patobulintas vertinimo metodas išbandytas praktiškai, sukurta IT VBE praktinių užduočių vertinimo sistema. Taikant šį... [toliau žr. visą tekstą]