Dear ILIAS Admins,
Unfortunately, we have to inform you that, in one particular constellation, the ILIAS test was not showing correct results in ILIAS 9 from 01.05.2024 onwards.
This was the case when test questions were selected randomly (i.e. when 'Random Questions' was selected in a test's 'General Settings') and these questions were scored manually. Manual scoring was saved upon entry but the test results were not updated accordingly. This means that only automatically scored questions (in tests with random questions) were taken into account when calculating the test results.
The error was corrected on 13.05.25 with this commit: https://github.com/ILIAS-eLearning/ILIAS/commit/af7e43e5a2395817316ad5bfb5f0...
Since then, all manual scoring is taken into account when calculating participants' results.
Stephan Kergomard has created a migration ('test.ilManScoringRecalculateReachedPoints') for all existing tests with random questions and manual scoring which have been carried out since 01.05.2024. This re-calculates the results so that these are correct.
Please note: the migration can be extremely resource-intensive if there are lots of such tests with random questions. You will also have to actively initiate the migration yourselves - it won't take place automatically.
This issue went unnoticed as no test case covered the interplay between manual scoring and random questions. The existing test case covering manual scoring only checked tests with fixed questions, which are not affected.
The test cases for ILIAS 11 have been expanded accordingly.
According to Matthias Kunkel, ILIAS version 9.9, in which this issue has been fixed, will be released on 20.05.25.
Thank you for your understanding and best regards,
Denis Strassner, Max Becker, Thomas Joussen, Stephan Kergomard
-
Liebe ILIAS-Admins, leider müssen wir euch darüber informieren, dass der ILIAS-Test in einer bestimmten Konstellation keine korrekten Ergebnisse in Release ILIAS 9 seit dem 01.05.2024 angezeigt hat.
Dies war der Fall, wenn Tests mit zufälliger Fragenauswahl manuell bewertet wurden. Die Eingaben der manuellen Bewertung wurden zwar gespeichert, aber das Ergebnis wurde nicht entsprechend aktualisiert. Das heißt, nur automatisch bewertete Fragen wurden bei Tests mit zufälliger Fragenauswahl in die Ergebnisberechnung einbezogen.
Mit diesem Commit: https://github.com/ILIAS-eLearning/ILIAS/commit/af7e43e5a2395817316ad5bfb5f0... wurde der Fehler am 13.05.25 behoben und seit diesem Zeitpunkt wird jede manuelle Bewertung wieder direkt ins Ergebnis einbezogen.
Stephan Kergomard hat für bestehende Tests mit zufälliger Fragenauswahl, welche seit dem 01.05.2024 durchgeführt wurden und die eine manuelle Bewertung enthalten, eine Migration ('test.ilManScoringRecalculateReachedPoints') erstellt, welche die Ergebnisberechnung nochmals durchführt, sodass danach ein korrektes Ergebnis vorliegt.
Bitte beachtet, dass diese Migration ggf. sehr ressourcenintensiv sein kann, wenn viele solche Tests mit zufälliger Fragenauswahl vorliegen. Die Migration muss von euch aktiv angestoßen werden und erfolgt nicht automatisch.
Da es keinen Testfall gab, der die manuelle Bewertung im Zusammenspiel mit einem Test mit zufälliger Fragenauswahl überprüft hat, ist dies bislang nicht aufgefallen. Der bestehende Testfall für die manuelle Bewertung hat nur Tests mit fest definierter Fragenauswahl überprüft, welche auch nicht betroffen sind.
Für ILIAS 11 werden die Testfälle entsprechend erweitert.
Laut Matthias Kunkel ist geplant, die fehlerbereinigte ILIAS Version 9.9 am 20.05.25 zu veröffentlichen.
Vielen Dank für euer Verständnis und viele Grüße
Denis Strassner, Max Becker, Thomas Joussen, Stephan Kergomard
-- Denis Strassner
ILIAS Test & Assessment Koordinator Verantwortlich für konzeptionelle Änderungen
Universität Hohenheim Kommunikations-, Informations- und Medienzentrum (630) Abt. Kommunikation, E-Learning u. Print | ILIAS, ePrüfungen