ááŽáááľ-áá á¨áľ LLM á áŠáá¨áá˛á˛ ááľááááĽá ááá áá á¨áá ááĽá¨áááľ áá á¨áĽ áĽáá´áľ áĽáá°ááťá áááá˘

á¨LLM áŤáľ-á°á ááľááááĽá ááĽá¨áááľáĄ áŠáá¨áá˛á˛ áááľá
á áĽá áŠáá¨áá˛á˛áá˝ á¨á°ááłáłá á˝áá á áᤠáááá áá˝áá (rubric) á˘ááá á¨áá°á áĽá á¨áĽáŤ áá¤áľ ááľáááἠáá áá ááᣠááĽá¨áááľ ááááŤáᣠáĽá á°ááŞáá˝ âáĽáľá¨ áá áĽáľá¨ áłáááľâ áĽáŤá á¨ááŤáááľ áááŞáŤ á¨ááá ááĽááłá¸áá ááááłáᢠáá á á°áá á¨áá°á á°á᪠ááĽá áŤááŁá¸á áááá˝áŁ á¨áá¨á¨áť áłáááľ (finals) á¨áá°á á°áĄá áľ áá áľáŁ áĽá á¨á´ááľá°á áá¨á¨áť áá áá ááŁáĽáłáᢠáĽ.á¤.á 26/12/2025 áĽá áá á˘ááŁá áá á˝áá á á˛áľ á áá°ááâáááľáá áá á ááá˝ ááአáĽá¨áá¨á ááá˘
Prompt-based LLMs (á áááŞáŤ á¨ááአáľáá á¨ááá áá´áá˝) á á¨áá°á áľáá ááľ ááľáĽ áááľ áĽáŤáá˝á á á ááľ áá ááłáŤáľ áááŠá¤ (1) áŤáľ-á°á áá¤áľ ááľáááἠáĽá (2) á¨áá ááĽá¨áááľ áááá¨áľá˘ ááá áŤáá ááá°áŤáľ á áá°ááâáĽá á¨áááá áľ á áá áá ááâááá áá ááá áŤá á¨áá°áŠáľá áľáŤ áááááľ áĽá ááĽá¨áááľá áááá á á¨á°ááŁá ááááľ ááᢠá áá á˝áá ááľáĽ ááŽáááľ áááá á áá áĽáá°ááŤááŁáŁ áĽáá´áľ áĽáá°áá°áá áᣠáá á á°ááá˝ áĽááłá áĽá á áŠáá¨áá˛á˛/áŽáá ááľáĽ áĽáá´áľ áŤá á áľá°áłá°á áĽá áľ áĽáá°áááá áĽááááŁááᢠáá á á áĽá á¨á°á¨áłáłá áááľ ááľáĽââá áá˛ááťá á˘áá°ááááľ á áľáá ááľá á áľáá á áááââá¨áá áááŞáŤ ááááľ áááá á á¨áá¨áą áľáááśá˝á áááĽáŤáŤáľ á¨ááá áŤá áá á ááĽáł áááááá˘
áŤáľ-á°á áááá ááá á áá á°ááá áá?
áááľ: á¨á°á᪠ááĽá áá¨ááᣠá¨áŽááľ á¨áááá áľááľ áá áá¨á áĽá á¨áá áááľ ááááŤáľ ááᤠááĽá¨áááľ á¨á°ááᨠááá áá°áááá˘
áľáá ááľ áá á¨ááłá¨á áĽáááł á ááą áá ááᤠááĽá¨áááľ á ááĽááľ áŤááᣠá¨ááťáťáŤ áĽáľá áá ááᢠá°á᪠á áľá°áłá°áĄá á áá áĽáŤáá áłá áááŞáŤ áŤáá ááŁá áľáŤáá á ááĽáł áŤáťá˝ááᤠá¨áłáááľ á áá áá ááá áá° áá áááľ ááááá˘
á¨áá á áá á¨ááá¨á á¨áááá áĽáŠáááľ á˝áá ááᢠá ááľ ááá á¨á ááľáľ á áľá°ááŞáá˝ á ááááá áľ áá áĽáŠá ááá áŤáľááááᤠáĽáŤááłááą áŁá áááľáŁ áŁá áľáŤá ááá áŁá áá áĽááľ áá°á¨áľ áá¤áľ áĽááłáááŤá áľáááľ áŤáľááááᢠáĽáá ááľáĽ ááŽáááľ á¨á°áá¨áĄ á¨LLM áľáááśá˝ áĽá áá°áŁáâááá áá á¨ááŤáá ááá-ááá áááŞáŤ áááá á áľááá˝áá˘
ááŽáááľ-áá á¨áľ áŤáá LLM á ááľáááἠáĽá ááĽá¨áááľ áá áĽáá´áľ áá°áŤ?
áááľ: ááá አá¨rubric áááááá áĽá á¨áĽá á ááŤá¨áĽ áááŞáŤáá á ááá˝ ááŽáááľ ááľáĽ áŤáľááŁáᤠLLM á¨á°ááŞáá ááá˝ á ááľáááľ áá áááááᣠáá¤áľ áá°áŁáᣠááĽá¨áááľ áŤáááŁáâáĽá á áá¨á¨áť ááá አáŤá¨áááŁáá˘
1) áááá ááľáááľá (Rubric) áá° ááŽáááľ áá°ááá
Rubric á ááŤáł áá âáĽáá˛á ááâ á˛á áááŤáᤠáLLM áá á¨áááľááá á áá á ááľááἠááťááᢠáááłáᣠá¨á ááľ á¨á˝áá áááá ááľááá áĽáá˛á áŤá áááá˝ áááŠáľ áá˝áááŚ
- á áľá°áłá°áĽ ááá˝ááľ (0-4)
- ááľá¨á áĽá ááááŤáłá ááĽáŤáŞáŤ (0-4)
- á áááá/á á°á á°á¨á°á (0-2)
ááŽáááą áá á ááľáááľ á ááá˝ áááľ áĽá á ááłá áŤá á¨áłáł á¨áááŁá áá¤áľ ááťááᢠáĽá á¨áááá¨á ááá ááá áĽáá˛áŤá°áá áłááá âá¨áá¤áľ ááááŤáľ á áľááľá á áłáâ á¨áá áááŞáŤ ááŤá°áľ ááᢠá áľá°ááŞá áĽááľá áĽáá´áľ áĽáá°á°á°á áŤá¨ á áá ááľá°áŤá¨á ááá ááááá˘
2) áááľ-á°á¨á áá°áľáĄ áááááľ + ááĽá¨áááľ
áĽá áŚáł á°áá˝ á¨ááŤáľá°ááááľ áľá á°áľ á ááľ áĽáŤá ááľáĽ âááĽáĽ áľáĽ áĽá ááĽá¨áááľ áťáâ áááľ ááᢠá¨áá°áŤá ááá áá á á áĽááá ááĽáĽá áááááľ ááĽá¨áááľ á¨ááŤáŁáŁá ááááᢠá¨áááľ á¨á°ááł á¨áááᣠá¨á°áťáá á ááŤá¨áĽ áá áááŚ
- áááááľ (Scoring): áĽáŤááłááą ááľáááľ áá ááĽáĽ + á áá ááááŤáľ
- ááĽá¨áááľ (Feedback): 3 ááá á¨á°áťá á¨ááŤá°ááá + 2 á ááŤáŤ ááá á¨á°áŤá + 1 á°ááŁáŤá á¨áááĽáá áĽááá
áá á ἠá°ááŞáá á áŤáááľáᣠá á°ááŁáá á¨ááá˝á áááŞáŤ áá°á ááá˘
3) á¨á°á áá¨áá፠(Human-in-the-Loop)
LLM ááááááľ á˛á á á ááá á°áἠáá ááᤠááá አá¨áá¨á¨áť áá á ááᢠá á°áá á¨áá°á ááĽá°áľ áŤáá¸á áá°ááá˝ (mid/final) áá áá áŤáľ-á°á ááľá¨á á¨áŁáľ áá´áłáá˝á áŤááŁáâáĽáŠáááľáŁ á¨ááľá¨á á áĽááľáŁ á¨á áŹáł á áľá°áłá°áᢠáĽááá á°á áŤáľáááá¸ááá˘
âLLM ááĽáĽ áá á á áá˝ááᣠááá áá ááľáá ááááá ááľá°áłá°á á¨ááá አáááááľ ááá˘â
á á¨áá°á áľáá ááľ ááľáĽ á¨áá°áŠ á°ááŁáŤá á á áááá˝
áááľ: áľáá áááá˝ á¨áľáŤ áá¤áľ ááááŤáŁ á¨áŽáľ áľáŤ á áľá-ááááᣠá¨á˝áá á áááá áĽá áááľ-áááľ áĽáŤá ááĽá¨áááľ áááá¨áľ áá¸áá˘
á¨áááľ-áááľ áĽáŤá (Short answer) áááááľ
á ááľ á¨ááááŞáŤ á°á¨á áŽááľ á 200+ á°ááŞáá˝ á˛áŤáľá°áá á°ááłáłá á áľá°áłá°áĽ áŤáá¸á ááážá˝ áĽá ááááᢠLLM á¨ááŤá°ááá ááá á áááŞáŤ áĽáť áłááá á°ááłáłá áľá á°áśá˝á ááľáłáá፠ááľá¨á ááᢠá¨á፠á áá ááá አá ááľ á áá á¨ááá ááĽáŤáŞáŤ (mini-lecture) áŤááááᤠáá á¨ááá áá¤áľá áá áááŤáá˘
á¨á˝áá áľáŤ ááĽá¨áááľ á âáĽááá áááľáľ á¨áá˝áâ á áĽ
á°ááŞáá˝ á¨ááá á á¨áá áĽááľ âáĽáŠ/ááŤá¨áá/á°áŤáâ á¨áá á á ááá á áľá°áŤá¨áľ á áá°ááᢠá¨ááŤáťá˝ááľá áŚáł á á áľá፠áĽáá˛áŤáŠ áááááᢠLLM ááá á°ááŁá áĽá áá¨áłáâáĽáľá¨ááŤáááá áľá¨áľ á¨ááŤáľáááá ááá አá¨ááŤáľááá á á¨ááĽá¨áááľ ááá á ááᢠáááłááŚ
- á ááľ á ááá˝ áá áá ááťáťá áĽááłá
- á¨ááááŤáľ á°áá°ááľ á¨á°áá¨á á áľ áŚáł
- á ááŁá á¨áá°á¨á áľáááá ááááľ (practice task)
á¨áŽáľ áľáŤ (Programming) á áľá-áááá
LLM áŽáľ áá°áá°á á˛á°áŤ á áľáááá ááá áá ááᤠáá¤áľ áĽáť á áá°ááᣠáááŞáŤ áĽá áľá á°áľ áá áĽáá°áá áááá˝á˘ á¨áŽáááá°á áłáááľ ááá áŤá áá áľáŤ á˛á°á¨á á¨áá á á á ááŤá¨áĽ áá ááᤠLLM á¨âstyleâ áĽá á¨âlogicâ á˝áá áá áááᣠááá áá áá¨á¨áť ááĽáĽ á¨áá°á á á¨á´áľáľ-áŹáá˝ áá á á°áŤáŤá á¨á°á¨ááá á ááŤá¨áĽ ááá á áá áľá˘
á á°ááá˝á áááŁá áŞáŤáá˝áĄ á¨ááľá áĽá á¨áááááľ ááłá
áááľ: áľááá ááłáłáľáŁ áá á áŤá ááá áááá á áľá (bias)ᣠá¨áá áá¨á ááá°áľ áĽá á¨âhallucinationâ áá¤áľ áá¸á; áááľáá ááá˝ á°ááĽáŁ áá¨áŤ-á°á¨ááἠáĽá á°á áá¨áá፠ááá˘
á¨áááááľ áá¨á á
á°á᪠áĽáŤ áá° áá ááá á˛áá áľáᣠáá፠ááĽáᣠá˘ááá ááá° áĽááłááᣠááľá¨á áá´áł ááᢠá°ááŁáŤá áĽááááá˝áŚ
- á¨ááá á ááľ áá፠áá¨á ááĽááľ (anonymize)
- á¨áŽááľ ááἠáá°áŤááľ á¨áá˝á ááľáŁá ááá˛
- á¨ááĽá¨áááľ áá¤áľ á¨á°á áá áĽáť áĽáá˛áŤá á¨ááŤá°áá á ááŤá¨áĽ
á¨ááľá áááŁá á (Bias audit)
LLM á á ááłááľ á ááŤá¨áĽ á¨ááá áĽáá˝ááá á¨áĽáááľ áá ááŤá°áŁáá áá˝ááᢠá°á᪠á á ááá á áááľ á áááá˝ áá á áŁá áĽáŠ áŁáááá á áľá°áłá°áĄ áľááá ááá áá˝ááᢠáľááá ááŽáááľ ááľáĽ âááá áĽáŤáľá á¨áĽáááľ ááâ á¨áá áááŞáŤ ááľááŁáľ áá¨áłáᢠáĽáá˛áá áá¨áŤ á˛á°á¨á á á°ááŤáŠ á¨áááľ á áŚá˝ áá áá¤áľ áĽááłáááŤá ááááá áá á ááá˘
á¨âHallucinationâ áá¨áá¨á
LLM á ááłááľ áá á áŤáą á¨áá ᨠááá áá¨áá áá˝ááᣠá á°áá á¨âá°ááŞá áĽáá˛á áĽá á áľááá§áâ áŤá ááá á˛á˝áᢠáá á ááááŁá á á ááŽáááľ ááľáĽ âá á°ááŞá á˝áá ááľáĽ áŤááá áĽáť áĽááľâ á¨áá á°áἠáá á ááᢠáĽá á¨ááá°á á áĽáŁ ááĽá¨áááľ ááľáĽ á¨áá ááą ááľá¨ááá˝ á á áá áĽáá˛áᥠááľá¨á áá (áááłáጠâáĽáá áŤáá ááááŤáľ á áá ááá á (ââŚâ áĽáá ááá áá)â).
á áŽáá /áŠáá¨áá˛á˛ ááľáĽ áááá á¨áá á á 7-áĽááá áĽá áľ
áááľ: áľáá˝ ááááľ áááŠáŁ rubric á áľá°áŤááᣠááŽáááľ ááá á á ááᣠáŤááĽáŹá˝á áŤáľááᣠáááááľ áá áĽáᣠá°á᪠ááá˝ááľ áŤá ááĄáŁ ááŁá ááťáťáŤ ááľáŠá˘
- á ááľá°á ááááľ ááá¨áĄ: 20â40 áľáŤáá˝ áŤáá áľ á ááľ á áłááááľ (low-stakes) ááááŠá˘
- Rubric á áľááľá áŤáĽáŠ: âáĽáŠ ááâ á¨áá áá áĽáť á ááľáŤáᤠáá áááľ áĽáá°áá á ááłá áá°ááá˘
- ááŽáááľ ááá á áŤáá: á ááľ áá°á á ááááľ á áŽááľ ááľáĽ ááťáá (input â criteria â output format).
- áŤááĽáŹá˝á áŤáľáá: 10 áľáŤáá˝á ááá አáĽá LLM á á°áá áŤáááᣠááŠááľ áŤá ááŽáááľ/ rubric áŤáľá°áŤááá˘
- Human review áŚáł ááľáĄ: á¨á ááá áá áŤá ááĽáĽ á°á¨á᪠ááá፠áĽáá˛áŤáá á á á áľááá˘
- á°á᪠ááá˝ááľ áŤáľááĄ: âLLM áĽáá´áľ áĽáá°á°á áááâ áĽá âáá á¨áá¨á¨áť ááłá áĽááłááâ á ááá˝ áá ááááŠá˘
- áááŞáŤ áŤáľáááĄ: á¨ááá á á¨áá á ááł (áááłá á á áłááááľ áá 30% áá ááááľ) áĽá á¨á°á᪠áĽááŤáł (á á áá áĽááľ) áĽáá˛á áááŠá˘
âAI ááá áá áá°áŤá?â á¨ááá áááá á áĽáááľ á¨áá¨áłá
áááľ: ááá áá á áá°áŤá; ááá አá¨ááŤá°áááá á áľá°áŤá¨áľ ááá á áĽá á°ááŤá᪠ááĽá¨áááľ áááľá áľ áá ááľáááľ áá˝ááá˘
á¨áá áá áĽáŤ áĽáá á፠á áá°áá áĽáŹ á ááááᢠáŤáľ-á°á áááááľ ááá áŠá á¨âááĽá ááá áâ áá° âááá ááŞâ áŤááŁááᢠáá á¨áááłá˝á á°á¨áłáłá á áá ááâAI á¨áá á¨áááŞáŤ ááááľ á˛ááĽá á°á᪠áĽáŤááłááą á¨áááááá áááŞáŤ á ááá áŤáááᢠááá áŠá áá° á¨áá°á áá áŤáá¸á áľáŤáá˝âááááľáŁ ááľá°áŤá¨áŤáŁ áááâáá ááááłáá˘
á¨áááĽáá áĽááá? áĽáŁáá á á ááľ áŽááľ áá áľáá˝ ááááľ ááááŠáŁ áĽá á¨ááĽá¨áááľ áĽáŤáľá á á°á᪠á áľá°áŤá¨áľ ááááᢠá¨áááá ááľáá á¨á á á á áá áá á ááłá°á ááťááá˘
á 2026 á´ááľá°á ááááŞáŤ áááá˝ áá áá á áĽáľá ááľááŁáľ áĽá¨áłá¨ ááâáĽááľá á áááá ááľáĽ áŤáľ-á°á ááĽá¨áááľá á˛ááአá¨ááááŞáŤ áĽá áľá áá áááá?