AI á prompt-based LLMs á¨áŠáá¨áá˛á˛ ááááá áĽáá´áľ ááŁáᣠááľáá áĽá á¨ááá ááĽá¨áááľ áŤá°ááá á á°ááŁá áááŤááłáá˘

AI á áŠáá¨áá˛á˛ áá°áᥠááŁá ááĽáĽá ááĽá¨áááľ
2025 áá¨á¨áť áá áĽá áŠáá¨áá˛á˛áá˝ á ááľ ááá ááááľ ááľáĽ áá¸áᤠá°ááŞáá˝ á ááĽá áĽá¨á¨áአááᣠá¨áááá áľáŤ áá á á፠ááĽááľ á áá¨á°ááᢠá á°áá á¨á˝áá áááľ (essay)ᣠá¨áŞáááľ áĽá á¨áááľ áááľ áá°ááá˝ ááľáĽ ááĽáĽ ááľá áľá áĽáŤáľ áŤáá ááĽá¨áááľ ááťá á¨áŁáľ á¨á°ááľ á᪠ááᢠáĽá áá á°ááŞáá˝ âááĽáĽ á ááá áĽáá á¨ááááá áľá ááĽá¨áááľ á áááááâ áááá˘
áĽáá áá á¨prompt-based LLMs (á áááŞáŤ á˝áá á¨áá፠áľáá á¨ááá áá´á) á¨áááŁá áŚáł ááá ááᤠááá°á ááĽáĽ áĽá ááĽá¨áááľ ááĽçć á¨á°ááá á¨áááŞáŤ (prompt) á áá áá á°ááłáľá áááá ἠáĽá á¨á°á᪠áááá á áĽáŤáľ áááťáťá áá˝ááᢠáá á˝áá á áĽá á¨áľáááľ áľáá˘áľ âá áá˛ááťá á˘áá°ááááľ á áľáá ááľá á áľáá á áááâ ááľáĽ áĽáá° á¨ááłá áĽááľ á°ááጠááᤠá áľá°ááŞáá˝ áŤáá¸áá áĽááá°á ááááśá˝ (ááᣠááľááááľáŁ á¨á°á᪠áĽáľááľ) á ááłá°á áŚáłáá˝ áá áá áĽáá°áá°áŤ á á°ááŁá áĽáááááŤááá˘
á¨ááłá á˝áááľáĄ ááĽáĽ á áá°ááâááĽá¨áááľ áá
áááľ á ááááŞáŤáŚ á ááśáá˛á ááĽáĽ ááľá áľ áĽáť á¨áľáá ááľ ááἠá áá á áá°ááᤠá°á᪠á¨ááŤáťá˝áá ááá á á°ááŁá á¨áá፠ááĽá¨áááľ ááᢠááĽáĽ áĽáá° ááłá áááŁáᤠááĽá¨áááľ áá áĽáá° ááááľ áŤááł áá°áŤáá˘
á¨áĽá áŽááśá˝ á°ááᎠá¨ááłá¨áᣠá áľá°ááŞáá˝ á¨áá¨áááľ á°ááľ á¨á áĽáŤá á˛ááľ á¨ááĽá¨áááľ áĽáŤáľ áá áá° á á ááá á áľá°áŤá¨áľ (âáĽáŠ áá/á áťá˝áâ) ááááłáᢠáá á á°á᪠á¨ááá ááááľ áá áĽáľá¨ ááááľ ááľá¨áľ áá˝ááá˘
ááá á á¨áá°á áľáá ááľ á áŁá ááááťá?
áááľ á ááááŞáŤáŚ ááááŤáą á¨áľáŤ áá á áĽá á¨áááá á áááśá˝ áĽááľ ááᢠáŠáá¨áá˛á˛ ááľáĽ áŞáááľáŁ á¨áááá á ááŤá¨áĽáŁ áŽáľ áľáŤáŁ áááá á˝ááᣠááłá á ááłá áááľ áŤá á áááśá˝ áá á¨áá áááľ áĽáá á ááá áĽááľ á ááľ á¨áááá á áá°ááá˘
Prompt-based LLMs á áááá áá áĽáá´áľ áá°áŤá?
áááľ á ááááŞáŤáŚ áľáááá áĽá áĽáá áááŞáŤ (prompt) á˛á°áĽáŁ LLM á¨á°á᪠áááľá á¨rubric áá ááŤáŤááᣠááĽáĽ áá á áá áĽá á°ááŁáŤá ááĽá¨áááľ áŤáááŁáâáĽáá° âáá á°á¨á áá áá ?â âáá áááľááá?â âááŁáŠ áá áá?â
ááá áá âprompt-basedâ ááᢠáá´á áĽáá° á áľá°á᪠á áĽáᎠá áá°á á áá°áŤáᤠáĽááľá áĽáá˛á°áŤ á¨ááľááááľá á¨áááá á á áŁáŤ áĽá áá°á áááľ á ááá áááŞáŤ áá á˛áŤáľáᥠááᢠáĽá á¨áá¨áᣠá áĽááá áĄáľá áĽáá ááłáłáłáᤠâáĽáá á¨á°á᪠áááľâá áľá°áŤá¨áľ áľáĽâ áĽá áá°ááᢠáá á á ááá áĽá á¨ááááá áááľ áŤááŁáá˘
á¨áááŞáŤ (prompt) ááľáĽ ááአá¨ááᥠáááŽá˝
áááľ á ááááŞáŤáŚ áá ááśáá˛á áľáŽáŞáá áĽá ááĽá¨áááľ áĽáŤáľ 80% á¨áááľáá á¨prompt ááá ááľ ááᢠá°ááŁáŤá áĽá áľáŚ
- Rubric á ááá ááľááŁáľ: áá°áĽ (Criteria)ᣠááĽá°áľ (Weight)ᣠá¨á°á¨á ááá፠(Descriptors)ᢠáááłáጠá áááŤá¨áľ 30%ᣠááľá¨á 40%ᣠá áááá 20%ᣠááá 10%á˘
- á¨áá¤áľ á áá˝ ááááĽ: á ááĽáĽ á°áá á¨áĽ + 3-5 ááĽáĽ áŤáá¸á ááťáťáŤáá˝ + 1 á¨á°áá°á ááłá áááá˘
- á¨ááá áááŞáŤ: ááĽá¨áááľ á á ááá áĽáá˛ááᣠá¨áááááľ/á¨ááŤááł áááľ áĽáá˛á ááᣠâááľá¨á á¨áá˝ááľâ ááá áĽáá˛á ááá˘
- á¨ááłá áá°á: áŤáá°áá áá¨á áĽááłáááĽáᣠâá áá°á áá°áâ áĽá áĽáá˛ááá˝á˘
ááá ááá ááĽáጠâRubric áŤá áááá áĽáá° áááŞáŤ áŤá ááá ááá˘â
á ááśáá˛á ááĽáĽ á¨ááĽá¨áááľ áá á˛áŤááá á¨áá°áĽ áĽá´áľ
áááľ á ááááŞáŤáŚ áľáá áĽá´áľ á¨áááŁá ááĽááľ + áá°á áááľ + ááá áááŞáŤ á á ááľ áĽá á á˛ááá ááᢠááĽáĽ áĽáť á áá ááᣠááĽá¨áááľ áĽáťá áŤáá°ááá ááŤá˝ ááááᢠáááą á ááľ á˛áá á°ááŞáá˝ á ááŁáŠ áĽá áá á áľááá á¨ááááŠáľá ááá áŤáááá˘
á ááá ááľáĽ á°ááŁáŤá ááłá (á¨áá°áá á áĽá áľ)
áááľ á ááááŞáŤáŚ á áľá°ááŞá áĽáá° âáááľ-á°á¨á ááááâ áŤá°á¨áá á¨ááŤááá áĽáŤáľ á¨á áááá˘
- á°á¨á 1 (LLM á áľá-áááá): áá´á ááĽáĽ áá á ááᣠá¨rubric áá°áŚá˝ áá ááľááľ/ááá áááŤáᣠá¨ááťáťáŤ ááĽáŚá˝ áá°áŁáá˘
- á°á¨á 2 (á¨á áľá°á᪠áá¨áááŤ): á áľá°ááŞá á ááĽááľ áááááŤáᣠá¨ááá°áááá áľá ááá áŤáľá°áŤáááᣠá ááľ ááá áááľ á áŁá á¨ááአááłáŚá˝ áá¨ááŤáá˘
áĽáá˛á á˛áá á°ááŞá á áľá°á᪠áŤáá áľá áľáá˝ áá°ááᣠá áľá°ááŞá á°áá á âá á˝ áľáŤâ áá áĽáá á âá áĽáᎠáľáŤâ áá áááá á áŤááĽááá˘
á¨ááá áááŞáŤ ááááľ áááá á á¨áá¨áł ááĽáĽ
áááľ á ááááŞáŤáŚ LLM ááĽá¨áááľ á á°á᪠áľá á°áľ á áááľ áá á˛áŤá°á á¨ááá áááŞáŤ ááááľ ááá áŤáᢠáááłáᣠâááľá¨á áá á¨áĽ áá°áááâ áĽá á¨ááŤááá á°á᪠ááŁáŠ áľáŤ áá á¨ááľá¨á á áááśá˝ (ááľááááľáŁ ááĽá áá¨áᣠááłá áĽááľ) áĽáá˛áŤáľáᣠá ááĽáł áááŞáŤ ááá ááá˘
á¨á á°á ááĽáŚá˝áĄ ááľááááľáŁ á°áááááľ áĽá áááááľ
áááľ á ááááŞáŤáŚ á ááśáá˛á áľáŽáŞáá á áááľ ááŽáááľ á¨ááááá á ááľ áśáľáľ ááłáŽá˝á á áľááá áá ááťá á ááĽááľá¤ ááľááááľ (fairness)ᣠá°áááááľ (reliability)ᣠáááááľ (privacy)á˘
1) ááľááááľ (Bias) áĽáá´áľ ááłáŤá?
áááľ á ááááŞáŤáŚ áá´á á¨ááá á°á¨áᣠá¨ááťá á áá˝ ááá áŁá áá áááá ááŠááľ áá á ááááľ áááľ áá¨áá¨áŤ áááááᢠá°ááŁáŤá áá¨áá¨áŤáá˝áŚ
- á rubric ááľáĽ âáááľ áĽá á áľá°áłá°áĽâ á¨âááá áá á áâ áááŤá¨áľ
- á¨á°ááŤáŠ á¨á°á᪠ááłááá˝ áá á¨prompt áá¨áŤ
- á á°áá°á áááá˝ áá á¨á áľá°á᪠áá´áłá áááá (human-in-the-loop)
2) á°áááááľáĄ áá´á á°ááłáłá áááľ áá°ááłáłá áľáŤ áá°áŁá?
áááľ á ááááŞáŤáŚ á°áááááľ áááľ á°ááłáłá áľáŤáá˝ áá á°ááłáłá áááŞáŤ ááľá áľ ááᢠáĽáąá ááá¨áááĽáŚ
- 10-20 á¨á°ááŤáŠ áááśá˝ áá á¨âá¨ááááŞáŤ áá¨áŤâ áá°á á ááááŤ
- á¨á áľá°á᪠ááĽáĽ áĽá á¨LLM ááĽáĽ ááŤá¨á ááŠááľ á¨á°áá°á áá°áĽ á áá á˛áá áĽáá˛áłá áá°áá á
- áľáááá á¨áá፠á áá˝ (output format) áá á á
3) áááááľ áĽá á¨ááἠáĽá á
áááľ á ááááŞáŤáŚ á¨á°á᪠áľáŤ á á á ááá á¨áá ááἠááá áá˝ááᤠáľáᣠáá፠ááĽáᣠáĽááłá á¨áá áłáŞá ááᣠáá˝ááᢠáľááá áŚ
- á áá´á áá á¨ááŤá á ááľ áľá/áá፠ááĽááľ (anonymization)
- á¨á°á᪠áľáŤ ááá áá ááá ááᲠáĽá áááľ áááááľ
- á¨ááá ááľáĽ á á ááá áá°á á áááŞáŤ (áĽáá° âáá áĽáá¨áá/áá á ááľááŁâ)
á¨ááááŞáŤ 90 áá áĽá áľáĄ áľáá˝ ááᎠáľááá ááľá¨á
áááľ á ááááŞáŤáŚ á ááśáá˛á áľáŽáŞáá ááááá áá áŽááľ áááá¨á á áŤáľááááᤠáľáá˝ áá¨áŤ áĽáť á ááá áááŞáŤ áá áááŤá˘
áá 1-15ጠá°ááŁá ááá°á¨á á¨ááŤá á ááá áľ
- á ááľ á á°á ááá á ááľ áŞáááľ ááá ááá¨áĄ (áááłá 200-400 áááľ)
- rubric áŤá ááአ(áááŞáŤ áĽá á¨ááłá áááśá˝)
- á¨prompt áĽá áľ áŤá áአ(á¨ááľááááľ áá¤áľ á áá˝)
áá 16-45ጠáá¨áŤ áĽá áááťá¸á
- 20 áľáŤáá˝ áá LLM áĽá á áľá°á᪠á á°áá áááá
- ááŠááľ á áŁá á¨áá ááĽáŁá¸áá á áááśá˝ ááአ(áááłá á áááá á áááľ)
- prompt á áĽááá áá áĽáá˛áťáťá ááááŠ
áá 46-90ጠááá ááľáĽ áá°á á áá áá
- áá áľá°á᪠á¨áá¨áá፠áá°áľ áááá (áĽáá° â10% áľáŤáá˝ á áĽá áá ááááŤâ)
- áá°ááŞáá˝ ááá áááጠAI áá áĽáŤá°á¨á áá? á áľá°á᪠áá áááľáťá?
- ááĽá¨áááľá áá° áĽááá ááááŠáŚ á°ááŞáá˝ á¨ááŤá°áááľá á¨âáĽáá°áá áá á¨áĽâ áĽáľá áá¨ááŠ
á°á°ááá áĽáŤááá˝ (á áá áĽá ááá )
LLM á áľá°ááŞá áá°áŤá?
áááľ á ááááŞáŤáŚ á áá°áŤáᢠá¨ááŤá°ááá á¨âá áľá-ááááâ áĽá á¨ááĽá¨áááľ ááá ááĽá áá¨ááἠááᤠá¨áá¨á¨áť ááłá á á áľá°á᪠ááá¨áľ á áá áľá˘
á°ááŞáá˝ áĽááłáááľáąáľ áĽáá´áľ áĽáá¨áá¨ááá?
áááľ á ááááŞáŤáŚ ááĽá¨áááľá âáá°áľâ áá áŤá°á¨ááľ á˝áááą ááááłáᢠáááłá á¨á¨áá áľáŤ (draft) áá á¨áĽáŁ á¨ááá áá¨á ááááĽáŁ ááá ááľáĽ á áá á ááŤá¨áĽ (viva) áŤá á¨áá°áľ ááááŽá˝ á ááľááŁáľ ááá˘
á¨á ááá áááśá˝ áá áá°áŤá?
áááľ á ááááŞáŤáŚ á áâáá á rubric áĽá á prompt ááá ááľ áá áĽá¨áľ áááááᢠá á°áá á¨á áŤáŁá˘ áááľ/á áááážá˝ áĽá á¨áľááá°-ááĽáĽ ááŠááľ á˛áᣠá¨áá¨áá፠á°á¨á á¨á áááá˘
á¨ááŤáľáá ááłáĽáĄ ááááá áá° ááá ááááľ
á¨prompt-based LLMs áľááá á ááľ ááá ááᤠááááá áĽáá° âáá¨á¨áť áááľâ á¨áá¨áľ áá° âááŁá áĽááá áááŞáŤâ ááááľá˘ áá á áľáá ááľá á áľáá á ááá á¨AI áá áĽá á ááâá¨ááá áááŞáŤ ááááľ áĽáá˛áá á áĽá á áľá°ááŞáá˝ á á°á áĽááľ á¨áááá áŚáłáá˝ áá áĽáá˛ááŠá˘
ááááá áľáá˝ áá ááᤠá ááľ áááᣠá ááľ rubricᣠá ááľ ááá promptᣠáĽá á¨á áľá°á᪠áá¨áá፠áá°á á áá°áľá˘ á¨á፠á áá á¨ááá áĽáŤá áááጠá áĽááľá áľáá ááľ á¤áľ áááá á ááĽááľ áĽáť ááťáťááâáááľ á°ááŞáá˝ á áĽáááľ áĽáá˛áአáá¨áłá?