Yazma Becerilerinin Değerlendirilmesinde Yapay Zekâ ve Öğretim Görevlisi Puanlamalarının Karşılaştırılması.
Saved in:
| Title: | Yazma Becerilerinin Değerlendirilmesinde Yapay Zekâ ve Öğretim Görevlisi Puanlamalarının Karşılaştırılması. |
|---|---|
| Alternate Title: | Comparing Artificial Intelligence (AI) and Instructor Scoring in Writing Skills Assessment. |
| Authors: | YILDIZ, Ümit1, ASMA, Burak1 burakasma@akdeniz.edu.tr |
| Source: | Pamukkale University Journal of Education / Pamukkale Üniversitesi Eğitim Fakültesi Dergisi. 2026, Issue 66, p94-108. 30p. |
| Subject Terms: | *Artificial intelligence, *Scoring rubrics, *Inter-observer reliability, *Foreign language education, *Generalizability theory, *Grading of students, *Language ability testing, Turkish language |
| Abstract (English): | This study examines the use of artificial intelligence tools, which have recently gained prominence, in the assessment and evaluation process of language education. To this end, the writing tasks of A2, B1, and B2 level students learning Turkish as a foreign language were assessed by 25 instructors specializing in teaching Turkish as a foreign language and four artificial intelligence tools. Both groups used an analytical rubric specifically designed for assessing writing skills. Scoring was conducted twice, as a pre-test and post-test, and comparisons were made both within and between groups. Data were analyzed using descriptive statistics and Generalizability Theory through SPSS and EduG programs. The findings indicate that instructor assessments declined significantly over time. The largest source of variance was the interaction between persons and raters, suggesting issues related to severityleniency biases and level-based scoring inconsistencies. In contrast, AI tools produced consistent results across all proficiency levels and time points. The fact that most variance stemmed from individual differences rather than rater effects highlights AI's high level of objectivity. These findings suggest that AI tools have the potential to enhance assessment processes in language education while emphasizing the importance of human assessment for flexibility and contextual understanding. [ABSTRACT FROM AUTHOR] |
| Abstract (Turkish): | Bu araştırmada, son döneme damgasını vuran yapay zekâ uygulamalarının dil eğitiminde ölçme ve değerlendirme sürecinde kullanımına odaklanılmıştır. Bu amaçla, yabancı dil olarak Türkçe öğrenen A2, B1 ve B2 düzeyindeki öğrencilerin yazma görevleri yabancı dil olarak Türkçe öğretimi alanında görevini sürdüren 25 öğretim görevlisi ve dört yapay zekâ uygulaması tarafından değerlendirilmiştir. Yazma görevleri değerlendirilirken her iki grupta da yazma becerisini değerlendirmeye yönelik geliştirilen dereceli puanlama anahtarı kullanılarak değerlendirmeler yapılmıştır. Puanlamalar ön test ve son test uygulaması olmak üzere iki kez yapılmış, uygulamalar hem kendi içinde hem de uygulamalar arasında olmak üzere karşılaştırılmıştır. Toplanan veriler, betimsel istatistikler ve Genellenebilirlik Kuramı kapsamında SPSS ve EduG programları kullanılarak analiz edilmiştir. Araştırma sonuçlarına göre, öğretim görevlileri değerlendirmelerinde zaman içinde önemli düşüş göstermiştir. Puanlamalarda en büyük varyans kaynağının Birey-Puanlayıcı etkileşimi olması, öğretim görevlilerin katılık-cömertlik ve seviyeye göre puanlama konusunda sorunlar yaşadığını göstermiştir. Yapay zekâ araçları ise tüm düzeylerde ve zaman içinde tutarlı sonuçlar üretmiştir. Varyansın büyük kısmının birey etkisinden kaynaklanması ve puanlayıcı etkisinin olmaması, yapay zekâ uygulamalarının değerlendirmelerde yüksek objektiflik sağladığını ortaya koymuştur. Bu bulgular, yapay zekâ araçlarının dil eğitiminde ölçme ve değerlendirme süreçlerinde potansiyel bir role sahip olduğunu gösterirken, insan değerlendirmesinin esnekliği ve bağlamsal faktörleri dikkate alma yeteneğinin de önemini vurgulamaktadır. [ABSTRACT FROM AUTHOR] |
| Copyright of Pamukkale University Journal of Education / Pamukkale Üniversitesi Eğitim Fakültesi Dergisi is the property of Pamukkale University Journal of Education and its content may not be copied or emailed to multiple sites without the copyright holder's express written permission. Additionally, content may not be used with any artificial intelligence tools or machine learning technologies. However, users may print, download, or email articles for individual use. This abstract may be abridged. No warranty is given about the accuracy of the copy. Users should refer to the original published version of the material for the full abstract. (Copyright applies to all Abstracts.) | |
| Database: | Education Research Complete |
| FullText | Links: – Type: pdflink Text: Availability: 0 |
|---|---|
| Header | DbId: ehh DbLabel: Education Research Complete An: 193610663 AccessLevel: 6 PubType: Academic Journal PubTypeId: academicJournal PreciseRelevancyScore: 0 |
| IllustrationInfo | |
| Items | – Name: Title Label: Title Group: Ti Data: Yazma Becerilerinin Değerlendirilmesinde Yapay Zekâ ve Öğretim Görevlisi Puanlamalarının Karşılaştırılması. – Name: TitleAlt Label: Alternate Title Group: TiAlt Data: Comparing Artificial Intelligence (AI) and Instructor Scoring in Writing Skills Assessment. – Name: Author Label: Authors Group: Au Data: <searchLink fieldCode="AR" term="%22YILDIZ%2C+Ümit%22">YILDIZ, Ümit</searchLink><relatesTo>1</relatesTo><br /><searchLink fieldCode="AR" term="%22ASMA%2C+Burak%22">ASMA, Burak</searchLink><relatesTo>1</relatesTo><i> burakasma@akdeniz.edu.tr</i> – Name: TitleSource Label: Source Group: Src Data: <searchLink fieldCode="JN" term="%22Pamukkale+University+Journal+of+Education+%2F+Pamukkale+Üniversitesi+Eğitim+Fakültesi+Dergisi%22">Pamukkale University Journal of Education / Pamukkale Üniversitesi Eğitim Fakültesi Dergisi</searchLink>. 2026, Issue 66, p94-108. 30p. – Name: Subject Label: Subject Terms Group: Su Data: *<searchLink fieldCode="DE" term="%22Artificial+intelligence%22">Artificial intelligence</searchLink><br />*<searchLink fieldCode="DE" term="%22Scoring+rubrics%22">Scoring rubrics</searchLink><br />*<searchLink fieldCode="DE" term="%22Inter-observer+reliability%22">Inter-observer reliability</searchLink><br />*<searchLink fieldCode="DE" term="%22Foreign+language+education%22">Foreign language education</searchLink><br />*<searchLink fieldCode="DE" term="%22Generalizability+theory%22">Generalizability theory</searchLink><br />*<searchLink fieldCode="DE" term="%22Grading+of+students%22">Grading of students</searchLink><br />*<searchLink fieldCode="DE" term="%22Language+ability+testing%22">Language ability testing</searchLink><br /><searchLink fieldCode="DE" term="%22Turkish+language%22">Turkish language</searchLink> – Name: Abstract Label: Abstract (English) Group: Ab Data: This study examines the use of artificial intelligence tools, which have recently gained prominence, in the assessment and evaluation process of language education. To this end, the writing tasks of A2, B1, and B2 level students learning Turkish as a foreign language were assessed by 25 instructors specializing in teaching Turkish as a foreign language and four artificial intelligence tools. Both groups used an analytical rubric specifically designed for assessing writing skills. Scoring was conducted twice, as a pre-test and post-test, and comparisons were made both within and between groups. Data were analyzed using descriptive statistics and Generalizability Theory through SPSS and EduG programs. The findings indicate that instructor assessments declined significantly over time. The largest source of variance was the interaction between persons and raters, suggesting issues related to severityleniency biases and level-based scoring inconsistencies. In contrast, AI tools produced consistent results across all proficiency levels and time points. The fact that most variance stemmed from individual differences rather than rater effects highlights AI's high level of objectivity. These findings suggest that AI tools have the potential to enhance assessment processes in language education while emphasizing the importance of human assessment for flexibility and contextual understanding. [ABSTRACT FROM AUTHOR] – Name: Abstract Label: Abstract (Turkish) Group: Ab Data: Bu araştırmada, son döneme damgasını vuran yapay zekâ uygulamalarının dil eğitiminde ölçme ve değerlendirme sürecinde kullanımına odaklanılmıştır. Bu amaçla, yabancı dil olarak Türkçe öğrenen A2, B1 ve B2 düzeyindeki öğrencilerin yazma görevleri yabancı dil olarak Türkçe öğretimi alanında görevini sürdüren 25 öğretim görevlisi ve dört yapay zekâ uygulaması tarafından değerlendirilmiştir. Yazma görevleri değerlendirilirken her iki grupta da yazma becerisini değerlendirmeye yönelik geliştirilen dereceli puanlama anahtarı kullanılarak değerlendirmeler yapılmıştır. Puanlamalar ön test ve son test uygulaması olmak üzere iki kez yapılmış, uygulamalar hem kendi içinde hem de uygulamalar arasında olmak üzere karşılaştırılmıştır. Toplanan veriler, betimsel istatistikler ve Genellenebilirlik Kuramı kapsamında SPSS ve EduG programları kullanılarak analiz edilmiştir. Araştırma sonuçlarına göre, öğretim görevlileri değerlendirmelerinde zaman içinde önemli düşüş göstermiştir. Puanlamalarda en büyük varyans kaynağının Birey-Puanlayıcı etkileşimi olması, öğretim görevlilerin katılık-cömertlik ve seviyeye göre puanlama konusunda sorunlar yaşadığını göstermiştir. Yapay zekâ araçları ise tüm düzeylerde ve zaman içinde tutarlı sonuçlar üretmiştir. Varyansın büyük kısmının birey etkisinden kaynaklanması ve puanlayıcı etkisinin olmaması, yapay zekâ uygulamalarının değerlendirmelerde yüksek objektiflik sağladığını ortaya koymuştur. Bu bulgular, yapay zekâ araçlarının dil eğitiminde ölçme ve değerlendirme süreçlerinde potansiyel bir role sahip olduğunu gösterirken, insan değerlendirmesinin esnekliği ve bağlamsal faktörleri dikkate alma yeteneğinin de önemini vurgulamaktadır. [ABSTRACT FROM AUTHOR] – Name: AbstractSuppliedCopyright Label: Group: Ab Data: <i>Copyright of Pamukkale University Journal of Education / Pamukkale Üniversitesi Eğitim Fakültesi Dergisi is the property of Pamukkale University Journal of Education and its content may not be copied or emailed to multiple sites without the copyright holder's express written permission. Additionally, content may not be used with any artificial intelligence tools or machine learning technologies. However, users may print, download, or email articles for individual use. This abstract may be abridged. No warranty is given about the accuracy of the copy. Users should refer to the original published version of the material for the full abstract.</i> (Copyright applies to all Abstracts.) |
| PLink | https://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=ehh&AN=193610663 |
| RecordInfo | BibRecord: BibEntity: Identifiers: – Type: doi Value: 10.9779/pauefd.1574813 Languages: – Code: tur Text: Turkish PhysicalDescription: Pagination: PageCount: 30 StartPage: 94 Subjects: – SubjectFull: Artificial intelligence Type: general – SubjectFull: Scoring rubrics Type: general – SubjectFull: Inter-observer reliability Type: general – SubjectFull: Foreign language education Type: general – SubjectFull: Generalizability theory Type: general – SubjectFull: Grading of students Type: general – SubjectFull: Language ability testing Type: general – SubjectFull: Turkish language Type: general Titles: – TitleFull: Yazma Becerilerinin Değerlendirilmesinde Yapay Zekâ ve Öğretim Görevlisi Puanlamalarının Karşılaştırılması. Type: main BibRelationships: HasContributorRelationships: – PersonEntity: Name: NameFull: YILDIZ, Ümit – PersonEntity: Name: NameFull: ASMA, Burak IsPartOfRelationships: – BibEntity: Dates: – D: 01 M: 01 Text: 2026 Type: published Y: 2026 Identifiers: – Type: issn-print Value: 13010085 Numbering: – Type: issue Value: 66 Titles: – TitleFull: Pamukkale University Journal of Education / Pamukkale Üniversitesi Eğitim Fakültesi Dergisi Type: main |
| ResultId | 1 |
