Open AccessМодель автоматической оценки адекватности запросно-ответных компьютерных систем с использованием генерации текстов
Author(s) -
Oleg Volkovskiy,
Egor Kovylin
Publication year - 2020
Publication title -
sistemnì tehnologìï
Language(s) - Ukrainian
Resource type - Journals
eISSN - 2707-7977
pISSN - 1562-9945
DOI - 10.34185/1562-9945-4-129-2020-06
Subject(s) - environmental science
У статті розглянуто питання оцінки результатів роботи систем запит-відповідь з використанням IR-based архітектури, а саме системи з використанням генерації текстів, яка була розроблена на основі алгоритму побудови семантичної моделі документа. Оскільки створені алгоритми є інноваційними, розробка методів автоматичного тестування адекватності системи, побудованої на їх основі, є дуже актуальною темою для досліджень. Було сформульовано два методи досліджень результатів роботи системи - на основі бального методу, для якого були описані критерії оцінювання отриманих відповідей, і алгоритм на основі значення коефіцієнта семантичної відповідності, який дозволив організувати автоматичне оцінювання результатів роботи системи. Отримані оцінки дозволяють стверджувати про адекватність як розробленої моделі системи запит-відповідь на основі генерації текстів, так і про адекватність створеної підсистеми оцінювання IR-based систем.