Open AccessАдаптація методу Distilling Knowledge в обробці природної мови для аналізу тонального забарвлення текстів.
Author(s) -
O. Korovii
Publication year - 2021
Publication title -
komp'ûterno-ìntegrovanì tehnologìï: osvìta, nauka, virobnictvo
Language(s) - Ukrainian
Resource type - Journals
eISSN - 2524-0560
pISSN - 2524-0552
DOI - 10.36910/6775-2524-0560-2021-45-11
Subject(s) - computer science , artificial intelligence
У цій статті описано, як адаптувати прикладний метод «дистиляції знань» для аналізу настроїв для української та російської мов. Показано, як мінімізувати ресурси без втрати значної точності, але прискорити розпізнавання тексту, а також як зменшити витрати на хмарі за допомогою методу «перегонки знань». Для дослідження ми використовували два типи архітектури різних нейронних мереж для обробки природної мови: BERT замість моделей ансамблю та FastText як невелику модель. Поєднання цих двох нейронних мереж (BERT як викладач і FastText як учень) дозволило нам досягти прискорення до 5 разів і без великої точності в задачі аналізу настроїв.