Прогнозування пунктуації тексту на основі моделі BERT

Багато актуальних NLP завдань, включаючи задачу авто пунктуації, залежать від ефективного вирішення завдання прогнозування – визначення того, який саме  токен повинен бути наступним. У даній роботі розглянута підзадача прогнозування наступного токену на основі попередніх. Основною проблемою існуючих підходів є те, що вони не однаково ефективні. З метою вирішення цієї проблеми у даній роботі розглядається використання двонаправлених кодерів моделі BERT з даними, які були токенізовані.