Предобученные модели

• doc_trans_full1-9-4

  • 3xLSTM + 2xTransformer + 3xTransformer;

  • Training data - SimEnWiki,SimRuWiki,ParalWiki,SimEnSci;

  • 2xA100, 240k updates

Также модели можно скачать по ссылке.

Благодарности

Обучение моделей выполнялось с использованием инфраструктуры Центра коллективного пользования «Высокопроизводительные вычисления и большие данные» (ЦКП «Информатика») ФИЦ ИУ РАН (г. Москва).

Предыдущие версии модели

• doc_trans_full1-2, ts версия

  • 3xLSTM + 2xTransformer + 3xTransformer;

  • Training data - SimEnWiki,SimRuWiki,ParalWiki;

  • 2xA100, 80k updates

• doc_trans_full1-8-4

  • 3xLSTM + 2xTransformer + 3xTransformer;

  • Training data - SimEnWiki,SimRuWiki,ParalWiki,SimEnSci;

  • 2xA100, 240k updates