Библиотека ExactusSemVectors для формирования кросс-языковых векторных представлений текстов. Обзор основных возможностей библиотеки.

Быстрое начало работы

Скачайте небольшой набор документов и предобученную модель:

$ curl -O dn11.isa.ru:8080/doc-enc-data/datasets.docs.mini.v1.tar.gz
$ tar xf datasets.docs.mini.v1.tar.gz
$ find docs-mini/texts/ -name "*.txt" > files.txt

$ curl -O http://dn11.isa.ru:8080/doc-enc-data/models.def.pt

Данные доступны для скачивания по ссылке, в случае если приведенные выше ссылки не работают.

Для запуска процесса конвертации удобно использовать готовый докер-образ. Перед этим необходимо установить nvidia container toolkit для докера.

$ docker run  --gpus=1  --rm  -v $(pwd):/temp/ -w /temp  \
  semvectors/doc_enc:0.1.2 \
  docenccli docs -i /temp/files.txt -o /temp/vecs -m /temp/models.def.pt

Вектора будут сохранены в директории vecs вместе с именами файлов, с помощью функции numpy.savez. Пример загрузки векторов из этих файлов:

import numpy as np

obj = np.load('vecs/0000.npz')
print(obj['ids'][:2])
print(obj['embs'][:2])

Contents:

• Как пользоваться библиотекой
• Предобученные модели
  • Предыдущие версии модели
• Преобразование документов в векторы
  • Преобразование документов через командную строку
  • Преобразование документов с помощью программного интерфейса
  • Описание API
• Настройка предобученной модели
  • Формат датасета
  • Запуск настройки
  • Настройка произвольной задачи
• Процесс обучения
  • Запуск обучения
  • Запуск на нескольких серверах
  • Оценка качества обученной модели
  • Конфигурация процесса обучения
• Оценка качества обученной модели
  • Тестовые данные
  • Запуск оценки качества
  • Основные параметры оценки качества
  • Пример запуска с измененными параметрами
• Работа в среде nix
  • Предварительная настройка
  • Установка библиотеки
  • Работа с библиотекой в командной строке
  • Использование API библиотеки
  • Среда разработки библиотеки
• Подготовка наборов данных
  • Параллельные предложения
  • Датасет похожих документов
  • Токенизатор

Благодарности

Библиотека создана при поддержке Фонда содействия инновациям» (Договор № 6ГУКодИИС12-D7/72695 о предоставлении гранта на выполнение проекта открытых библиотек от 26 декабря 2021 г.)