HuggingFace и IISc создают языковую базу данных Индии
HuggingFace и Индийский институт науки (IISc) объявили о партнерстве, которое сделает Vaani, крупнейший мультимодальный и мультиязычный датасет Индии, доступным разработчикам по всему миру. Проект направлен на создание инклюзивных AI-технологий, учитывающих лингвистическое и культурное разнообразие страны.
Проект Vaani, запущенный в 2022 году совместно IISc/ARTPARK и Google, ставит амбициозную цель: собрать более 150 000 часов речи и 15 000 часов транскрибированного текста от 1 миллиона человек во всех 773 районах Индии. Уникальность проекта заключается в его геоцентричном подходе, который позволяет собирать данные о диалектах и языках, используемых в отдаленных регионах, а не только о mainstream языках.
На данный момент проект реализуется поэтапно. Первая фаза, охватывающая 80 районов, уже завершена, и данные находятся в открытом доступе. Сейчас идет вторая фаза, расширяющая охват еще на 100 районов.
По состоянию на 15 февраля 2025 года, открытая часть датасета включает транскрибированный поднабор, содержащий 790 часов аудио от примерно 700 000 спикеров и охватывающий 70 000 изображений. Этот ресурс предназначен для различных задач, включая:
- Распознавание речи: обучение моделей точной транскрипции устной речи
- Языковое моделирование: создание более совершенных языковых моделей
- Сегментацию: идентификацию отдельных речевых единиц для повышения точности транскрипции
Партнерство между HuggingFace и IISc/ARTPARK нацелено на повышение доступности и удобства использования датасета Vaani, что должно способствовать развитию AI-систем, лучше понимающих разнообразие индийских языков и отвечающих цифровым потребностям населения страны.
Этот проект представляет собой важный шаг в демократизации AI-технологий и создании более инклюзивных решений, учитывающих лингвистическое разнообразие одной из крупнейших стран мира.
