HuggingFace и IISc создают языковую базу данных Индии

Post Thumbnail

HuggingFace и Индийский институт науки (IISc) объявили о партнерстве, которое сделает Vaani, крупнейший мультимодальный и мультиязычный датасет Индии, доступным разработчикам по всему миру. Проект направлен на создание инклюзивных AI-технологий, учитывающих лингвистическое и культурное разнообразие страны.

Проект Vaani, запущенный в 2022 году совместно IISc/ARTPARK и Google, ставит амбициозную цель: собрать более 150 000 часов речи и 15 000 часов транскрибированного текста от 1 миллиона человек во всех 773 районах Индии. Уникальность проекта заключается в его геоцентричном подходе, который позволяет собирать данные о диалектах и языках, используемых в отдаленных регионах, а не только о mainstream языках.

На данный момент проект реализуется поэтапно. Первая фаза, охватывающая 80 районов, уже завершена, и данные находятся в открытом доступе. Сейчас идет вторая фаза, расширяющая охват еще на 100 районов.

По состоянию на 15 февраля 2025 года, открытая часть датасета включает транскрибированный поднабор, содержащий 790 часов аудио от примерно 700 000 спикеров и охватывающий 70 000 изображений. Этот ресурс предназначен для различных задач, включая:

  • Распознавание речи: обучение моделей точной транскрипции устной речи
  • Языковое моделирование: создание более совершенных языковых моделей
  • Сегментацию: идентификацию отдельных речевых единиц для повышения точности транскрипции

Партнерство между HuggingFace и IISc/ARTPARK нацелено на повышение доступности и удобства использования датасета Vaani, что должно способствовать развитию AI-систем, лучше понимающих разнообразие индийских языков и отвечающих цифровым потребностям населения страны.

Этот проект представляет собой важный шаг в демократизации AI-технологий и создании более инклюзивных решений, учитывающих лингвистическое разнообразие одной из крупнейших стран мира.

AIvengo > Новости ИИ > HuggingFace и IISc создают языковую базу данных Индии
Почитать из последнего
Cloudflare даёт сайтам инструмент против обучения ИИ
Cloudflare решила разделить поисковых и обучающих ботов. Для владельца сайта разница принципиальна: поисковик способен привести читателя по ссылке, а обучающий бот просто забирает материал для модели, которая потом выдаёт содержание в ответе.
Рейтинг юристов по искусственному интеллекту 2026: как выбрать под AI-проект
Юрист по искусственному интеллекту — отдельная специализация, а не «IT-юрист, который слышал про нейросети». В 2026 году в России сформировались четыре типа таких практик: узкопрофильные бутики только по IT и AI, крупные фирмы по цифровому праву с AI-направлением, digital-бутики с фокусом на гранты и ЭПР, и гиперспециализированные команды по международному AI-комплаенсу. Различаются они по четырём осям: широта задач (от одного авторского спора до полного governance), международный контур, глубина работы с регуляторикой и модель работы. Ниже — что изменилось в законе в 2026 году, методология сравнения и разбор четырёх платформ: ПравоWeb, АБП, DGTLaw и AI Law.
В Siri обнаружили поддержку сторонних языковых моделей
Apple оставила в iOS 27 и macOS Golden Gate механизмы, которые позволяют подключать к Siri сторонние большие языковые модели. Датамайнер pdfu проверил их на практике и смог связать ассистента с Claude от Anthropic, а серверную модель Siri заменить на GPT-5.6 Terra от OpenAI.
Музыку российских звёзд нашли в открытых датасетах
ИИ учится на миллионах файлов, и иногда в этих массивах обнаруживается контент, который никто не разрешал использовать. Теперь в открытых датасетах для обучения нейросетей нашли тысячи фрагментов музыкального контента российских исполнителей.
Microsoft заставила ИИ просить разрешения на опасные действия
Microsoft предупреждает: Copilot Cowork может ошибиться, неверно понять инструкцию или среагировать на скрытую вредоносную команду. Ответственность за действия остаётся за пользователем, особенно при работе с деньгами и данными.