HuggingFace и IISc создают языковую базу данных Индии

HuggingFace и Индийский институт науки (IISc) объявили о партнерстве, которое сделает Vaani, крупнейший мультимодальный и мультиязычный датасет Индии, доступным разработчикам по всему миру. Проект направлен на создание инклюзивных AI-технологий, учитывающих лингвистическое и культурное разнообразие страны.

Проект Vaani, запущенный в 2022 году совместно IISc/ARTPARK и Google, ставит амбициозную цель: собрать более 150 000 часов речи и 15 000 часов транскрибированного текста от 1 миллиона человек во всех 773 районах Индии. Уникальность проекта заключается в его геоцентричном подходе, который позволяет собирать данные о диалектах и языках, используемых в отдаленных регионах, а не только о mainstream языках.

На данный момент проект реализуется поэтапно. Первая фаза, охватывающая 80 районов, уже завершена, и данные находятся в открытом доступе. Сейчас идет вторая фаза, расширяющая охват еще на 100 районов.

По состоянию на 15 февраля 2025 года, открытая часть датасета включает транскрибированный поднабор, содержащий 790 часов аудио от примерно 700 000 спикеров и охватывающий 70 000 изображений. Этот ресурс предназначен для различных задач, включая:

Распознавание речи: обучение моделей точной транскрипции устной речи
Языковое моделирование: создание более совершенных языковых моделей
Сегментацию: идентификацию отдельных речевых единиц для повышения точности транскрипции

Партнерство между HuggingFace и IISc/ARTPARK нацелено на повышение доступности и удобства использования датасета Vaani, что должно способствовать развитию AI-систем, лучше понимающих разнообразие индийских языков и отвечающих цифровым потребностям населения страны.

Этот проект представляет собой важный шаг в демократизации AI-технологий и создании более инклюзивных решений, учитывающих лингвистическое разнообразие одной из крупнейших стран мира.

Latest News

ИИ в промышленности: умные каски, инспекторы на 4-х ногах, двойники

Аналитический отчет McKinsey Global Institute говорит, что внедрение решений на базе искусственного интеллекта способно увеличить добавленную стоимость в глобальной промышленности на семь триллионов долларов уже к тридцатому году.

ИИ в криминалистике: предсказания преступлений, роботы-патрульные

Согласно данным Международной ассоциации криминалистов, внедрение технологий искусственного интеллекта повышает эффективность раскрытия сложных преступлений на тридцать-сорок процентов. Давайте разберёмся, как это происходит.

ИИ в медицине: прорывы, о которых молчат врачи

Трансформация медицины с помощью искусственного интеллекта — это не просто технологический скачок. А фундаментальное изменение подхода к лечению и диагностике заболеваний. Исследования показывают, что глобальный рынок искусственного интеллекта в здравоохранении вырастет до ста сорока пяти миллиардов долларов к тридцатому году. Для понимания роста - в двадцать четвертом году этот рынок составлял тридцать миллиардов долларов. То есть это рост почти в пять раз за шесть лет! Давайте разберемся, что стоит за этими цифрами.

YouTube предлагает бесплатную музыку от ИИ

YouTube запускает революционную функцию, позволяющую креаторам создавать уникальную инструментальную музыку с помощью искусственного интеллекта для своих видео. Об этом компания сообщила в обновлении на своем канале Creator Insider.

США готовы оштрафовать TSMC на $1 млрд за сотрудничество с Huawei

Крупнейшему в мире производителю микросхем Taiwan Semiconductor Manufacturing Company (TSMC) грозит штраф в размере $1 млрд или более по итогам расследования о нарушении экспортного контроля США. Причиной стало обнаружение чипов компании в AI-процессорах Huawei, сообщает Reuters.