Post Thumbnail

HuggingFace и IISc создают языковую базу данных Индии

HuggingFace и Индийский институт науки (IISc) объявили о партнерстве, которое сделает Vaani, крупнейший мультимодальный и мультиязычный датасет Индии, доступным разработчикам по всему миру. Проект направлен на создание инклюзивных AI-технологий, учитывающих лингвистическое и культурное разнообразие страны.

Проект Vaani, запущенный в 2022 году совместно IISc/ARTPARK и Google, ставит амбициозную цель: собрать более 150 000 часов речи и 15 000 часов транскрибированного текста от 1 миллиона человек во всех 773 районах Индии. Уникальность проекта заключается в его геоцентричном подходе, который позволяет собирать данные о диалектах и языках, используемых в отдаленных регионах, а не только о mainstream языках.

На данный момент проект реализуется поэтапно. Первая фаза, охватывающая 80 районов, уже завершена, и данные находятся в открытом доступе. Сейчас идет вторая фаза, расширяющая охват еще на 100 районов.

По состоянию на 15 февраля 2025 года, открытая часть датасета включает транскрибированный поднабор, содержащий 790 часов аудио от примерно 700 000 спикеров и охватывающий 70 000 изображений. Этот ресурс предназначен для различных задач, включая:

  • Распознавание речи: обучение моделей точной транскрипции устной речи
  • Языковое моделирование: создание более совершенных языковых моделей
  • Сегментацию: идентификацию отдельных речевых единиц для повышения точности транскрипции

Партнерство между HuggingFace и IISc/ARTPARK нацелено на повышение доступности и удобства использования датасета Vaani, что должно способствовать развитию AI-систем, лучше понимающих разнообразие индийских языков и отвечающих цифровым потребностям населения страны.

Этот проект представляет собой важный шаг в демократизации AI-технологий и создании более инклюзивных решений, учитывающих лингвистическое разнообразие одной из крупнейших стран мира.

Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Latest News
ИИ-чатботы генерируют контент, усугубляющий расстройства питания

Совместное исследование Стэнфордского университета и Центра демократии и технологий показало тревожную картину. Чат-боты с искусственным интеллектом представляют серьёзный риск для людей с расстройствами пищевого поведения. Учёные предупреждают, что нейросети раздают вредные советы о диетах. Предлагают способы скрыть расстройство и генерируют "вдохновляющий контент для похудения", который усугубляет проблему.

OpenAGI выпустил модель Lux, которая обгоняет Google и OpenAI

Стартап OpenAGI выпустил модель Lux для управления компьютером и заявляет, что это прорыв. По бенчмаркам модель на целое поколение обгоняет аналоги от Google, OpenAI и Anthropic. Кроме того, она работает быстрее. Примерно 1 секунда на шаг вместо 3 секунд у конкурентов. И в 10 раз дешевле по стоимости обработки 1 токена.

Альтман объявил красную тревогу в OpenAI из-за успехов Google

Сэм Альтман объявил в OpenAI «красный уровень тревоги», и это не просто корпоративная драма. Это признание, что лидер рынка почувствовал дыхание конкурентов сзади. Согласно внутренней служебной записке, он мобилизует дополнительные ресурсы на улучшение ChatGPT в условиях растущей угрозы со стороны Google.

Пользователи тратят больше времени с Gemini, чем с ChatGPT

OpenAI всё ещё лидирует по числу пользователей, но люди начинают проводить больше времени с конкурентами. И это создаёт серьёзную проблему.

Компании возвращают 5% уволенных из-за провала внедрения ИИ

Многие компании начали возвращать уволенных из-за искусственного интеллекта сотрудников. Аналитическая компания Visier изучила данные о занятости 2,5 миллионов сотрудников из 142 компаний по всему миру. Около 5% уволенных сотрудников впоследствии вернулись к предыдущему работодателю. Этот показатель оставался стабильным несколько лет, но недавно начал расти.