В Google создали технологию для изучения «языка» дельфинов

Google в сотрудничестве с исследователями из Georgia Tech и учеными из Wild Dolphin Project (WDP) разработали DolphinGemma — базовую модель ИИ, обученную исследовать структуру вокализации дельфинов и генерировать новые последовательности звуков, похожие на те, что издают дельфины. 

• Для модели ИИ применили замеры WDP: с 1985 года ученые проводят самый продолжительный в мире проект по исследованию дельфинов, изучая этих животных на Багамах. За десятилетия удалось накопить множество подводных видео и аудио.
• Основное внимание WDP уделяет анализу взаимодействий дельфинов. Ученые сопоставляли типы звуков с поведением животных. Например, это свист, который используют матери и детеныши для воссоединения, или импульсные «пронзительные крики», часто слышимые во время драк.
• Конечная цель — понять структуру и значение в звуковых последовательностях. 

Как работает DolphinGemma

Языковая модель Google использует определенные аудиотехнологии компании: токенизатор SoundStream представляет звуки дельфинов, которые затем обрабатываются архитектурой модели. У DolphinGemma примерно 400 млн параметров, она может работать на телефонах Pixel, которые WDP использует в полевых условиях. 

• DolphinGemma, прошедшая обучение на акустической базе WDP о дельфинах, обрабатывает последовательности звуков дельфинов для выявления закономерностей, структуры и в конечном итоге прогнозирования вероятных последующих звуков.
• Специалисты также создали синтетические звуки для обозначения объектов, с которыми дельфины взаимодействуют: предполагается, что это сформирует общий словарь с этими животными.

Авторы планируют поделиться DolphinGemma как открытой моделью уже летом. ИИ будет потенциально полезен и для изучения других видов китообразных.