В Google создали технологию для изучения «языка» дельфинов
Google в сотрудничестве с исследователями из Georgia Tech и учеными из Wild Dolphin Project (WDP) разработали DolphinGemma — базовую модель ИИ, обученную исследовать структуру вокализации дельфинов и генерировать новые последовательности звуков, похожие на те, что издают дельфины.
- Для модели ИИ применили замеры WDP: с 1985 года ученые проводят самый продолжительный в мире проект по исследованию дельфинов, изучая этих животных на Багамах. За десятилетия удалось накопить множество подводных видео и аудио.
- Основное внимание WDP уделяет анализу взаимодействий дельфинов. Ученые сопоставляли типы звуков с поведением животных. Например, это свист, который используют матери и детеныши для воссоединения, или импульсные «пронзительные крики», часто слышимые во время драк.
- Конечная цель — понять структуру и значение в звуковых последовательностях.
Как работает DolphinGemma
Языковая модель Google использует определенные аудиотехнологии компании: токенизатор SoundStream представляет звуки дельфинов, которые затем обрабатываются архитектурой модели. У DolphinGemma примерно 400 млн параметров, она может работать на телефонах Pixel, которые WDP использует в полевых условиях.
- DolphinGemma, прошедшая обучение на акустической базе WDP о дельфинах, обрабатывает последовательности звуков дельфинов для выявления закономерностей, структуры и в конечном итоге прогнозирования вероятных последующих звуков.
- Специалисты также создали синтетические звуки для обозначения объектов, с которыми дельфины взаимодействуют: предполагается, что это сформирует общий словарь с этими животными.
Авторы планируют поделиться DolphinGemma как открытой моделью уже летом. ИИ будет потенциально полезен и для изучения других видов китообразных.
