Мультимодальный поиск: картинки и голос в нейросетях
Мультимодальный поиск — это когда вопрос задают не только текстом, но и картинкой, голосом или их сочетанием: сфотографировали деталь и спросили «где такую купить», сказали вслух «найди сервис рядом, который работает до десяти». Современные модели умеют принимать на вход изображения и речь, переводить их в понятный себе вид и дальше искать ответ так же, как для текста. Для сайта это значит, что работают не только слова на странице, но и фотографии с подписями, а для голоса — короткие, однозначные ответы.
Что значит «мультимодальная»
Модальность — это вид данных: текст, изображение, звук, видео. Ранние языковые модели работали только с текстом. Мультимодальные принимают несколько видов сразу: им можно показать фото, дать послушать запись, загрузить скриншот таблицы.
Внутри всё сводится к общему знаменателю. Изображение или звук переводятся в то же внутреннее представление, с которым модель работает при чтении текста. Грубая аналогия — переводчик, который понимает несколько языков и пересказывает всё на одном рабочем. Подробнее о том, как модель обрабатывает текст, — в статье о токенах и контекстном окне.
Поиск по картинке: как это выглядит сейчас
Сценарии, которые уже стали привычными:
- «Что это?» Фото растения, гриба, детали, незнакомого предмета — и ответ с названием.
- «Где купить такое же?» Фото кроссовок, лампы, плитки — и список похожих товаров с магазинами.
- «Как это починить?» Фото сломанного узла или ошибки на экране — и пошаговая инструкция.
- «Что здесь написано?» Фото вывески, меню, инструкции на другом языке — и перевод с пояснением.
Поиск по картинкам давно есть в обычных поисковиках, например в Яндексе. Нейросети добавили к нему диалог: можно уточнить «а подешевле», «а в белом цвете», «а что из этого есть в моём городе». Функции у разных сервисов различаются и меняются — проверяйте в самом сервисе.
Что это значит для сайта с товарами или услугами
Система сопоставляет фото пользователя с изображениями и текстами в интернете. Чтобы ваш товар нашёлся по фотографии:
- Используйте собственные фото. Если у вас те же картинки, что у десятка других магазинов, системе не из чего выбрать именно вас.
- Снимайте товар с нескольких сторон и в реальном использовании, а не только на белом фоне.
- Подписывайте изображения. Атрибут alt и подпись рядом с фото — это то, что связывает картинку со словами: «Плитка керамическая 30×60, матовая, серый бетон».
- Держите описание рядом с фото. Характеристики, название модели, артикул — в тексте на той же странице, а не на картинке.
- Не прячьте фото за скриптами. Галерея, которая подгружается только после клика, может остаться невидимой для ботов. Как они читают страницы, — в статье как нейросети читают сайты.
Голосовой поиск: что меняется, когда ответ звучит вслух
Голосовой запрос проходит два лишних шага: речь распознаётся в текст, а ответ превращается обратно в речь. Между ними работает та же модель с поиском.
Отличия от текстового чата:
| Текстовый ответ | Голосовой ответ | |
|---|---|---|
| Длина | абзацы, таблицы, списки | одна-две фразы |
| Источники | ссылки видны | обычно не называются или называются один |
| Сколько вариантов | несколько компаний, сравнение | часто один вариант |
| Запрос | развёрнутый, письменный | разговорный, с «рядом», «сейчас», «открыто ли» |
| Опора для местных запросов | сайты и справочники | в первую очередь карты и карточки организаций |
Главное отличие — в голосе почти нет второго места. Экран может показать пять компаний, голос назовёт одну, в лучшем случае две.
Что это значит для бизнеса
- Карточка организации в картах и справочниках важнее сайта для местных голосовых запросов. Адрес, часы работы, телефон, категория должны быть точными и одинаковыми везде.
- На сайте нужны короткие прямые ответы. «Работаем ежедневно с 9 до 21» вместо «Наш режим работы составлен с заботой о клиентах».
- Формулировки как в разговоре. Голосом спрашивают «сколько стоит поменять экран на айфоне», а не «замена дисплея цена». Раздел вопросов и ответов с такими формулировками полезен и здесь.
- Без двусмысленности. Если ответ требует оговорок, сформулируйте главное первой фразой, а оговорки — следующей.
Смешанные запросы
Самое интересное — сочетания. Человек фотографирует пятно на потолке и голосом спрашивает: «Что это и кого вызвать?» Модель распознаёт изображение, понимает вопрос, ищет причину и тип специалиста, а затем — исполнителей рядом.
Чтобы оказаться в конце такой цепочки, сайту нужно связать проблему с решением: страница «Пятна на потолке после дождя: причины и ремонт кровли», а не только «Ремонт кровли». Модель ищет того, кто отвечает на ситуацию. Об этом же — в статье что такое промт, где разобрано, как меняются запросы клиентов.
Короткий чек-лист
- Собственные фотографии товаров и работ, а не стоковые.
- Осмысленный alt и подпись у ключевых изображений.
- Характеристики и названия — текстом рядом с фото.
- Карточки организации в картах заполнены и совпадают с сайтом.
- Часы работы, адрес, телефон — короткой фразой на сайте.
- Раздел вопросов с разговорными формулировками.
- Страницы, которые описывают проблемы клиентов, а не только услуги.
Кто из агентств помогает компаниям готовить сайт к ответам ассистентов, — в подборке на главной.
Частые вопросы
Понимает ли нейросеть, что изображено на фото на моём сайте?
Мультимодальные модели умеют распознавать содержимое картинок. Но при поиске система чаще опирается на текст вокруг изображения: подпись, alt, описание на странице. Без текста фото хуже связывается с запросами.
Нужно ли делать отдельную версию сайта для голосовых ассистентов?
Нет. Достаточно, чтобы на обычных страницах были короткие прямые ответы и точные контактные данные, а карточки в картах были заполнены.
Видео тоже участвует в мультимодальном поиске?
Некоторые модели умеют работать с видео, но для поиска сайтов чаще используются расшифровка, описание и подписи. Если на странице есть видео, полезно дать рядом краткое текстовое содержание.
Голосовой ассистент называет конкурента, а не нас. Почему?
Чаще всего у конкурента точнее и полнее карточка организации, больше отзывов или он ближе к пользователю. Начните с проверки собственной карточки: адрес, часы, категория, телефон.
Стоит ли выкладывать прайс или расписание картинкой?
Лучше дублировать текстом. Модели умеют читать текст на изображениях, но поисковые системы и боты при сборе страниц опираются прежде всего на HTML. Цена или часы работы, которые есть только на картинке, могут не попасть ни в индекс, ни в ответ ассистента.