MM-ReAct

Коротко

MM-ReAct полезен, когда:

• задача multimodal;
• нужны несколько vision experts;
• требуется interleaving reasoning и tool use;
• полезно обновлять план после каждого observation.

Реши multimodal задачу через reasoning-and-action loop: сначала сформулируй, какой visual signal нужен, затем вызови подходящий expert и обнови reasoning.

Это техника про multimodal orchestration, а не просто про картинки в чате.

Чем MM-ReAct отличается от обычного ReAct

Обычный ReAct работает в основном с текстовыми tools. MM-ReAct расширяет этот loop:

• observations могут быть visual;
• tools могут возвращать координаты, captions и structured signals;
• reasoning должно уметь связывать их с текстовой целью.

Именно это делает технику мощной для сложных perception tasks.

Когда техника особенно полезна

MM-ReAct хорошо подходит для:

• image and video understanding;
• multimodal assistants;
• browser agents с визуальными интерфейсами;
• robotics perception layers;
• visual troubleshooting and inspection tasks.

Если задача целиком текстовая, multimodal loop избыточен.

Ограничения

MM-ReAct зависит от качества experts и от умения LLM выбрать правильный модуль в нужный момент. Ошибки выбора tool быстро тянут вниз весь reasoning loop.

Кроме того, multimodal orchestration обычно тяжелее по latency и observability.

Почему техника актуальна в 2026

Пользовательские задачи всё чаще приходят в смешанном виде: текст, изображения, интерфейсы, видео. MM-ReAct важен как паттерн, где reasoning and action расширяются на multimodal domain без попытки свалить всё на одну модель.

Это делает технику полезной для практических multimodal agents.

Техническая реализация

let state = task
while (!done(state)) {
  const next = await model(nextMultimodalActionPrompt(state))
  const observation = await runExpert(next.tool, next.input)
  state = updateState(state, next, observation)
}

Практический совет: нормализуйте outputs разных experts в один observation format. Иначе reasoning loop быстро развалится на несогласованных интерфейсах.