Мультимодальные промпты в 2026: как писать запросы для image, PDF, screenshots и video inputs

Краткая версия

Хороший multimodal prompt в 2026 почти всегда делает пять вещей:

1. называет тип input: скриншот, PDF, dashboard, mobile screen, invoice;
2. ограничивает scope: page 3, верхний график, экран B, правый sidebar;
3. просит сначала извлечь факты, а потом интерпретировать;
4. задаёт format: JSON, table, checklist, pass/fail;
5. просит явно отмечать uncertainty, если текст или layout нечитабельны.

На изображении — график monthly revenue. Сначала извлеки подписи осей и значения по месяцам в таблицу. Затем отдельно опиши тренд и возможные аномалии. Если какая-то цифра нечитабельна, пометь её как uncertain.

1. Главный сдвиг: промпт должен управлять visual workflow, а не просто разговором

Старые multimodal prompts были слишком общими:

• "что на картинке?"
• "проанализируй этот UI"
• "прочитай документ"

Current production use cases требуют большего:

• извлечь данные в schema;
• сравнить несколько экранов;
• сослаться на конкретную страницу;
• определить, где модель уверена, а где нет;
• вернуть output, который сразу можно отправить в pipeline.

Это означает, что хороший multimodal prompt today описывает не только вопрос, но и операцию над visual input.

2. Паттерн 1: сначала назовите asset type и рабочую задачу

Модель видит пиксели, но не знает бизнес-контекст. Скриншот дашборда, экран мобильного онбординга и PDF-отчёт требуют разной логики анализа.

Хорошая формула:

[что за asset] + [ваша роль] + [что именно нужно сделать]

Примеры:

• "Это скриншот BI-дашборда для performance marketing."
• "Это PDF-коммерческое предложение поставщика."
• "Это мобильный checkout screen в iOS."

После этого задавайте роль:

• "Ты QA analyst."
• "Ты UX reviewer."
• "Ты document extraction assistant."

И только потом - сам task.

Это PDF годового отчёта. Ты financial research assistant. Найди на страницах, где обсуждаются capex и operating margin, и верни короткую таблицу: page, metric, value, evidence.

3. Паттерн 2: фиксируйте scope максимально жёстко

Большая часть ошибок в multimodal prompting возникает не потому, что модель "плохо видит", а потому что scope слишком широкий.

Лучшие scope anchors:

• страница 2;
• верхний правый график;
• левая колонка;
• кнопка primary CTA;
• экран A vs экран B;
• секция pricing;
• таблица на странице 5.

Это особенно важно для:

• PDF;
• dashboards;
• complex UIs;
• multi-image comparisons.

Если scope не задан, модель начнёт усреднять всё изображение и часто пропустит нужные детали.

4. Паттерн 3: сначала extraction, потом interpretation

Это самый полезный current pattern почти для всех visual tasks.

Плохой запрос:

• "Сделай вывод по графику."

Хороший запрос:

1. извлеки labels and numbers;
2. только потом интерпретируй;
3. отдельно пометь, что uncertain.

Почему это работает:

• снижает hallucinated details;
• делает ошибки заметнее;
• упрощает app-side verification;
• помогает сравнить answer между vendors.

Где этот паттерн особенно полезен

• OCR;
• charts;
• invoices;
• tables in PDF;
• UI inventories;
• competitive screenshot analysis.

5. Паттерн 4: для сравнения нескольких изображений нумеруйте inputs

Current OpenAI, Claude и Gemini support multiple images. Но quality резко растёт, если вы явно назначаете идентификаторы:

• Image A;
• Image B;
• Current screen;
• New screen;
• Page 1, Page 2.

После этого просите не просто "сравнить", а вернуть:

• common elements;
• differences;
• regressions;
• missing parts;
• confidence / uncertain items.

Это особенно полезно в:

• design reviews;
• QA diffs;
• before/after audits;
• document version comparison.

6. Паттерн 5: требуйте structure, а не красивый текст

Если output нужен в production, prose almost always worse than structure.

Хорошие форматы:

• JSON;
• markdown table;
• checklist;
• pass / warning / fail;
• field / value / evidence;
• issue / severity / recommendation.

Для visual tasks structure важен даже сильнее, чем в text-only prompts, потому что:

• модель может смешать observation и inference;
• app потом трудно валидировать narrative;
• human reviewer быстрее проверяет structured output.

7. Паттерн 6: просите evidence и uncertainty

В multimodal prompts важно не только "что видишь", но и "насколько уверен".

Полезные фразы:

• "Если текст нечитабелен, пометь uncertain."
• "Не выдумывай скрытые элементы интерфейса."
• "Ссылайся на page/section/region."
• "Отдельно перечисли assumptions."

Это особенно важно для:

• blurry photos;
• charts with tiny labels;
• screenshots with dense tables;
• scans and camera photos.

8. Provider-specific нюансы действительно влияют на промпт

OpenAI

Current OpenAI docs по images and vision фиксируют:

• input_image in Responses API;
• multiple images in one request;
• URL, base64 и file_id;
• detail: low / high / original / auto.

Практически это значит:

• для dense screenshots and small text лучше явно задавать high или original;
• для cheap classification-like tasks можно идти в low;
• visual prompt стоит проектировать вместе с cost/latency expectations.

Claude

Anthropic vision docs прямо говорят, что Claude often works best when images come before text.

Практический вывод:

• сначала image or document block;
• потом textual instruction;
• в PDF cases explicitly refer to pages and evidence.

Gemini

Gemini docs по image/document understanding указывают две полезные вещи:

• single image prompt often works best, when prompt идёт после image part;
• media_resolution now matters for text-heavy or detail-heavy media.

Практический вывод:

• не treat Gemini as black box;
• thinking about media resolution is part of prompt design, not only model config.

9. Practical templates

OCR / extraction

Это скриншот invoice.
Сначала извлеки поля:
- vendor_name
- invoice_number
- invoice_date
- total_amount
- currency

Верни JSON.
Если поле не видно или оно неоднозначно, верни null и добавь reason.

Chart analysis

Это monthly revenue chart.
Шаг 1: извлеки оси, легенду и значения по периодам в таблицу.
Шаг 2: укажи заметные скачки или падения.
Шаг 3: отдельно перечисли, какие выводы являются наблюдениями, а какие интерпретациями.

UI review

Это iOS checkout screen.
Проведи review по критериям:
1. hierarchy
2. CTA clarity
3. error prevention
4. trust signals

Сначала перечисли видимые элементы.
Затем верни checklist:
- criterion
- pass|warning|fail
- evidence
- recommendation

Visual diff

Image A — current settings page.
Image B — redesigned settings page.

Сравни только visible UI.
Верни:
- unchanged elements
- added elements
- removed elements
- possible regressions
- uncertain items

10. Антипаттерны

Самые частые multimodal prompt failures:

• просить сразу "сделай вывод", не попросив extraction;
• не указывать asset type;
• не фиксировать page/region/frame;
• ждать perfect OCR на низком resolution;
• не просить structured output;
• смешивать несколько задач в одном vague prompt без step order.

11. Для production-команд

Если multimodal prompts идут в продукт, полезный minimum set такой:

• prompt versioning;
• output schema;
• uncertainty field;
• golden examples for eval;
• regression set of screenshots/PDFs;
• route-specific configs for detail / media resolution.

Именно здесь prompt design перестаёт быть "copywriting for AI" и становится частью system design.

Проверьте себя