Vision API в 2026: image input, OCR, document reasoning и UI analysis

Краткая версия

Vision API в 2026 обычно выбирают по типу visual input, а не по абстрактному "какая модель лучше видит".

Что Vision API сейчас реально умеет

• распознавать текст на скриншотах и документах;
• анализировать графики, диаграммы и таблицы;
• проводить UI-ревью и сравнение нескольких экранов;
• отвечать на вопросы по PDF как по визуальному документу, а не только как по plain text;
• возвращать structured output, если вы попросили JSON, таблицу или список полей.

У меня есть 3 экрана checkout flow, PDF-коммерческое предложение и скриншот аналитического дашборда. Нужно: 1) извлечь ключевые цифры, 2) найти UX-разрывы, 3) сверить, совпадают ли цифры в PDF и на дашборде.

1. Что такое Vision API сейчас

Current Vision API уже не сводится к одной задаче "опиши изображение". Official docs у всех трёх вендоров показывают более широкую картину:

• изображения можно передавать URL, base64 и через file handles;
• multiple images in one request стали нормой;
• PDF и document understanding выделились в отдельный production use case;
• token budgeting и resolution control стали частью practical design;
• value теперь не только в captioning, а в reasoning over visual inputs.

Именно поэтому сегодня полезнее мыслить не категориями "фото/не фото", а категориями:

• screenshot analysis;
• OCR and extraction;
• chart and table interpretation;
• document QA;
• visual comparison;
• UI and design review.

2. OpenAI: current image input идёт через Responses API

OpenAI official guide по images and vision уже строится вокруг Responses API, а не старого chat.completions-centric framing.

Главные practical вещи:

• image input передаётся как input_image;
• можно использовать URL, base64 data URL и file_id;
• в одном запросе можно отправить несколько изображений;
• detail теперь важный tuning knob: low, high, original, auto;
• original рекомендован для dense images, localization и computer-use-adjacent use cases на gpt-5.4.

Это хороший current default для:

• product screenshots;
• UI inspection;
• visual extraction;
• lightweight OCR;
• agent workflows, где изображение идёт рядом с tools и structured outputs.

3. OpenAI detail levels: это уже не мелкая опция, а важная economics ручка

В current OpenAI docs detail levels описаны явно:

• low полезен, когда fine detail не важен и нужна скорость;
• high нужен для standard high-fidelity understanding;
• original на gpt-5.4 и newer models полезен для spatially sensitive images, dense text и computer-use scenarios;
• auto отдаёт выбор модели.

Практический вывод простой:

• не отправляйте всё в максимальном качестве по умолчанию;
• UI wireframes, мелкий текст и плотные таблицы требуют higher detail;
• общая классификация или gross layout check часто нормально работает на low.

4. Claude: vision useful not только для изображений, но и для PDF reasoning

Anthropic current docs по vision и PDF support дают важную product distinction.

Что важно:

• Claude работает с несколькими изображениями в одном запросе;
• docs советуют класть изображения до текста;
• PDF support опирается на те же vision capabilities;
• PDF анализируется не как голый текст, а как текст плюс page images;
• direct API path поддерживает visual PDF reasoning с charts, tables и layout.

Это делает Claude особенно полезным там, где visual input похож не на "картинку", а на рабочий документ:

• отчёты;
• презентации в PDF;
• scanned contracts;
• charts and tables;
• аналитические документы, где важен layout, а не только extracted text.

Anthropic также явно фиксирует operational limits для PDF support:

• до 32 MB на request;
• до 100 страниц на request.

Для многих production scenarios это честнее и полезнее, чем старое vague "Claude умеет картинки".

5. Gemini: image, document и video understanding как единый media layer

Google current docs особенно хорошо показывают, что Vision API уже шире, чем single-image prompting.

Отдельные official guides разведены на:

• image understanding;
• document understanding;
• video;
• media_resolution.

Это важный signal. Gemini today удобнее объяснять как general multimodal understanding layer.

Практически это значит:

• для images есть multi-image prompting и object detection;
• для PDFs есть native visual document understanding;
• для long media reasoning есть отдельный video/document path;
• в Gemini 3 есть media_resolution, то есть control over visual token budget.

Current Gemini docs по documents также фиксируют сильные operational facts:

• PDF до 50 MB или 1000 страниц;
• каждая страница считается как visual document input;
• нативный текст в PDF учитывается отдельно от page-image processing.

Это делает Gemini сильным вариантом для:

• длинных PDF;
• document extraction;
• multimodal research;
• cases, где один vendor должен закрыть images, documents и video.

6. Где Vision API реально даёт value

OCR и extraction

Самый частый practical сценарий - не "опиши картинку", а "извлеки структуру":

• поля из формы;
• данные из invoice;
• строку поиска, фильтры и KPI со скриншота;
• цены, даты и статусы из интерфейса.

Лучший паттерн: просить не prose, а таблицу или JSON.

Графики и таблицы

Модель может не только прочитать оси и подписи, но и:

• сравнить периоды;
• найти аномалии;
• выписать тренды;
• сверить chart с текстом в отчёте.

Но для точности обычно лучше делать двухшаговый flow:

1. extract labels and numbers;
2. only then interpret the trend.

UI review и screenshot reasoning

Current vision APIs особенно полезны в design and product work:

• accessibility pass по скриншоту;
• visual hierarchy review;
• сравнение old/new versions;
• QA checklists для экранов;
• extraction of visible text and controls for automation.

PDF QA

Это уже отдельная категория, а не "приятный бонус". Особенно заметно это у Claude и Gemini, где official docs прямо описывают PDF/document workflows.

7. Что Vision API всё ещё делает плохо

Даже current models не стоит переоценивать.

Типовые границы:

• blurry photos;
• tiny text on low-resolution screenshots;
• precise numeric extraction without verification;
• spatial claims, если prompt не зафиксировал region/page/frame;
• assumptions about hidden state in UI from one static image.

Правильный production mindset здесь такой:

• просите evidence;
• требуйте structured output;
• сверяйте критичные цифры;
• при необходимости делайте second pass или human review.

8. Для разработчика

OpenAI: Responses API с image URL

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-5.4",
    input=[
        {
            "role": "user",
            "content": [
                {"type": "input_text", "text": "Извлеки KPI с этого дашборда и верни JSON."},
                {
                    "type": "input_image",
                    "image_url": "https://example.com/dashboard.png",
                    "detail": "high",
                },
            ],
        }
    ],
)

print(response.output_text)

Anthropic: image first, text second

import anthropic
import base64

client = anthropic.Anthropic()

with open("screen.png", "rb") as f:
    image_b64 = base64.b64encode(f.read()).decode("utf-8")

message = client.messages.create(
    model="claude-sonnet-4-20250514",
    max_tokens=1200,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": "image/png",
                        "data": image_b64,
                    },
                },
                {
                    "type": "text",
                    "text": "Проведи UX-ревью экрана и перечисли 5 конкретных проблем.",
                },
            ],
        }
    ],
)

print(message.content[0].text)

Gemini: image/doc understanding через unified content parts

from google import genai
from PIL import Image

client = genai.Client()
image = Image.open("chart.png")

response = client.models.generate_content(
    model="gemini-2.5-flash",
    contents=[
        image,
        "Сначала извлеки подписи осей и значения, потом объясни тренд кратко.",
    ],
)

print(response.text)

Production tips

• для extraction просите JSON или таблицу, а не narrative answer;
• для multi-image tasks явно нумеруйте inputs: Экран A, Экран B, PDF page 3;
• dense screenshots и fine text почти всегда требуют higher detail / media resolution;
• критичные цифры лучше прогонять через second-pass verification;
• PDF reasoning дороже обычного text-only flow, поэтому budget and cache matter.

Проверьте себя