멀티모달 모델 업데이트는 텍스트 질의만 처리하던 제품이 이미지와 음성을 같은 호출로 받는 쪽으로 옮겨 가는 변화를 가리킵니다. 업무용 챗봇과 문서 검색을 이미 쓰는 팀이라면 모델 이름보다 입력 조합과 컨텍스트 한도를 먼저 확인하는 것이 맞습니다.
구글은 Gemini Omni 1.1 Flash를 Gemini API와 Google AI Studio에서 프로덕션용 생성 영상과 장면 제어 업데이트로 공개했습니다. 아래에서는 달라진 점과 성능 비교, 실무 도입 때 볼 항목, 이후 활용 방향을 같은 기준으로 이어 갑니다. 실무 팀은 모델 카드의 게시일만 보지 말고 지원 입력 모달 목록을 같이 갱신해야 합니다.
최신 멀티모달 모델이 달라진 점
최신 멀티모달 LLM은 한 번의 요청에 문서 스캔본과 짧은 음성 클립을 붙이는 사용을 기본값으로 삼는 경우가 늘었습니다. 점수표의 한 칸보다 실제 파일 형식과 페이지 수가 제품 적합성에 더 크게 작용합니다. 팀 내부 가이드에 허용 확장자와 최대 첨부 개수를 적어 두면 모델 교체 때 혼란이 줄어듭니다.
2026년 멀티모달 평가에서는 MMMU-Pro가 포화에 가까워졌고 차별화는 영상과 음성, 장문서 OCR, 차트 추론으로 이동했다는 분석이 있습니다. 사내 평가는 객관식 비전 문항보다 회의 녹화와 보고서 도표를 넣는 편이 현장과 가깝습니다.
같은 문항을 분기마다 다시 돌려 점수 변동만 보지 말고 실패 사례의 입력 형식을 남기는 것이 중요합니다. 영상 길이와 음성 샘플링 레이트, 스캔 DPI를 로그에 남기면 이후 모델 교체 실험의 재현이 쉬워집니다.
컨텍스트 길이와 입력 모달 확장
Gemini 3.5 Flash(high)와 Claude Opus 4.7은 모두 이미지 입력을 지원하며 컨텍스트 창은 각 1000k 토큰으로 비교됩니다. 장문 규정집과 슬라이드 묶음을 한 세션에 넣는 설계가 이제 스펙상으로는 가능합니다. 다만 창 한도와 과금 구간이 제품마다 다르므로 견적서의 토큰 정의를 먼저 맞춰야 합니다.
창이 길어도 고해상도 비전과 음성 이해는 토큰을 빠르게 소모합니다. 표지와 차례 페이지를 앞에 두고 핵심 장만 원본 해상도로 넣는 입력 순서를 정해 두면 응답이 흔들리지 않습니다. 음성은 전체 파일을 한 번에 넣기보다 안건 구간으로 잘라 질의하는 방식이 재현에 유리합니다.
이미지와 텍스트를 섞을 때는 캡션을 본문 앞에 두는 순서가 인용 오류를 줄이는 편입니다. 세션이 길어지면 중간 요약을 강제로 삽입해 앞부분 지시를 잃지 않게 하는 운영 규칙이 필요합니다.
오픈소스와 상용 모델 업데이트 흐름
상용 API는 생성 영상과 장면 제어처럼 새 입력 모달을 먼저 열고, 오픈소스 비전 언어 모델은 온프레미스와 자체 RAG 연동에 맞춰 배포 주기를 짧게 가져가는 흐름이 뚜렷합니다. 같은 날짜의 버전을 맞추기보다 역할을 나누는 편이 사고가 적습니다.
외부 API는 최신 기능을 시험하고, 내부 기밀 문서는 고정 체크포인트로 재현 실험을 반복하는 이원 운영이 실무에서 흔합니다. 라이선스와 로그 보관 기간도 모델 교체 주기와 함께 적어두어야 합니다.
오픈소스 가중치를 쓸 때는 추론 서버의 GPU 메모리와 배치 크기를 함께 적어 용량 계획을 세웁니다. 상용 키는 프로젝트 단위로 분리하고 영상 생성 호출은 별도 쿼터를 두는 편이 비용 급증을 막습니다. 벤더 공지와 오픈소스 릴리스 노트를 한곳에 모아 두면 어느 쪽에서 기능이 먼저 열리는지 비교하기 쉽습니다.
이미지·음성·텍스트 처리 성능 비교
(출처: CosmoX)
텍스트 정확도만 보면 상위 모델 격차는 줄었습니다. 차트와 축 눈금이 많은 자료에서는 비전 해상도와 도구 사용 여부가 결과를 가릅니다. Claude Opus 4.7은 비전 해상도를 장축 최대 2,576픽셀(약 3.75MP)로 올렸다고 보고됩니다.
작은 범례가 있는 재무 차트는 이 해상도 구간에서 오답이 줄어드는 사례가 많습니다. CharXiv에서는 도구 없이 82.1%, 도구 사용 시 91.0%를 기록했습니다. 계산기나 코드 실행 도구를 허용하면 축 읽기 오류가 숫자 오차로 이어지는 경우를 줄일 수 있습니다.
음성 이해는 전사 문장 정확도만 보지 말고 화자 전환과 전문 용어 보존을 같이 재야 회의록 자동화에 쓸 수 있는지를 판단할 수 있습니다. 아래 표는 공개된 비교 항목만 모아 둔 것이며, 동일 조건 수치가 없는 칸은 비워 두었습니다.
| 비교 항목 | Gemini 3.5 Flash(high) | Claude Opus 4.7 |
|---|---|---|
| 이미지 입력 | 지원 | 지원 |
| 컨텍스트 창 | 1000k 토큰 | 1000k 토큰 |
| 비전 해상도 | 동일 조건 공개치 없음 | 장축 최대 2,576픽셀(약 3.75MP) |
| CharXiv | 동일 조건 공개치 없음 | 82.1%(도구 없음), 91.0%(도구 사용) |
실무 도입 시 확인해야 할 포인트
실무 멀티모달 RAG는 caption-and-index, 통합 비전 임베딩, 페이지 이미지 late-interaction(ColPali 계열) 세 구조가 주류로 정리됩니다. 캡션 후 인덱싱은 기존 텍스트 검색을 재사용하기 쉽고, 통합 임베딩은 도표와 본문을 한 벡터 공간에 둡니다.
late-interaction은 페이지를 이미지로 남겨 OCR이 놓친 축 레이블을 질의 시점에 맞춥니다. 스캔본과 차트 비중이 높으면 후자 쪽이 맞고, 이미 잘 추출된 사내 위키라면 캡션 구조로도 충분합니다.
파이프라인을 고르기 전에 최근 한 달 질의에서 이미지가 필요한 비율을 먼저 집계하는 것이 안전합니다. 혼합 구성도 가능하지만 임베딩 공간을 두 개로 쪼개면 리랭커 규칙을 문서 유형별로 나눠 적어야 운영 부담이 커집니다. 검색 로그에 첨부 이미지 유무를 필드로 남기면 이후 구조 전환 판단이 빨라집니다.
비용·지연시간과 품질 균형
엔터프라이즈 RAG에서 이미지와 차트가 포함된 멀티모달 PDF는 텍스트 전용보다 추출이 오래 걸립니다. 청크 크기를 키우면 일부 멀티모달 데이터셋에서 정확도가 2%에서 5% 오를 수 있습니다. 차트와 설명 문장이 한 청크에 같이 들어가야 질의와 근거가 어긋나지 않습니다.
정확도를 위해 페이지를 모두 고해상도로 넣으면 지연시간과 토큰 비용이 같이 올라갑니다. 핵심 장만 고해상도로 두고 나머지 장은 저해상도 미리보기로 인덱싱한 뒤, 야간 배치와 주간 질의 경로를 나누면 체감 대기 시간을 줄일 수 있습니다.
스트리밍 응답은 첫 토큰이 빨라 보여도 이미지 전처리가 큐에 쌓이면 전체 완료 시각은 늘어납니다. SLA를 텍스트 질의와 멀티모달 질의로 분리해 두고 피크 시간대 동시 실행 수를 제한하는 편이 안정적입니다.
핵심 정리와 향후 활용 방향
지금 확인할 기준은 입력 모달, 컨텍스트 길이, RAG 구조, 비용과 지연시간입니다. Gemini Omni 1.1 Flash처럼 생성 영상과 장면 제어가 API에서 열리는 속도에 맞춰 사내 평가 세트도 영상과 차트, 장문 OCR 문항으로 바꿔야 합니다. 기존 객관식 비전 세트만 유지하면 현장 오류를 놓칩니다.
음성 이해는 전사기 교체가 아니라 검색 재현율과 인용 문장 일치율을 같이 보는 작업입니다. 모델 벤치마크 공표값을 복사해 두기보다 자사 PDF와 회의 음원 20건으로 분기마다 같은 프롬프트를 다시 돌려 교체 시점을 정하는 운영이 이후 활용에 맞습니다.
RAG 연동은 캡션 경로와 페이지 이미지 경로의 실패 로그를 따로 모아 다음 분기 인덱싱 예산을 정하면 됩니다. 도구 호출이 필요한 차트 질의는 허용 도구 목록을 고정해 두어 결과가 실행 환경에 따라 흔들리지 않게 합니다.
