入門マルチモーダルRAG 図表を読み解くAIアプリケーションの実装/新納浩幸

新納浩幸
オーム社
ISBN：4274234932/9784274234934
発売日:2026年06月

---

※商品画像はイメージや仮デザインが含まれている場合があります。帯の有無など実際と異なる場合があります。

【内容紹介】
「図表を読めるAI」を作る
近年、テキストだけでなく、図や表やグラフといった画像を含む資料からも情報を検索・活用できる「マルチモーダルRAG(Retrieval－Augmented Generation)」の重要性が高まっています。従来のテキストベースRAGが扱える情報はテキストデータに限定されており、実務現場で扱う文書──技術報告書、研究論文、プレゼン資料──のように、図表を多く含むデータには十分対応できませんでした。本書は、この課題を踏まえ、実務文書にも対応できるマルチモーダルRAGについて体系的に解説します。
本書では、自分の手でマルチモーダルRAGを構築できるようになることを目指します。全体を通して、手を動かしながら理解できるよう、再現可能なコード例を多数提示しています。


・第1章 基本的な構成のRAG(データベース・検索器・生成器)をPythonで実装し、RAGの仕組みを理解します。
・第2章 画像をテキストに変換する方式と、画像とテキストを同一のベクトル空間に埋め込む方式という、2種類のマルチモーダルRAG の実装方法を紹介します。
・第3章 Embed－4やCLIP－RAG、反復型RAGといった最新手法を概観し、マルチモーダル知覚統合の潮流を整理します。
・第4章 特定領域の画像(医療画像、技術図面など)に特化したマルチモーダル RAG の構築を目指し、projectorやLLM、デュアルエンコーダのファインチューニング方法を実例とともに解説します。