本書は、AIを活用して動画の内容そのものから検索を可能にする技術の実装方法を扱います。現在の動画検索がタイトルや説明文といったメタデータに依存し、動画の中身を直接検索できないという課題に対し、本書は映像・音声・テキストのマルチモーダル解析による動画理解の仕組みと、従来の検索方法との違いを明確に提示します。動画からシーン検索を実現するための基礎パイプライン構築では、動画の読み込みとメタデータ取得から始まり、シーン境界の検出、音声認識とOCRによるテキスト抽出、画像キャプション生成、そしてマルチモーダル埋め込みを経て検索インデックスを構築するまでの一連の流れを、実際に動作するコードとともに紹介し、さらに埋め込みベクトルの概念や類似度計算、効率的な検索を実現するベクトルデータベースの活用方法を詳述します。加えて、RAGの基本的な仕組みとその動画検索への応用を通じて、検索と生成を組み合わせることでより精度の高い検索結果を提供できる理由を解説し、デモアプリケーションを使って動画のアップロードからシーン解析、ベクトル登録、自然言語検索までを一気通貫で試せるよう構成されています。 動画解析やマルチモーダルAIに興味がある方には必見の一冊です。

続きを読む

短くする