スキャンしたレシートをJSONに変換：GeminiとSwiftで作るスマートなレシート読み取りアプリ

写真からJSONデータへ：GeminiとSwiftで作成したレシートスキャナーの開発過程 この記事では、レシートのスキャン機能を持つiOSアプリ「Receipt Lens」の開発技術について紹介する。このアプリは単なるスキャンだけでなく、レシートを理解し、構造化された財務データに変換する。Googleの多モーダルAI「Gemini」を活用することで、従来のOCRツールでは対応できなかった折れたレシートや明るさが不十分な写真も正確に処理できるようになった。 紙のレシートには文字だけでなく、文書としての構造や文脈が含まれている。従来のOCRスキャナーでは、そのような構造を正確に読み取るのが難しく、誤認識が多発していた。この課題を解決するため、私はプロンプトエンジニアリングと多モーダル技術を駆使し、レシートの画像をAIが理解できる形式に変換する仕組みを構築した。 アプリのフロントエンドはSwiftで構築され、Geminiとの連携はバックエンドで行われる。ユーザーがレシートを撮影すると、画像がAIに送信され、商品名、金額、日付などの情報を抽出してJSON形式に構造化される。この技術により、手動での入力作業が大幅に削減され、正確性も向上した。 この開発は、AIが画像とテキストを同時に処理できる多モーダルモデルの可能性を示すものであり、今後のアプリ開発に大きな影響を与えるだろう。