HyperAIHyperAI

Command Palette

Search for a command to run...

AIデータ選定、ユニットテストできない「味」の壁

バーチャルランニングアプリ「In the Long Run」の開発チームは、ルート上に観光名所や史跡を地図表示する機能「POIエントリメント」をバージョン1として正式公開した。同アプリはユーザーのStrava記録を統合し、世界各地の有名ルートを仮想横断する仕組みを採用しており、本機能によりランニング体験の地理的深みと長期継続意欲の向上を目的としている。 実装に際し、オープン地理情報データベース「GeoNames」を基盤とし、PythonとApache Parquet、DuckDBを用いて大規模データ処理パイプラインを構築した。初期設計ではWikipediaおよびWikidataの言語数リンクを重要度指標とし、AnthropicのHaikuモデルによるLLM評価も併用した。しかし、モデルのハルシネーションや英語圏の編集実態に起因するバイアスが顕在化し、地名の混同や数値の誤認が発生した。さらに、観光名所の選定には客観的指標では計測困難な「品味」の要素が強く関わるため、従来の自動検証手法では最適化が困難な課題に直面した。 開発者はこれらの問題に対し、LLMの役割を文章生成から主観的スコア算出へ再定義し、ルールベースのフィルタリングと統合した。具体的には、路線ごとの地理的特性や文化的背景を考慮したパラメータチューニングを実施。人口規模や地形分類をフィルターし、都市部に偏った表示を抑制する地理的分散アルゴリズムを適用した。検証にはSQLクエリと地図可視化ツールで精度を確認し、ハルシネーションの防止には位置メタデータの厳密なバインディングで対応した。 結果として、アイスランド環状道路やルート66など複数路線で高精度なPOIデータを出力。開発者は本プロジェクトを通じて、生成AIを万能な基盤技術と見なすのではなく、既存データ処理パイプラインを補完する新たなツールとして位置づけるべきだと指摘する。今後はコミュニティフィードバックを基に評価フレームワークを深化させ、より洗練された仮想ランニング体験を提供する計画だ。

関連リンク