TripoSG: 大規模整流フローモデルを用いた高忠実度3D形状合成

エフェクト例

1. チュートリアルの概要

TripoSG は、高い忠実度、高品質、高い汎用性を備えた、画像から 3D を生成する高度なベース モデルです。大規模な整流変圧器、ハイブリッド教師ありトレーニング、高品質のデータセットを活用して、3D 形状生成における最先端のパフォーマンスを実現します。

✨ コア機能

• 高忠実度生成: シャープな幾何学的特徴、細かい表面の詳細、複雑な構造を持つメッシュモデルを生成します
• 意味の一貫性: 生成された形状は入力画像の意味的および外観的特性を正確に反映します
• 強力な一般化能力: リアルな写真、漫画のイラスト、スケッチなど、さまざまな入力スタイルに対応
• 堅牢なパフォーマンス: 複雑なトポロジを持つ困難な入力に直面しても一貫した形状を生成する

🔬 技術的なハイライト

• 大規模補正フロー変圧器: RF線形軌道モデリングとトランスフォーマーアーキテクチャを組み合わせて、安定した効率的なトレーニングを実現します。
• 高度なVAEアーキテクチャ：符号付き距離関数（SDF）を使用し、SDF損失、表面法線ガイダンス、アイコナール損失の混合教師訓練を通じて
• 高品質なデータセット: 厳選された200万枚の画像-SDFペアでトレーニングし、優れた出力品質を確保
• 効率的な拡張: 小規模なモデルでも高いパフォーマンスを維持するためのアーキテクチャの最適化を実装しました

このチュートリアルでは、TripoSG モデルと RMBG モデルの組み合わせをデモンストレーションとして使用し、コンピューティング リソースには RTX4090 を使用します。

2. 操作手順

1. コンテナを起動した後、API アドレスをクリックして Web インターフェイスに入ります

「モデル」が表示されていない場合は、モデルが初期化中であることを意味します。 1～2分ほど待ってからページを更新してください。

2. ウェブサイトにアクセスしたら、使用を開始できます。

利用手順

• 1. 画像をアップロードする（単一のオブジェクトが最適です）
• 2. 「シェイプを生成」をクリックして3Dメッシュを作成します。
• 3. 「テクスチャの適用」をクリックしてテクスチャを追加します。
• 4. Download GLBを使用して3Dモデルを保存します。
• 5. ビルド設定のパラメータを調整して微調整します。
• 6. デモンストレーション例

交流とディスカッション

🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しました。お友達はコードをスキャンして [SD チュートリアル] に参加し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりできます。