Tencent Hunyuan3D-1.0: テキストを 3D に、画像を 3D に変換するための統合フレームワーク

1. チュートリアルの概要

Hunyuan3D-1.0 は、Tencent の研究チームが 2024 年に発表した 3D 生成拡散モデルです。これには軽量バージョンと標準バージョンが含まれており、どちらもテキストと画像の入力からの高品質の 3D アセットの生成をサポートしています。軽量バージョンのモデルは、 3D オブジェクトの生成には約 10 秒、標準版では約 25 秒で完了し、標準版では Lite 版や他の既存モデルに比べて 3 倍のパラメータが追加されます。関連する技術レポートは「Tencent Hunyuan3D-1.0: Text-to-3D および Image-to-3D 生成のための統合フレームワーク”。

このフレームワークにはテキストから画像へのモデルである Hunyuan-DiT が含まれており、Hunyuan3D-1.0 はテキストから 3D (Text-to-3D) および画像から 3D (Image-to) に適用できる統合フレームワークです。 -3D) の生成。このモデルは、3D アセット生成に 2 段階のアプローチを使用します。第 1 段階では、多視点拡散モデルを使用して、多視点 RGB 画像を約 4 秒で効率的に生成します。第 2 段階では、これらのマルチビュー画像を使用してフィードフォワード再構成モデルを導入し、約 3 秒で 3D ビューを迅速かつ正確に再構成します。このモデルは、大きな建物から小さな道具や花に至るまで、さまざまなスケールでオブジェクトを再構築できます。 GSO と OmniObject3D という 2 つのパブリック 3D データ セットでのパフォーマンスは、主流のオープン ソース モデルよりも優れており、その全体的な機能は国際的にトップクラスのレベルにあります。定性的および定量的な多次元評価の後、Hunyuan3D-1.0 は、幾何学的詳細、テクスチャ詳細、テクスチャとジオメトリの一貫性、3D 合理性、および指示への準拠性の点で非常に優れたパフォーマンスを発揮しました。

Hunyuan3D-1.0 のリリースは、3D クリエーターとアーティストに、3D アセットを自動的に生成する強力なツールを提供し、3D 生成の速度と汎用化機能を向上させます。

このチュートリアルは、Hunyuan3D-1.0 の軽量バージョンであり、Web インターフェイスに 2 つの機能を含めるために 3 つのモデルを使用します。

2 つの機能:

• 画像生成 3D (image_to_3D)
• テキストを 3D に変換 (text_to_3D)

3 つのモデル:

• Hunyuan3D-1/lite マルチビュー生成のための合理化されたモデル
• Hunyuan3D-1/std マルチビュー生成標準モデル
• Hunyuan3D-1/svrm スパースビュー再構築モデル

2. 効果例

3. 操作手順

启动容器后等待约 3 分钟（加载模型），点击 API 地址即可进入 Web 界面（否则将会显示 BadGateway）

1. 画像生成 3D (image_to_3d)

选择「Text to 3D」功能，按如下要求输入提示词和进行相关设置
如果需要生成 gif 必须选中「Render gif」，否则不会生成效果。其他功能无需选中

図 1 画像生成ビデオのデモ

2. テキストを 3D に変換 (image_to_video)

选择「Image to 3D」功能，按如下要求输入提示词和相关设置。
注意：自行上传图像时，请务必保证图片为 n*n 的正方形，否则会出现报错的情况
 如果需要生成 gif 必须选中「Render gif」，否则不会生成效果。其他功能无需选中

図 2 画像生成ビデオのデモ

交流とディスカッション

🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しました。お友達はコードをスキャンして [SD チュートリアル] に参加し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりできます。