온라인 튜토리얼丨9초 안에 이미지를 처리하세요! In-Context Edit 효율적인 이미지 편집 프레임워크 출시
기존의 이미지 편집 방법은 정확성과 효율성 간의 균형을 맞추는 데 어려움을 겪는다. 미세 조정 방법에는 많은 컴퓨팅 리소스와 고품질 데이터 세트가 필요한 반면, 훈련되지 않은 기술은 지시 이해 및 편집의 품질을 충족하는 데 어려움을 겪습니다. 이와 관련하여,저장대학교와 하버드대학교의 연구팀은 명령 기반 이미지 편집 프레임워크인 In-Context Edit(ICEdit)을 출시했습니다.단 몇 개의 텍스트 명령만으로 정확한 이미지 수정이 가능해 이미지 처리와 콘텐츠 제작에 더 많은 가능성을 제공합니다.
컨텍스트 내 편집은 세 가지 주요 기여, 즉 컨텍스트 편집 프레임워크, LoRA-MoE 하이브리드 튜닝 전략, 초기 필터 추론 시간 스케일링 방법을 통해 기존 기술의 한계를 해결합니다. 기존 방법과 비교했을 때, 이 방법은 학습 가능한 매개변수 1%(200M)와 학습 데이터 0.1%(50k)만을 사용하지만, 일반화 능력이 더 뛰어나고 다양한 이미지 편집 작업을 처리할 수 있습니다. 동시에 Gemini 및 GPT-4o와 비교했을 때,이 오픈소스 도구는 저렴하고 빠를 뿐만 아니라(이미지를 처리하는 데 약 9초밖에 걸리지 않음) 성능도 매우 강력합니다.
현재,HyperAI 공식 웹사이트의 "튜토리얼" 섹션에서 "컨텍스트 내 편집: 명령 기반 이미지 생성 및 편집"이 출시되었습니다.아래 링크를 클릭하여 원클릭 배포 튜토리얼을 경험해보세요 ⬇️
튜토리얼 링크:https://go.hyper.ai/SHowG
데모 실행
1. hyper.ai 홈페이지에 접속한 후, "튜토리얼" 페이지를 선택하고, "인-컨텍스트 편집: 명령 기반 이미지 생성 및 편집"을 선택한 후, "이 튜토리얼을 온라인으로 실행"을 클릭합니다.
2. 페이지가 이동한 후 오른쪽 상단의 "복제"를 클릭하여 튜토리얼을 자신의 컨테이너로 복제합니다.
3. "NVIDIA GeForce RTX 4090"과 "PyTorch" 이미지를 선택하세요. OpenBayes 플랫폼은 4가지 청구 방법을 제공합니다. 귀하의 요구 사항에 따라 "사용 후 결제" 또는 "일일/주간/월간"을 선택할 수 있습니다. "계속"을 클릭하세요. 신규 사용자는 아래 초대 링크를 사용하여 등록하고 RTX 4090 4시간 + CPU 자유 시간 5시간을 받으세요!
HyperAI 독점 초대 링크(복사하여 브라우저에서 열기):
https://openbayes.com/console/signup?r=Ada0322_NR0n
4. 리소스가 할당될 때까지 기다리세요. 첫 번째 클로닝 과정은 약 2분이 걸립니다. 상태가 "실행 중"으로 변경되면 "API 주소" 옆에 있는 점프 화살표를 클릭하여 데모 페이지로 이동합니다. 모델이 크기 때문에 WebUI 인터페이스를 표시하는 데 약 3분이 걸리며, 그렇지 않으면 "잘못된 게이트웨이"가 표시됩니다. API 주소 접근 기능을 이용하기 위해서는 이용자가 실명인증을 완료해야 합니다.
효과 표시
"편집을 위해 이미지 업로드"에 이미지를 업로드한 다음, 텍스트 상자에 프롬프트 단어를 입력하고 마지막으로 "실행"을 클릭하면 생성됩니다.
매개변수 조정 소개:
* 지침 척도: 생성 모델에서 생성된 결과에 대한 조건부 입력(텍스트나 이미지 등)의 영향을 제어하는 데 사용됩니다. 높은 지침 값을 사용하면 생성된 결과가 입력 조건과 더 일치하게 되지만, 낮은 값을 사용하면 더 많은 무작위성이 유지됩니다.
* 추론 단계 수: 추론 과정에서 모델 반복 횟수 또는 단계 수를 나타내며, 모델이 결과를 생성하는 데 필요한 최적화 단계 수를 나타냅니다. 일반적으로 단계 수가 많을수록 더 정교한 결과가 나오지만 계산 시간은 늘어날 수 있습니다.
* 씨앗: 생성 과정의 무작위성을 제어하는 데 사용되는 난수 시드입니다. 동일한 Seed 값은 동일한 결과를 생성할 수 있습니다(다른 매개변수가 동일하다는 전제 하에). 이는 결과를 재현하는 데 매우 중요합니다.
머리카락은 짙은 녹색으로, 옷은 체크무늬로 하라는 내용의 인물 사진을 업로드했습니다. 효과는 아래와 같습니다~
