300만 개의 이미지와 15,000개의 다니오 배아로 구성된 데이터 세트를 이용해 시스템 생물학자 패트릭 뮐러는 AI 기반 배아 인식을 성공적으로 구현했습니다.

저자 | 지아링

편집자 | 산양

동물의 발달 과정에서 배아는 시간이 지남에 따라 복잡한 형태적 변화를 겪습니다. 연구자들은 발달 시간과 속도를 객관적으로 정량화하고, 초기 배아의 단계를 분석하고 진화 및 발달 과정을 더 잘 이해할 수 있는 표준화된 방법을 제공하기를 바라고 있습니다.

이전에는 학자들이 배아 발달 단계와 배아 형태학적 변형을 미세한 관찰을 통해 이해했습니다. 그러나 배아 발달의 단계 전환은 이상적이거나 안정적이지 않습니다. 영향을 미치는 요인이 너무 많아서 연구자들이 구체적인 발달 상태를 관찰하기 어렵습니다. 배아의 형태를 관찰하여 발달 시기와 단계를 추론하는 과정은 아직 비교적 주관적이다.

개발 시간과 개발 속도 간의 관계를 객관적으로 확립하기 위해서는시스템 생물학자 패트릭 뮐러 콘스탄츠 대학의 주요 연구진은 트윈 네트워크를 기반으로 한 딥러닝 방법을 개발했는데, 이 방법은 이미지 비교를 통해 배아 발달 과정을 자동으로 포착하고 인간의 개입 없이 배아 발달의 특징적인 단계를 식별할 수 있습니다.. 현재 관련 결과가 발표되었습니다.자연 방법".

이 논문은 Nature Methods에 게재되었습니다.

신문을 받으세요:

https://www.nature.com/articles/s41592-023-02083-8

01 실험 절차

데이터 세트: 대량의 배아 이미지 통합

ResNet101 기반의 고처리량 이미징 파이프라인 및 이미지 분할을 사용하여연구진은 300만 개의 이미지와 15,000개의 다니오 배아로 구성된 데이터 세트를 만들었습니다.개별 배아의 발달 궤적을 생성합니다. 각 배아는 개별적으로 추적되며 모델에 입력될 때 서로 다른 색상의 경계 상자로 구분됩니다. 각 실험에 대해 별도의 JSON 파일이 생성되었으며, 각 범주에 속하는 배아에 대한 정보가 담겨 있습니다.

이미지 처리 다이어그램

모델 아키텍처: 샴 네트워크 모델

트윈 네트워크 구조는 동일한 구조를 가진 두 개의 병렬 신경망으로 구성됩니다., 동시에 두 개의 사진을 입력으로 받을 수 있으며, 가중치는 두 신경망 간에 공유됩니다. 이미지는 피처 임베딩을 기반으로 한 유사도 계산을 통해 비교됩니다.

다음은 트윈 네트워크의 구조를 나타낸 다이어그램입니다.

트윈 네트워크 구조

트윈 네트워크를 구성하는 신경망 구조는 다음과 같습니다.

ResNet50 기반 신경망

백본 네트워크:기반으로 이미지넷  데이터 세트, 사전 학습된 가중치를 백본 네트워크로 사용하는 ResNet50 아키텍처

모델 헤드 임베딩: 백본 네트워크의 출력은 평탄화되어 각 계층 사이에 배치 정규화 계층이 있는 3개의 밀집 계층으로 구성된 임베딩 모델 헤드로 전달되어 크기(1, 256)의 출력/임베딩을 생성합니다.

전이 학습: ResNet50 백본 네트워크의 모든 레이어는 합성곱 블록 5와 모델 헤드 레이어를 제외하고 고정됩니다. ResNet50에서 생성된 피처 임베딩은 거리 계층에서 결합되어 학습 중에 다양한 입력에 대한 네트워크 생성 임베딩 간의 유클리드 행렬을 계산합니다.

알고리즘 학습: 트리플릿 손실 학습

알고리즘 학습 과정은 다음과 같습니다.

이미지 트리플릿 구성: 이미지 트리플렛은 세 개의 배아 이미지로 구성됩니다.앵커 이미지, 무작위 발달 단계 t1의 배아 이미지;긍정적 이미지, 개발 단계 t1의 이미지(입력 신경망 1) 또는 이미지 향상 후의 앵커 이미지(입력 신경망 2)와 유사합니다.부정적인 이미지, 발달 단계 t2 ≠ t1의 배아 이미지.

이미지 삼중항 다이어그램

트리플릿 손실 훈련: 구성된 이미지 트리플릿을 Siamese 네트워크에 전달하고 아래 공식에 따라 트리플릿 손실을 계산하여 앵커 이미지와 양성 이미지의 유사도를 최소화하고 앵커 이미지와 음성 이미지의 유사도를 최대화합니다.

삼중 손실 계산 공식

A는 앵커 이미지를 나타내고, P는 양의 이미지를 나타내고, N은 음의 이미지를 나타냅니다.

반복적 훈련: 신경망 1은 300,000개의 다니오 배아 이미지 트리플렛을 사용하여 10개 에포크 동안 학습되었습니다. 신경망 2는 100만 개의 이미지 트리플릿을 사용하여 2개의 에포크 동안 학습되었으며, 앵커 이미지는 GPU 가속 학습을 위해 NVIDIA GeForce RTX3070(ASUS)을 사용하여 향상되었습니다.

업무 기반 훈련: 이미지 유사성, 배아 단계, 발달 속도 및 온도, 약물에 의해 유도된 배아 발달 변화에 대한 해당 훈련이 수행되었습니다.

02 실험 결과

결과 1: 유사성 그래프를 사용한 자동 배아 스테이징

테스트 이미지를 일련의 배아 이미지와 비교하고, 두 이미지 간의 코사인 유사도를 계산하고, 유사도 점수를 얻어 배아 이미지를 분류합니다.

테스트 배아와 참조 이미지의 유사도 그래프

테스트 이미지를 발달 중인 배아 이미지의 시계열과 비교하여 시간에 따른 유사성 곡선을 얻고 이를 통해 두 가지 주요 특징을 추출합니다.

·  곡선의 정점은 테스트 이미지의 배아가 어느 발달 단계에 있는지를 나타냅니다.

· 곡선의 비피크 영역에는 피크 너비와 원격 배아 단계와의 유사성 등의 추가 정보가 포함되어 있으며, 이는 서로 다른 시점에서의 형태학적 유사성을 반영합니다.

배아 연령 예측의 개략도

쌍둥이 네트워크는 배아의 시계열 이미지 세트를 식별하고 예측하고, 예측된 발달 단계에 따라 궤적을 구축하고, 정확한 배아 단계를 달성할 수 있습니다..

결과 2: 개발 속도와 온도 간의 함수 관계 탐색

이전에는 배아 발달의 온도 의존성을 정량화하기 위해 발달 타이밍을 수동 또는 반자동으로 주석을 달아야 했기 때문에 합리적인 시간 범위 내에서 분석할 수 있는 실험 수가 크게 제한되었습니다.

구축된 트윈 네트워크는 발달 속도의 온도 의존적 변화를 자동으로 분석하는 데 사용되었습니다. 실험 계획은 다음과 같습니다: 다니오 배아는 23.5℃~35.5℃ 사이에, 검은잉어 배아는 18℃~36℃ 사이에 있습니다. 각 온도 조건에서 100~200개의 다니오 배아 또는 20~100개의 검은잉어 배아를 분석했습니다.

실험 결과는 그림에 나와 있습니다.

다양한 온도에서의 다니오와 검은잉어 배아 발달 분석

a, d: 다니오와 검은잉어의 연령 추정에 대한 개략도;

b, e: 다양한 온도에서의 다니오와 검은잉어의 발달;

c, f: 다양한 온도에서 추정된 다니오와 검은잉어의 성장률의 자연 로그입니다.

· 온도 변화는 두 배아의 발달 속도에 상당한 영향을 미쳤습니다.낮은 온도에서는 배아 발달이 더디게 진행되는 반면, 높은 온도에서는 발달이 상당히 가속화됩니다. 10°C의 온도 변화에 직면했을 때, 발달 속도는 약 두 배로 변했습니다.

·  발달 속도의 온도 의존성은 트윈 네트워크를 사용하여 정량화되었으며, 데이터는 아레니우스 방정식에 맞춰졌습니다. 선형 적합의 기울기는 다음을 제공합니다.겉보기 활성화 에너지각각 65 kJ/mol과 77 kJ/mol입니다. 이러한 겉보기 활성화 에너지와 기타변이원성온혈 동물(개구리, 초파리, 효모 등)과 유사하게, 온혈 동물(쥐, 인간 등)과는 확연히 다릅니다.

·  이상화된 추측과는 달리, 더 높은 온도의 지역에서는 두 배아의 발달 속도가 더 이상 빨라지지 않고 오히려 안정화되는 경향이 있습니다. 온도가 낮은 지역에서는 다니오의 발달이 선형적으로 느려지고, 온도가 23°C 이하로 떨어지면 배아 발달이 멈춥니다. 검은잉어 배아는 비선형적인 발달 특성을 보이며, 오랫동안 원시낭 발달 단계에 머물러 있습니다.

결과 3: 배아 진화 중 자연적 변동성 정량화

연구에 따르면 배아는 유전적 변이, 외부 간섭, 유전자 발현의 노이즈 및 무작위성에 영향을 받아 성장 속도와 발달 단계에 편차가 생기지만 진화 과정은 항상 완료된다는 사실이 밝혀졌습니다.

배아의 진화적 차이에 대한 다이어그램

쌍둥이 네트워크는 같은 연령의 배아들 사이에서 개별 표현형의 차이를 평가하는 데 사용되었습니다. 실험 결과는 그림에 나와 있습니다.

배아 발달 다이어그램

왼쪽 패널은 0분(녹색), 400분(파란색), 800분(보라색)의 각기 다른 시간 후에 예측된 배아 발달 단계의 백분율을 보여줍니다.

오른쪽 그래프는 배아의 평균 유사도 값이 시간이 지남에 따라 감소했음을 보여줍니다.

초기 배아 발달에서는 예측되는 배아 단계의 분포가 좁지만, 분할 기간이 시작되면서 예측되는 배아 단계의 분포 폭이 커집니다. 이는 다음을 보여줍니다배아 발달 과정에서 개인 간의 차이는 점차 증가하지만, 평균 유사성 값은 시간이 지남에 따라 감소합니다.

300만 개가 넘는 다니오 배아 이미지 중 약 11개의 TP3T 배아가 비정상적인 발달을 보였으며, 자연적 붕괴나 등쪽-복쪽 극성 결함이 가장 흔한 원인이었습니다.연구자들은 쌍둥이 네트워크를 사용하여 발달 이상이 있는 배아를 초기 단계에서 감지할 수 있습니다.. 이러한 비정상적인 배아는 예상되는 정상적인 발달 범위를 벗어나 낮은 평균 유사성 값을 보였습니다.

비정상적인 배아 발달의 그림

결과 4: 약물 처리된 배아 표현형의 식별

배아 발달은 다양한 신호 전달 분자에 의해 조정되며, 이들의 활동을 조절하면 배아 표현형이 바뀔 수 있습니다. 다니오의 발달 과정에서는 7가지 주요 신호 전달 경로가 존재합니다. 이러한 경로 중 골 형태 발생 단백질(BMP), 레티노산(RA), Wnt, 섬유아세포 성장 인자(FGF) 및 Nodal 신호 전달 경로는 주로 배아층의 방향과 전후방 등쪽-복쪽 축의 형성을 조절하는 반면, 소닉 헤지호그(Shh) 및 평면 세포 극성(PCP) 신호 전달 경로는 신체 축의 확장 및 형태 발생을 제어합니다.

연구진은 쌍둥이 네트워크가 비정상적인 배아를 감지하는 데 얼마나 효과적인지 테스트했으며, 그 결과는 아래 그림에 나와 있습니다.

치료되지 않은 배아와 약물 치료된 배아의 표현형 비교

a: 치료하지 않은 배아는 약물을 투여한 배아의 표현형을 측정하는 기준으로 사용되었습니다.

b-i: 다른 약물로 치료한 배아와 치료하지 않은 배아 사이의 유사성 변화

j: 배아 수에 따른 이상 탐지 정확도의 변화.

치료하지 않은 배아와 BMP, Nodal, FGF, Shh, PCP, Wnt 억제제로 치료한 배아 및 RA에 노출된 배아의 표현형을 비교한 결과, 치료하지 않은 배아 간에 높은 유사성 값이 나타났지만, 소분자 약물로 치료한 배아와 치료하지 않은 배아 간의 유사성 값은 일반적으로 낮았습니다.

시간 지점에 대한 통계적 분석은 배아 개체군이 기준 개체군과 크게 벗어나는 시간 지점을 결정하기 위해 수행되며, 이를 통해 표현형 결함이 있는 배아 개체군을 감지합니다. 탐지 정확도는 분석된 배아의 수와 간섭 유형에 따라 달라집니다.

또한,이 연구에서는 또한 다양한 침투율과 심각도의 표현형을 식별하는 방법의 정확성도 살펴보았습니다.그림에서는 BMP 경로 억제 수준에 따라 나타나는 다니오 배아의 표현형 범위가 알려져 있으며, 쌍둥이 네트워크는 발달적 편차를 정확하게 감지할 수 있습니다. 고용량의 소분자 BMP 신호전달 경로 억제제로 인해 침투성이 높거나 뚜렷한 표현형이 나타나는 표현형의 경우 정확한 검출에 필요한 배아의 수는 적지만, 경미한 표현형의 경우 약 30개의 배아가 필요합니다.

BMP 경로 억제 수준에 따른 다니오 배아의 표현형 변화

이러한 분석은 다음을 보여줍니다.정상적으로 발달하는 배아의 이미지만으로 훈련된 샴 네트워크는 편견 없는 방식으로 배아의 표현형 변화를 감지할 수 있습니다..

결과 5: 배아 발달 기간의 자동 도출

일반적으로 참조 배아 이미지는 시험 배아의 발달 시기를 평가하는 데 사용할 수 있지만, 새롭게 발견되었거나 특성이 규명되지 않은 종의 경우 이러한 참조 이미지를 사용할 수 없는 경우가 있습니다.

연구진은 쌍둥이 네트워크를 사용하여 테스트 이미지와 더 이른 시점의 동일 배아 이미지 간의 유사성을 계산함으로써 발달 단계를 결정할 수 있다고 제안했습니다.

그림은 다니오 배아에 대한 유사성 분석 결과를 보여줍니다.

배아 발달 기간 도출

a: 테스트 배아와 동일한 배아의 이전에 획득한 시간 지점의 이미지 사이의 유사성을 계산합니다.

b: 대표적 유사성 행렬.

다양한 발달 단계에서 유사점은 독특한 분포 특성을 나타냅니다. 연구진은 공통적인 패턴을 관찰했습니다. 높은 유사도 값은 국부적으로 집중되는 반면, 더 먼 시간 지점에서는 유사도 값이 낮아지고 정체되는 현상이 나타났습니다.

흥미로운 점은, 샴 네트워크가 평가한 이미지 쌍 사이의 국소적, 전역적 통계적 유사성이 개발 중 주요 단계의 순서와 일치한다는 것입니다. 정상기에 접어든 배아는 고전적인 분열, 배반포, 배아원반, 기관형성, 체절화 단계 등 발달의 주요 시기를 강조하는 안정적인 형태를 보입니다. 이와 대조적으로 정지 단계와 정상 단계의 경계에 있는 배아는 발달적 형태에 큰 변화가 일어나는 짧은 기간을 나타냅니다.

연구진은 다음으로 이 접근 방식을 메다카와 세가시가시 등 다른 종으로 확장하려고 노력하고 있습니다. 연구 결과에 따르면, 쌍둥이 네트워크는 형태학적으로 다양한 배아 서열에 대한 유익한 지도를 생성했습니다.

검은잉어와 삼가시가시 등 배아의 발달 단계 및 전환 자동 감지

추가 연구에서 그들은 이 방법을 더 먼 친척 관계의 선충류인 Caenorhabditis elegans에 적용했습니다. 연구진은 출판된 논문, YouTube 동영상 등 다양한 독립적인 출처의 오픈 데이터를 사용하여 네트워크를 훈련하고 평가했으며, C. elegans의 첫 번째 분열 주기를 자동으로 식별하여 최초의 4개 배아 전 세포를 형성하는 데 성공했습니다.

이러한 결과는 다음을 나타냅니다.트윈 네트워크 접근 방식은 이 목적을 위해 특별히 훈련된 모델이 전혀 필요 없이, 다양한 생물학적 시스템과 광범위한 이미지 데이터 세트에 대한 다양한 종의 발달 지도를 자동으로 생성하는 데 사용할 수 있습니다..

03 트윈 네트워크 대 디지털 트윈 네트워크

5G 시대에 디지털 트윈 네트워크가 반복적으로 언급되었습니다. 동시에, 유사한 이름을 가진 "트윈 기술"인 트윈 네트워크도 이미지 인식 분야에 등장하고 있습니다. 두 개념은 다르지만 특정 분야에서는 상승효과가 나타났습니다.

우선, 이 둘은 완전히 다른 개념이라는 점을 알아두시기 바랍니다.

트윈 네트워크: 주로 이미지 검색, 이미지 매칭, 이미지 분류 및 기타 분야에 사용되는 딥 러닝 아키텍처입니다. 이미지의 내장된 표현을 학습하여 이미지 유사성의 비교와 분석을 실현합니다.

디지털 트윈 네트워크: 실시간 데이터 업데이트 및 시뮬레이션 기술을 통해 해당 물리적 개체와 상호 작용하는 물리적 개체의 가상 모델이며, 다양한 조건에서 물리적 개체의 동작과 성능을 시뮬레이션할 수 있습니다. 주로 산업 제조, 사물 인터넷, 도시 계획, 항공 우주 및 기타 분야에 사용됩니다.

AI 알고리즘인 Twin Network는 자체의 장점을 활용하여 디지털 트윈 네트워크의 효율성을 강화하고 개선할 수 있습니다.

예를 들어, 산업 장비의 디지털 트윈에서 트윈 네트워크는 다양한 시점의 장비 이미지를 비교하여 장비 상태의 변화와 차이점을 파악할 수 있습니다. 디지털 트윈 도시 계획에서 트윈 네트워크는 모니터링 프로브에서 캡처한 이미지 데이터를 처리하고 교통 흐름과 도로 상황에 대한 실시간 모니터링 및 시뮬레이션을 수행하는 등의 작업을 수행할 수 있습니다.

요약하자면, 트윈 네트워크는 이미지 데이터와 딥러닝 기술을 결합하여 디지털 트윈 네트워크에 대한 이미지 관련 지원 및 애플리케이션을 제공함으로써 디지털 트윈의 정보 수집, 모니터링 및 의사 결정 역량을 향상시킵니다.

트윈 네트워크뿐만 아니라 다른 AI 툴도 디지털 트윈을 더욱 강화할 것입니다.