Skip to content
Merged
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
4 changes: 2 additions & 2 deletions pipeline/hspc-velocity-benchmark/manuscript/draft_v2_ko.md
Original file line number Diff line number Diff line change
Expand Up @@ -101,7 +101,7 @@ fitting된 모수를 cross-method 재현성으로 순위 매기면 경험적 식

그 자리를 대신하는 진술은 없는 것이 아니라 경계가 그어진 것이다. 짝지은 차이(Δ = A − B)는 작고 모두 양수이지만, 그 크기는 하나의 값으로 고정되지 않는다. 셔플 draw에 따라 달라져 한 세포집합 안에서도 대략 두세 배로 흩어지므로, 어느 한 draw도 대표 크기가 아니다. draw 전반에서 Δ는 천장 +0.872의 한 자릿수 %(대략 7%) 수준으로, 같은 지표에서 method 선택이 만들어 내는 불일치(방법 쌍 간 평균 중심화 코사인 −0.530 ~ +0.131)보다 한참 아래다. 그 잔여분이 크로마틴인지 재적합인지는 처음에 가릴 수 없었다. MultiVelo에 대해 같은 세포·같은 설정의 재실행 귀무가 없었기 때문이다. 그 공백은 이후 메워졌고, 잡음이 아니라 기여 쪽으로 메워졌다. 같은 세포집합 S_b에서 크로마틴을 온전히 둔 채 worker 수만 바꿔 재적합하면 이전 적합이 그대로 재현된다. 같은 날 두 적합은 bit 단위로 동일하고, 감사 지표로 잰 실행 간 차이는 측정한 두 세포집합 모두에서 Δ_rr = 0.000000이며 세포 부트스트랩 구간도 퇴화한다(`results/velocity_matrix_runtorun_null.md`). 보관된 적합과 견주었을 때 어긋나는 것은 유전자 하나(*LRIG1*)뿐으로, 한 세포집합에서는 4×10⁻¹⁶의 반올림 차이이고 다른 하나에서는 loss가 거의 같은 대안 해(전환 시각 65.0 대 66.9)이며 세포별 평균 중심화 코사인을 최대 2×10⁻⁶ 움직인다. 우리가 쓰는 조건에서 적합이 결정론적이므로 짝지은 Δ에는 빼내야 할 재적합 잡음 성분이 없고, 양성 진술의 사전등록 조건, 곧 |Δ_rr|의 상한 구간이 Δ_paired의 하한 구간보다 낮다는 조건이 두 경우 모두에서 성립한다(0.000000 대 0.0792 및 0.0608). 따라서 MultiVelo에 대해, 그리고 이 행렬에 대해, 크로마틴 채널을 파괴하면 출력이 실제로 움직이며 그 움직임이 재적합의 인공물이 아니라고 진술한다. 이 진술을 작게 묶어 두는 한계가 셋이다. 세 쌍 중 둘만 짝맞춘 재실행 귀무를 가지며, 원래 draw가 가장 작았던 쌍은 거기 들어 있지 않다. 세포집합마다 서로 다른 셔플 추출 네 번(총 열두 번의 적합)으로 반복해 보면, 재표집을 견디는 것과 견디지 못하는 것이 나뉜다. **부호는 견딘다.** 열두 draw 전부 Δ>0이고 구간이 0을 배제한다. **크기는 견디지 못한다.** 한 세포집합에서 draw 간 산포가 중앙값을 넘고(범위 0.043 대 중앙값 0.031), 거기서 우리가 보고하던 단일 draw(+0.063)는 네 개 중 가장 큰 값이었다(`results/velocity_matrix_shuffle_seed_variability.md`). 이 산포 판정은 범위(range)를 기준으로 봉인했고, 분산 기반 산포 지표로 보면 오히려 통과한다. 어느 지표든 실질 결론, 곧 크기가 draw마다 두세 배로 흩어진다는 점은 지표와 무관하게 성립한다. 따라서 방향은 진술하되 크기는 특정 숫자로 못 박지 않는다. 세포집합당 네 draw도 그 자체로 적어 산포는 거칠게만 추정된다. 그리고 효과는 같은 지표에서 method 선택이 만드는 것보다 한 자릿수 아래에 머무르므로, "여기서 크로마틴이 기여한다"가 "크로마틴이 이 행렬을 신뢰할 만하게 만든다"는 뜻은 아니다. 이 행렬 수준의 움직임은 시간차 결과(Fig. 2)와 어긋나지 않는다. 같은 종류의 ATAC 셔플은 priming 마커 시간차를 bulk 셔플보다 더 흔들지 않지만(크로마틴이 시간차를 만들지 않는다), 여기서는 세포×유전자 velocity 행렬을 움직인다. 대상이 다르므로 모순이 아니다. 이 비교들을 평균 중심화 코사인으로 보고하는 이유는 원척도 값이 모든 세포에 공통인 방향에 부분적으로 좌우되기 때문이다(평균 벡터가 행 노름 제곱의 12.9~37.4%를 차지하며 arm마다 다르다). 중심화는 사후 진단이고 봉인된 지표 목록에 없으며, 위의 사전등록 판정은 원척도 지표에 기댄다. 무게가 실린 한계가 하나 더 있다. 방법 간 값을 arm 내부 불안정이 아니라 진짜 불일치로 읽는 것은 그 대조군을 가진 MultiVelo에서만 허용된다. 0에 가장 가까운 세 쌍은 모두 MoFlow가 낀 쌍인데, MoFlow는 확률적 심층 모형이고 동일 설정 재실행 안정성이 확립된 적이 없다(자기 원본 대 셔플 값 +0.113도 같은 이유로 해석 불가). 그 쌍들에서는 불일치와 불안정이 분리되지 않는다.

그 한계 안에서 읽으면, 이 비교 전체에서 평균 중심화 일치가 가장 컸던 것은 두 multiome 방법 사이가 아니라 MultiVelo와 RNA 전용 scVelo floor 사이였다(+0.583). 다만 이는 계열 전체의 성질이 아니다. CRAK-Velo, MoFlow, MultiVeloVAE의 대응값은 각각 +0.260, −0.004, −0.292였다. MultiVelo와 MultiVeloVAE는 같은 세포에 체계적으로 반대 방향을 부여했다(평균 중심화 −0.500). 그것이 실질적 불일치인지 문서화되지 않은 부호·모수화 규약 차이인지는 이 설계로 가릴 수 없으나, 어느 쪽이든 확인 없이 한 출력을 다른 것으로 바꿔 쓰는 분석자는 반대 방향을 얻는다. 두 대조 모두 fitting된 행렬을 읽기 전에 봉인한 지표와 임계에서 실패했다(Additional file 12). multiome 쌍끼리의 일치가 RNA 전용 기준선을 넘지 못했고, 크로마틴을 파괴해도 행렬이 붕괴하지 않았다. 다만 위의 짝맞춘 비교가 보이듯 조금은 움직인다. 따라서 행렬의 방법 간 재현성도 유전자별 모수보다 나을 것이 없다.
그 한계 안에서 읽으면, 이 비교 전체에서 평균 중심화 일치가 가장 컸던 것은 두 multiome 방법 사이가 아니라 MultiVelo와 RNA 전용 scVelo floor 사이였다(+0.583). 다만 이는 계열 전체의 성질이 아니다. CRAK-Velo, MoFlow, MultiVeloVAE의 대응값은 각각 +0.260, −0.004, −0.292였다. MultiVelo와 MultiVeloVAE는 같은 세포에 체계적으로 반대 방향을 부여했다(평균 중심화 −0.500). 그것이 실질적 불일치인지 문서화되지 않은 부호·모수화 규약 차이인지는 이 설계로 가릴 수 없으나, 어느 쪽이든 확인 없이 한 출력을 다른 것으로 바꿔 쓰는 분석자는 반대 방향을 얻는다. 두 대조 모두 fitting된 행렬을 읽기 전에 봉인한 지표와 임계에서 실패했다(Additional file 12). multiome 쌍끼리의 일치가 RNA 전용 기준선을 넘지 못했고, 크로마틴을 파괴해도 행렬이 붕괴하지 않았다. 다만 위의 짝맞춘 비교가 보이듯 조금은 움직인다. 따라서 행렬의 방법 간 재현성도 유전자별 모수보다 나을 것이 없다. 이는 RNA 전용 설정에서 열두 개 방법의 transition vector cross-method 일치가 낮다고 보고한(A1<0.3) 일반 벤치마크와도 궤를 같이한다 [25].

이 기준선 대조는 HSPC 밖에서도 반복된다. 두 번째 velocity arm과 RNA 전용 floor를 함께 가진 외부 multiome 네 곳, 곧 마우스 gastrulation(arm 4개), 대식세포, 인간 BMMC, E18 마우스 뇌에 같은 지표를 그대로 적용하자 네 곳 모두에서 순서가 유지되었다. multiome 쌍끼리의 일치는 multiome 대 RNA-only 기준선을 넘지 못했다(세포 단위 paired Δ = −0.159, −0.152, −0.289, −0.184, 모든 95% CI가 0을 배제; 평균 중심화 코사인에서도 같은 4/4 판정). 사전 임계는 외부 행렬을 읽기 전에 봉인한 4개 중 3개였다(Additional file 12). 인간 태아 피질은 multiome arm이 하나뿐이라 비교할 multiome 쌍이 없어 이 집계에서 빠진다. 세 가지 한계가 무게를 진다. 첫째, 외부 시스템에는 ATAC-shuffle arm도 재적합도 없어 인과 대조와 재현성 천장은 재현되지 않는다. 인과 진술은 HSPC와 MultiVelo에 한정된 채로 남고, 외부 결과는 천장 아래로 얼마나 떨어졌는지가 아니라 순서로만 읽는다. 둘째, 외부 네 곳 중 셋은 multiome 쌍이 하나뿐이므로(MultiVelo 대 MultiVeloVAE), multiome 방법들 사이의 다중 쌍 불일치는 HSPC와 gastrulation에서만 검정된다. 셋째, 재현되는 것은 순서이지 "모든 multiome 쌍이 자기 귀무 이하에 놓인다"는 HSPC의 더 강한 관찰이 아니다. gastrulation에서 MultiVelo와 MultiVeloVAE는 셔플 귀무를 넘는 세포 수준 신호를 실제로 공유한다(+0.200 대 +0.038). 그럼에도 그 둘은 크로마틴을 쓰지 않는 기준선과 최소한 그만큼을 공유한다. 다섯 시스템 전부에서 가장 잘 일치한 쌍은 MultiVelo와 RNA 전용 floor였다(평균 중심화 +0.583, +0.432, +0.578, +0.392, +0.283). 우리는 이를 재현되는 성분이 RNA 쪽이라는 주장으로 승격하지 않는다. MultiVelo와 scVelo는 모델 형태도 공유하기 때문이다. 둘 다 같은 평활 count 위에서 고전적인 βu − γs 잔차 형태를 쓰며, 이 설계로는 공유된 RNA 정보와 공유된 모델 형태를 나눌 수 없다.

Expand Down Expand Up @@ -135,7 +135,7 @@ Table 1과 의도적으로 분리한다. 이것은 velocity 출력의 *사용(us
| Velocity 출력 | cross-method 재현성(내부) | 외부 측정 anchor | 신뢰도 | 권장 조치 |
|---|---|---|---|---|
| *정상상태 발현량 (기준선, velocity 출력 아님)* | 방법 의존 없음(데이터의 성질) | 실측 합성율을 α만큼 또는 그 이상으로 추종(ρ=+0.41 대 +0.26) | *기준 baseline* | 먼저 확인할 것. α는 이를 넘어서는 합성율 정보를 입증하지 못한다 |
| 전사 속도 α | 높음 (ρ=0.88; floor가 복원) | 보강됨 (측정된 TT-seq 합성, 비-HK ρ +0.24 ~ +0.29, CI가 0 배제; abundance가 최소한 그만큼 잘 예측) | **신뢰 가능하나 상당 부분 발현량**(α↔발현량 ρ=0.81, cross-method ρ=0.88보다 낮음) | 직접 사용; 하류 feature로 선호 |
| 전사 속도 α | 높음 (ρ=0.88; floor가 복원) | 보강됨 (측정된 TT-seq 합성, 비-HK ρ +0.24 ~ +0.29, CI가 0 배제; abundance가 최소한 그만큼 잘 예측) | **신뢰 가능하나 상당 부분 발현량**(α↔발현량 ρ=0.81, cross-method ρ=0.88보다 낮음) | 직접 사용 가능; kinetic 정보로 다루기 전에 발현량 기준선과 먼저 비교할 것 |
| 집단 방향 균형 (~50/50) | 높음 (두 방법 수렴) | — | **신뢰 가능(집단 진술)** | 집단 수준 진술로만 사용 |
| 대표 priming 마커 방향 | 높음 (방법 간 일치) | 상관적일 뿐 (ATAC-shuffle 귀무, MW p=0.58; 인과 근거 없음) | **상관으로서 신뢰 가능** | 명명된 locus에 상관적 방향으로 사용, 유전체 전반 불가, 인과 불가 |
| chromatin 개방 속도 α_c | 낮음 (ρ=0.29) | — | **신뢰 불가** | 사용 전 안정화(부트스트랩 또는 lineage별) |
Expand Down
Loading