From 49d59b9c3fe850f44205549fa4c392decda364f0 Mon Sep 17 00:00:00 2001 From: kakyungkim Date: Mon, 27 Jul 2026 23:25:18 +0900 Subject: [PATCH 1/3] =?UTF-8?q?P5=20=EC=8A=A4=EC=BF=B1=20=EB=B0=98?= =?UTF-8?q?=EC=98=81=20=E2=80=94=20Wu=202026(GB)=C2=B7Ancheta=202026(PLOS)?= =?UTF-8?q?=20=EC=9D=B8=EC=9A=A9=20=ED=8E=B8=EC=9E=85,=20=EC=B0=B8?= =?UTF-8?q?=EA=B3=A0=EB=AC=B8=ED=97=8C=2069=E2=86=9271=20(=EC=98=81/?= =?UTF-8?q?=ED=95=9C=20=EB=8F=99=EC=8B=9C)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 오늘(2026-07-27) Genome Biology 27:242에 세 번째 velocity 벤치마크(Wu et al.)가 게재됨. 우리 타깃 저널이고 우리 데이터(GSE209878·GSE284047)를 Data 6으로 씀 → 전문 정독 후 스쿱 점검(스쿱 아님) + 인용 편입. 편입: - [27] Wu Y 외 5인, Genome Biology 27:242 (2026). doi:10.1186/s13059-026-04182-z - [28] Ancheta S 외, PLoS Comput Biol 22(6):e1014303 (2026) — 유전자별 driver 순위 방법 의존, 우리 per-gene 비재현과 방향 일치(corroboration) 둘 다 CrossRef 실검증. ★ advisor 지적 반영(자기모순 차단): Background·Positioning의 "causal negative control 없음" 문장이 Wu의 'negative control robustness' task와 충돌해 보이는 문제 → 문장 안에서 구분("정적 세포 출력 타당성을 self-transition· entropy로 잴 뿐 chromatin 입력 교란이 아니다"). "prior benchmarks에 없다"도 두 부재(행렬 method 간 비교·chromatin 인과 교란)로 정밀화. 데이터 겹침도 정직하게: Wu의 Data 6 = GSE209878+GSE284047(둘 다 우리 것), 거기서는 임베딩 수준으로만 채점 → "같은 데이터, 다른 질문" 명기. 재번호: scripts/p16_add_wu_plos.py(p15 로직, {{W1}}{{P1}} 토큰 삽입 후 첫 등장 순 재배정). 검증: 영/한 각각 본문 71종 == 목록 71편, 첫 등장 순 1..71, 1:1, 목록 텍스트 71/71 동일, Enrichr 68~70 생존, 초록 무인용, 토큰 잔여 0, p13 인용결함 0, 재계산 게이트 diff 0, 금지어·화살표·em-dash 0. 추가 분석 불필요(차별점은 그들 설계의 공백이지 우리 데이터의 공백이 아님). GraphVelo(ATAC)>MultiVelo는 향후 arm 후보(별도 티켓), 투고 블로커 아님. 분석 상세=paper_analysis/epigenomic-lag/wu-2026-velocity-benchmark/. --- .../manuscript/PAPER_DIRECTION.md | 3 + .../manuscript/draft_v2.md | 126 +++++++------ .../manuscript/draft_v2_ko.md | 126 +++++++------ .../manuscript/refs_number_map.json | 176 +++++++++--------- .../scripts/p16_add_wu_plos.py | 71 +++++++ 5 files changed, 294 insertions(+), 208 deletions(-) create mode 100644 pipeline/hspc-velocity-benchmark/scripts/p16_add_wu_plos.py diff --git a/pipeline/hspc-velocity-benchmark/manuscript/PAPER_DIRECTION.md b/pipeline/hspc-velocity-benchmark/manuscript/PAPER_DIRECTION.md index bd4c0cf..d8ef00f 100644 --- a/pipeline/hspc-velocity-benchmark/manuscript/PAPER_DIRECTION.md +++ b/pipeline/hspc-velocity-benchmark/manuscript/PAPER_DIRECTION.md @@ -62,5 +62,8 @@ - ✅ 4-vs-4 확증 + §8(SNR-bounded) + 방어가능선 전략 봉인(커밋 d52416c). - ✅ 5번째 GSE205117(gastrulation) 완주 — 사전등록 6/0 PASS(MoFlow arm 원정의 재채점, 커밋 9eb0b76). 본문·Table1 반영. +### 2026-07-27 — 스쿱 점검·인용 반영 (Wu 2026 GB) +- 오늘 GB 게재된 세 번째 벤치마크(Wu et al. 27:242, 우리 데이터 GSE209878·GSE284047을 임베딩 수준으로 사용)를 스쿱 점검 후 인용 편입. PLOS Ancheta 2026(유전자별 driver 순위 방법 의존, 우리와 방향 일치)도 corroboration으로 인용. **스쿱 아님**(임베딩 순위 vs 우리 행렬 재현성·ATAC-shuffle 인과·외부 rate 앵커). refs 69→71([27] Wu·[28] Ancheta). advisor 지적 반영: Background·Positioning의 "causal negative control 없음" 문장이 Wu의 negative-control task와 충돌하지 않게 "정적 세포 출력 타당성이지 chromatin 인과가 아니다"로 문장 안에서 구분. 분석 상세=paper_analysis/epigenomic-lag/wu-2026-velocity-benchmark/. + ## 6. 정직한 한계 (본문 명시) 식별가능성-SNR 분리 불가 / freed-nuisance 조건부(α 곡률도 0.19× 붕괴) / skin DEFER / drug-timing은 design principle(wet-lab 미검증) / cross-dataset α gradient는 n=3 confounded라 headline 금지(categorical 대비만). diff --git a/pipeline/hspc-velocity-benchmark/manuscript/draft_v2.md b/pipeline/hspc-velocity-benchmark/manuscript/draft_v2.md index 92a5104..febd57d 100644 --- a/pipeline/hspc-velocity-benchmark/manuscript/draft_v2.md +++ b/pipeline/hspc-velocity-benchmark/manuscript/draft_v2.md @@ -52,11 +52,11 @@ the external-measurement result is corroboration inside the map, not a title cla RNA velocity infers the direction and speed of transcriptional change from the balance of unspliced and spliced mRNA[1,2], and a family of chromatin-informed extensions now couples this to single-cell ATAC to model how chromatin state feeds transcription. These methods do not emit a single number: each fits a transcription rate α, a splicing rate β, a degradation rate γ, and — in the multiome variants — a per-gene *chromatin-to-transcription lag*. MultiVelo defines explicit priming and decoupling offsets between chromatin and RNA switch times and classifies genes accordingly [3]; MultiVeloVAE generalizes these to continuous per-cell decoupling and coupling factors [4]; MoFlow infers per-cell chromatin-opening, transcription, splicing and degradation rates and reports chromatin-spliced lags without a pre-assigned latent time [5]; and CRAK-Velo integrates chromatin-accessibility kinetics and admits a trajectory-derived lag [6]. Same-family alternatives (archetypal ATAC-plus-RNA trajectory modeling [7]; regulatory velocity from differential-accessibility priors [8]) and the RNA-only generative velocity our floor builds on (veloVI, which adds posterior velocity uncertainty [9]; the RNA-only Bayesian veloVAE [10], distinct from the multiome MultiVeloVAE) frame the landscape[11,12,13,14]. The biological motivation is[15,16,17] "chromatin potential" — the observation that accessibility at key loci can precede expression during lineage commitment, i.e. that chromatin *primes* fate [18]; in transient-transcription-factor-rich systems such as the developing cortex, multi-stage accessibility-then-target lags are documented [19], which is exactly where a per-gene lag would be most method-sensitive. -Each of these outputs has been offered as a biological readout, and the lag in particular is attractive as a mechanistic clock. Our own motivating goal is to predict the *timing* of epigenetic-drug responses from baseline epigenomic features, for which a per-gene activation or shutdown offset would be a natural covariate. But a velocity-derived quantity is usable downstream only if it is *reliable*, and reliability has two faces that are usually tested separately. The first is internal: the same number regardless of which reasonable algorithm produced it. The velocity-critique literature is emphatic that many velocity readouts fail even this[20] — violated model assumptions and multiple kinetic regimes produce wrong velocities [21], the pipelines carry many user-set hyperparameters and are often not actionable [22], and reliable quantification of even the velocity *direction* is non-trivial [23]. Two 2026 benchmarks establish that velocity direction is method-dependent with no universal winner[24] [25,26] — but both score the velocity *vector* in a low-dimensional embedding rather than the individual per-gene outputs, and neither compares the cell×gene velocity matrices of different methods to each other, and neither applies a permutation-null concordance test, a causal negative control, or an external measurement anchor. The second face of reliability is external[27] and is almost never tested for velocity: does a fitted rate recover an *independently measured* kinetic quantity? Metabolic-labeling assays (TT-seq for synthesis, SLAM-seq half-lives for degradation)[28,29] now make this test possible, and it is the stronger bar — a quantity can reproduce across methods and still be a shared artifact, but a quantity that also matches a measurement made by a different technology in different cells is anchored to biology. +Each of these outputs has been offered as a biological readout, and the lag in particular is attractive as a mechanistic clock. Our own motivating goal is to predict the *timing* of epigenetic-drug responses from baseline epigenomic features, for which a per-gene activation or shutdown offset would be a natural covariate. But a velocity-derived quantity is usable downstream only if it is *reliable*, and reliability has two faces that are usually tested separately. The first is internal: the same number regardless of which reasonable algorithm produced it. The velocity-critique literature is emphatic that many velocity readouts fail even this[20] — violated model assumptions and multiple kinetic regimes produce wrong velocities [21], the pipelines carry many user-set hyperparameters and are often not actionable [22], and reliable quantification of even the velocity *direction* is non-trivial [23]. Three 2026 benchmarks establish that velocity direction is method-dependent with no universal winner[24] [25,26,27] — but all three score the velocity *vector* in a low-dimensional embedding rather than the individual per-gene outputs, none compares the cell×gene velocity matrices of different methods to each other, and none applies a permutation-null concordance test or an external measurement anchor; the one task among them named "negative control robustness"[27] scores whether a method emits spuriously non-zero velocity on static cells (self-transition and entropy), not whether perturbing the chromatin input changes the velocity. A separate 2026 comparison likewise reports per-gene driver rankings to be method-dependent[28], consistent with the per-gene irreproducibility we quantify. Two of these benchmarks' datasets are ones we also analyse (GSE209878, GSE284047), scored there only at the embedding level. The second face of reliability is external[29] and is almost never tested for velocity: does a fitted rate recover an *independently measured* kinetic quantity? Metabolic-labeling assays (TT-seq for synthesis, SLAM-seq half-lives for degradation)[30,31] now make this test possible, and it is the stronger bar — a quantity can reproduce across methods and still be a shared artifact, but a quantity that also matches a measurement made by a different technology in different cells is anchored to biology. -This concern is not peculiar to velocity. Independent replication efforts in preclinical biology and in psychology have recovered only a fraction of published findings [30,31,32]; surveys report that most researchers have failed to reproduce work by others, and often their own [33]; a systematic replication effort in cancer biology found that published reports seldom carried enough methodological detail to be repeated without contacting the original authors [34]; and the statistical argument for why this should be expected is long-standing [35]. In genomics specifically, published expression analyses were frequently not repeatable from the paper alone [36]. The variant we address here is narrower and, we suspect, more common than outright irreproducibility: a derived quantity is introduced and demonstrated on illustrative loci, and is then used downstream at a per-gene quantitative level at which its reliability was never tested. Benchmarks of the velocity *vector* exist [25,26], but the individual per-gene outputs — and the cell×gene velocity matrix they are combined into — have not been audited on the axes we apply here. +This concern is not peculiar to velocity. Independent replication efforts in preclinical biology and in psychology have recovered only a fraction of published findings [32,33,34]; surveys report that most researchers have failed to reproduce work by others, and often their own [35]; a systematic replication effort in cancer biology found that published reports seldom carried enough methodological detail to be repeated without contacting the original authors [36]; and the statistical argument for why this should be expected is long-standing [37]. In genomics specifically, published expression analyses were frequently not repeatable from the paper alone [38]. The variant we address here is narrower and, we suspect, more common than outright irreproducibility: a derived quantity is introduced and demonstrated on illustrative loci, and is then used downstream at a per-gene quantitative level at which its reliability was never tested. Benchmarks of the velocity *vector* exist [25,26,27], but the individual per-gene outputs — and the cell×gene velocity matrix they are combined into — have not been audited on the axes we apply here. -We therefore treat the velocity outputs not as findings but as candidates to be sorted by reliability[37,38]. We benchmark them head-to-head across an RNA-only floor and four chromatin-informed arms in human HSPC 10x Multiome (GSE209878), with a permutation-FDR agreement test, a causal ATAC-shuffle negative control, cross-dataset replication in five external systems including a preregistered test, and a corroborating external anchoring of the fitted rates to measured synthesis and degradation. The framing is a reliability map: which velocity outputs a downstream analyst can trust directly and which require orthogonal validation, rather than a "we beat method X" comparison. Where our objective-function analysis touches parameter identifiability, we note up front that the weak identifiability of velocity switch-times has been shown before by ConsensusVelo via likelihood flatness and Fisher information [39]; that work is confirmatory of our mechanism, and our fresh contribution is the velocity-output reliability map itself — the α-stiff/lag-sloppy *dissociation*, its cross-method reproducibility[40,41] ordering, its external corroboration, and its multiome extension. +We therefore treat the velocity outputs not as findings but as candidates to be sorted by reliability[39,40]. We benchmark them head-to-head across an RNA-only floor and four chromatin-informed arms in human HSPC 10x Multiome (GSE209878), with a permutation-FDR agreement test, a causal ATAC-shuffle negative control, cross-dataset replication in five external systems including a preregistered test, and a corroborating external anchoring of the fitted rates to measured synthesis and degradation. The framing is a reliability map: which velocity outputs a downstream analyst can trust directly and which require orthogonal validation, rather than a "we beat method X" comparison. Where our objective-function analysis touches parameter identifiability, we note up front that the weak identifiability of velocity switch-times has been shown before by ConsensusVelo via likelihood flatness and Fisher information [41]; that work is confirmatory of our mechanism, and our fresh contribution is the velocity-output reliability map itself — the α-stiff/lag-sloppy *dissociation*, its cross-method reproducibility[42,43] ordering, its external corroboration, and its multiome extension. --- @@ -64,7 +64,7 @@ We therefore treat the velocity outputs not as findings but as candidates to be ### Only the transcription rate α, not the chromatin-to-transcription lag, reproduces across methods -Across methods, the per-gene lag did not concord. In HSPC, pairwise Spearman correlations of the lag under its original signed definition were −0.04 (MultiVelo versus MoFlow, p=0.38), −0.01 (MultiVelo versus MultiVeloVAE, p=0.81) and +0.08 (MoFlow versus MultiVeloVAE, p=0.04); unifying the lag definition apples-to-apples raised the strongest pair only to +0.12, and under a magnitude convention that same strongest pair (MultiVelo versus MultiVeloVAE) reaches +0.163 (95% CI [+0.078, +0.244], excluding 0) — so the lag reproduces weakly at best in magnitude, with most pairs at |ρ|≤0.08 (Fig. 1). Direction was no better: among the sign-variable methods the chromatin-leads fraction was 44.8% (MoFlow) and 49.3% (MultiVeloVAE) — a population balance near 50/50 that does not support a genome-wide "chromatin primes transcription" ordering — and the per-gene sign-agreement between MoFlow and MultiVeloVAE was 54.6% once genes whose lag is exactly zero (direction undetermined) are excluded (n=560; binomial p=0.03 against chance), i.e. close to chance and far from usable. (MultiVelo's apparent 100% chromatin-leads is an artifact of its switch-time monotone-ordering constraint and is therefore admitted only to the magnitude and rank tests, never the sign test.) Adding a fourth method did not rescue concordance: after verifying and correcting a CRAK-Velo lag-sign convention bug, MoFlow versus CRAK-Velo was −0.151 and CRAK-Velo versus MultiVeloVAE was −0.04, and CRAK-Velo's chromatin-leads fraction was 41.1% (balanced). Direction agreement was not uniform across the canonical markers. Tabulating every gene's call from each sign-variable method (Additional file 3: Table S3), the granule markers *MPO*, *ELANE*, *AZU1*, *LYZ* and *S100A9* were chromatin-leading in every method that scored them and the early marker *MEIS1* was RNA-leading, but *CSF1R*, *HLF* and *CRHBP* were split. Genome-wide, of the 640 genes with at least two sign-variable calls only 38.6% were unanimous and 61.4% were split. The concept these markers illustrate — the one the originating methods showed by example — therefore holds in our data at a subset of loci and as a *direction* only: the quantitative per-gene magnitude did not reproduce, and (as the next subsection shows) the agreement is not caused by chromatin at those loci. Nor could a usable rule be recovered by restricting to well-determined genes: agreement rises with α (Spearman +0.25, p=4e-09), yet even the top α decile is only 31.5% unanimous, and a cross-validated weighted composite of per-gene features (AUC 0.70) still leaves 69% of its top-decile genes split (Additional file 8: Table S8). The unanimous chromatin-leading set is enriched for the azurophil-granule programme (Reactome neutrophil degranulation[42,43,44], adjusted p=9.4e-04 against a background restricted to the genes we could score), but we do not give this a biological reading: agreement is not correctness, the ATAC-shuffle control at these markers was null, and these are also the genes with the strongest expression signal, so a signal-to-noise explanation cannot be separated here. Nor does the pattern replicate: in the one external system where direction agreement can be tested at all (mouse gastrulation, the only external dataset with two sign-variable arms), per-gene agreement was 50.6% (n=1,061; binomial p=0.71), and the size of the unanimous sets matched what independent per-method direction calls would produce (both-chromatin expected 0.347, observed 0.347), with no counterpart to the granule-programme enrichment. We therefore keep the originating example intact while separating its qualitative direction from its unreliable quantitative value, and read the marker agreement strictly as a correlational fact. +Across methods, the per-gene lag did not concord. In HSPC, pairwise Spearman correlations of the lag under its original signed definition were −0.04 (MultiVelo versus MoFlow, p=0.38), −0.01 (MultiVelo versus MultiVeloVAE, p=0.81) and +0.08 (MoFlow versus MultiVeloVAE, p=0.04); unifying the lag definition apples-to-apples raised the strongest pair only to +0.12, and under a magnitude convention that same strongest pair (MultiVelo versus MultiVeloVAE) reaches +0.163 (95% CI [+0.078, +0.244], excluding 0) — so the lag reproduces weakly at best in magnitude, with most pairs at |ρ|≤0.08 (Fig. 1). Direction was no better: among the sign-variable methods the chromatin-leads fraction was 44.8% (MoFlow) and 49.3% (MultiVeloVAE) — a population balance near 50/50 that does not support a genome-wide "chromatin primes transcription" ordering — and the per-gene sign-agreement between MoFlow and MultiVeloVAE was 54.6% once genes whose lag is exactly zero (direction undetermined) are excluded (n=560; binomial p=0.03 against chance), i.e. close to chance and far from usable. (MultiVelo's apparent 100% chromatin-leads is an artifact of its switch-time monotone-ordering constraint and is therefore admitted only to the magnitude and rank tests, never the sign test.) Adding a fourth method did not rescue concordance: after verifying and correcting a CRAK-Velo lag-sign convention bug, MoFlow versus CRAK-Velo was −0.151 and CRAK-Velo versus MultiVeloVAE was −0.04, and CRAK-Velo's chromatin-leads fraction was 41.1% (balanced). Direction agreement was not uniform across the canonical markers. Tabulating every gene's call from each sign-variable method (Additional file 3: Table S3), the granule markers *MPO*, *ELANE*, *AZU1*, *LYZ* and *S100A9* were chromatin-leading in every method that scored them and the early marker *MEIS1* was RNA-leading, but *CSF1R*, *HLF* and *CRHBP* were split. Genome-wide, of the 640 genes with at least two sign-variable calls only 38.6% were unanimous and 61.4% were split. The concept these markers illustrate — the one the originating methods showed by example — therefore holds in our data at a subset of loci and as a *direction* only: the quantitative per-gene magnitude did not reproduce, and (as the next subsection shows) the agreement is not caused by chromatin at those loci. Nor could a usable rule be recovered by restricting to well-determined genes: agreement rises with α (Spearman +0.25, p=4e-09), yet even the top α decile is only 31.5% unanimous, and a cross-validated weighted composite of per-gene features (AUC 0.70) still leaves 69% of its top-decile genes split (Additional file 8: Table S8). The unanimous chromatin-leading set is enriched for the azurophil-granule programme (Reactome neutrophil degranulation[44,45,46], adjusted p=9.4e-04 against a background restricted to the genes we could score), but we do not give this a biological reading: agreement is not correctness, the ATAC-shuffle control at these markers was null, and these are also the genes with the strongest expression signal, so a signal-to-noise explanation cannot be separated here. Nor does the pattern replicate: in the one external system where direction agreement can be tested at all (mouse gastrulation, the only external dataset with two sign-variable arms), per-gene agreement was 50.6% (n=1,061; binomial p=0.71), and the size of the unanimous sets matched what independent per-method direction calls would produce (both-chromatin expected 0.347, observed 0.347), with no counterpart to the granule-programme enrichment. We therefore keep the originating example intact while separating its qualitative direction from its unreliable quantitative value, and read the marker agreement strictly as a correlational fact. A permutation-FDR analysis (gene-label shuffle null, N=10⁴) confirmed the weakness statistically: cross-method ρ was significant versus the shuffle null for 2 of 3 pairs, but the effect was extremely weak (|ρ|≤0.15) and directionally inconsistent. A per-gene cross-method sign-consistency test returned an empty agreement-set (0/598 genes at FDR<0.10); we report this as a **CRAK-dependent sensitivity result**, not the headline, because the empty set requires three sign-variable methods, and with a clean sign-variable pair ({MoFlow, MultiVeloVAE}) the two-method sign test is power-bounded (min p_perm≈0.50 regardless of signal). The CRAK-independent clean headline is therefore that the lag reproduces weakly at best in magnitude (strongest pair +0.163, most pairs |ρ|≤0.08) and only at chance in sign (54.6%). @@ -78,15 +78,15 @@ A corollary bears on the named priming markers. Because the markers were the one ### The lag is unpredictable from baseline features that predict α -We triangulated the lag along three further axes (accuracy, stability, predictability); the predictability axis is the one that matters for downstream use and is summarized here (full triangulation in Supplementary Note S1). Pure baseline chromatin features could not predict the lag across held-out lineages (ρ=−0.21); adding fitted kinetic features raised this to +0.59 but circularly, because the fitted α_c mechanically determines the MultiVelo lag. Assembling real day0 ATAC promoter and enhancer accessibility[45] (511 genes over 8,583 day0 HSC/MPP cells) sharpened the contrast: the *robust* target α was predicted on held-out lineages (ρ=+0.309, positive in all six lineages), whereas the *non-robust* lag remained unpredictable even with real ATAC (ρ=+0.05, chance) (Supplementary Fig. S2). A within-method, cross-lineage refit told the same story: lag magnitude concorded only weakly across separately-fit lineages (median ρ=0.349, range 0.234–0.513) while its α_c control was more robust (median ρ=0.483). The same baseline features that predict the robust α fail to predict the non-robust lag — which is why a downstream timing model should be built on baseline features and α, not on a single lag value. (For completeness, an injected-lag accuracy simulation and a bootstrap sign-stability check are reported in Supplementary Note S1; the accuracy simulation is a shape artifact of the CRAK-Velo DTW construct on smooth dynamics and does not touch the core MoFlow/MultiVelo/MultiVeloVAE arms.) +We triangulated the lag along three further axes (accuracy, stability, predictability); the predictability axis is the one that matters for downstream use and is summarized here (full triangulation in Supplementary Note S1). Pure baseline chromatin features could not predict the lag across held-out lineages (ρ=−0.21); adding fitted kinetic features raised this to +0.59 but circularly, because the fitted α_c mechanically determines the MultiVelo lag. Assembling real day0 ATAC promoter and enhancer accessibility[47] (511 genes over 8,583 day0 HSC/MPP cells) sharpened the contrast: the *robust* target α was predicted on held-out lineages (ρ=+0.309, positive in all six lineages), whereas the *non-robust* lag remained unpredictable even with real ATAC (ρ=+0.05, chance) (Supplementary Fig. S2). A within-method, cross-lineage refit told the same story: lag magnitude concorded only weakly across separately-fit lineages (median ρ=0.349, range 0.234–0.513) while its α_c control was more robust (median ρ=0.483). The same baseline features that predict the robust α fail to predict the non-robust lag — which is why a downstream timing model should be built on baseline features and α, not on a single lag value. (For completeness, an injected-lag accuracy simulation and a bootstrap sign-stability check are reported in Supplementary Note S1; the accuracy simulation is a shape artifact of the CRAK-Velo DTW construct on smooth dynamics and does not touch the core MoFlow/MultiVelo/MultiVeloVAE arms.) ### The α-robust, lag-fragile ordering replicates across five external systems, including a preregistered test We asked whether this ordering is a peculiarity of one HSPC dataset by replicating in five external multiomes spanning tissue distance (Fig. 3; Table 1). The claim is the *preservation of the α-over-lag ordering*, not any absolute value. -Within each external dataset, cross-method α (floor, MultiVelo and MultiVeloVAE, median of the three pairs) reproduced strongly while the within-dataset lag (MultiVelo versus MultiVeloVAE) stayed near zero: E18 mouse brain α median +0.81 versus lag +0.057; human BMMC +0.851 versus −0.088 (p=0.15); macrophage +0.865 versus +0.074 (equivalent to 0 by TOST[46]); mouse gastrulation +0.927 versus −0.026 ([−0.089, +0.038]), a within-dataset dissociation Δρ=+0.979 (95% CI [+0.916, +1.041]). Across datasets, the HSPC-to-external α rank reproduced above its lag counterpart in every system: human fetal cortex α +0.475 (p=4.5e-7) versus lag +0.185 (p=0.06); E18 +0.32 (p=2e-4) versus +0.10 (p=0.23); BMMC +0.550 (p=2.9e-8) versus +0.052 (p=0.63); macrophage +0.643 (95% CI [+0.554, +0.719], p=2.5e-33) versus +0.148 (95% CI [+0.027, +0.263], p=0.014); gastrulation +0.415 (95% CI [+0.244, +0.561]) versus +0.028 (95% CI [−0.165, +0.224]). The macrophage axis gives an explicit cross-dataset dissociation Δρ=+0.843 (95% CI [+0.773, +0.912]). +Within each external dataset, cross-method α (floor, MultiVelo and MultiVeloVAE, median of the three pairs) reproduced strongly while the within-dataset lag (MultiVelo versus MultiVeloVAE) stayed near zero: E18 mouse brain α median +0.81 versus lag +0.057; human BMMC +0.851 versus −0.088 (p=0.15); macrophage +0.865 versus +0.074 (equivalent to 0 by TOST[48]); mouse gastrulation +0.927 versus −0.026 ([−0.089, +0.038]), a within-dataset dissociation Δρ=+0.979 (95% CI [+0.916, +1.041]). Across datasets, the HSPC-to-external α rank reproduced above its lag counterpart in every system: human fetal cortex α +0.475 (p=4.5e-7) versus lag +0.185 (p=0.06); E18 +0.32 (p=2e-4) versus +0.10 (p=0.23); BMMC +0.550 (p=2.9e-8) versus +0.052 (p=0.63); macrophage +0.643 (95% CI [+0.554, +0.719], p=2.5e-33) versus +0.148 (95% CI [+0.027, +0.263], p=0.014); gastrulation +0.415 (95% CI [+0.244, +0.561]) versus +0.028 (95% CI [−0.165, +0.224]). The macrophage axis gives an explicit cross-dataset dissociation Δρ=+0.843 (95% CI [+0.773, +0.912]). -The fifth external system, mouse gastrulation (GSE205117, E7.5–E8.75 10x Multiome, 10,779 cells) — a developmental atlas where lineage priming is maximal and where the lag would be *most* expected to be method-sensitive — was tested by **preregistration**[47]: six predictions with pre-declared thresholds were sealed by commit hash before any velocity fit or concordance existed (our preregistration, sealed before fitting; provided as an Additional file and deposited, see Data and code availability), with no post-hoc rescue permitted. All six passed (6 PASS / 0 FAIL): within-dataset cross-method α ρ≥0.50 (the sealed pass line; note this is the threshold — the HSPC α=0.88 is an *observed* value, not the pass line), within-dataset lag ρ≤0.15, an α-minus-lag ordering gap ≥0.35, cross-dataset α>+0.2 and α>lag, a larger per-gene lag mismatch than α mismatch (per-gene mismatch lag 0.294 by the sealed original definition MultiVelo versus MoFlow, n=968, versus α 0.052), and fragility persisting under maximal priming. Because these predictions were sealed before the fits, this replication is confirmatory rather than a post-hoc pattern. +The fifth external system, mouse gastrulation (GSE205117, E7.5–E8.75 10x Multiome, 10,779 cells) — a developmental atlas where lineage priming is maximal and where the lag would be *most* expected to be method-sensitive — was tested by **preregistration**[49]: six predictions with pre-declared thresholds were sealed by commit hash before any velocity fit or concordance existed (our preregistration, sealed before fitting; provided as an Additional file and deposited, see Data and code availability), with no post-hoc rescue permitted. All six passed (6 PASS / 0 FAIL): within-dataset cross-method α ρ≥0.50 (the sealed pass line; note this is the threshold — the HSPC α=0.88 is an *observed* value, not the pass line), within-dataset lag ρ≤0.15, an α-minus-lag ordering gap ≥0.35, cross-dataset α>+0.2 and α>lag, a larger per-gene lag mismatch than α mismatch (per-gene mismatch lag 0.294 by the sealed original definition MultiVelo versus MoFlow, n=968, versus α 0.052), and fragility persisting under maximal priming. Because these predictions were sealed before the fits, this replication is confirmatory rather than a post-hoc pattern. **Caveats (Table 1 footnotes).** (i) The cross-dataset α values decrease with tissue distance (macrophage +0.643 > BMMC +0.55 > brain +0.475 > gastrulation +0.415 > E18 +0.32), but their 95% CIs overlap (common region [0.368, 0.472]); we present this only as a *qualitative* ordering and fit no trend to the points. (ii) The within-dataset lag-fragile leg rests, in the four non-HSPC systems, largely on a single method pair (MultiVelo versus MultiVeloVAE); only gastrulation additionally has a MoFlow arm, used for its sealed per-gene lag prediction. (iii) All five replications are one donor or sample each — the narrative rests on the consistency across the six axes, not on strong generalization from any one. (iv) Human fetal cortex (GSE162170) has no within-dataset MultiVeloVAE fit, so its within-dataset cross-method lag is not computable; its α-versus-lag evidence is the cross-dataset axis (Table 1, N/A). @@ -96,11 +96,11 @@ A further axis is whether a fitted rate recovers an *independently measured* kin Degradation rate γ, by contrast, was *not* recovered even where an external ground truth existed. Within the cleanest apples-to-apples comparison — the same K562 cells — all three methods were null for γ against the measured degradation rate (rna-only −0.118, MultiVelo +0.053, MultiVeloVAE −0.011; 3/3 null) while all three were positive for α. Extending to a three-cell-line half-life panel, only 1 of 9 method-by-line cells recovered γ weakly (MultiVeloVAE against MOLM13, +0.164 [+0.028, +0.291], CI lower bound barely above 0), and the textbook scVelo dynamical γ (the RNA-only floor) came out *reversed* in the cleanest, uncensored reference (MOLM13, −0.224 [−0.359, −0.085], CI excluding 0) — genes with larger fitted γ had *longer* measured half-lives. This confirms the reliability split on an external experimental axis: α is method-reproducible and its external correlation is corroborated (with the abundance caveat above), whereas γ fails externally even where a ground truth exists, and even runs backwards. (The −0.224 reversal is a property of the scVelo/RNA-only γ, not of MultiVelo's γ; we attribute it to that method throughout and do not use it as evidence about any other method's fit.) -A second external source was null. An independent second α source (Schwalb 2016 K562 TT-seq, GSE75792[28]) was *null*: α-versus-Schwalb was 3/3 null (ρ −0.05 to −0.01) while α-versus-Todorovski was 3/3 positive[48]. The decisive cause is that the two measured TT-seq sources themselves agree only weakly (ρ≈0.15, n=1905) — the between-study reproducibility of measured synthesis rate is the ceiling on any corroboration. We interpret this asymmetrically and as preregistered: the null does not refute α (cross-context, absolute-α non-identifiability, and source noise all apply), but it does mean the single-external-source fragility is not removed by this second source; the primary corroboration stands, and the second source is neither reproduction nor refutation. +A second external source was null. An independent second α source (Schwalb 2016 K562 TT-seq, GSE75792[30]) was *null*: α-versus-Schwalb was 3/3 null (ρ −0.05 to −0.01) while α-versus-Todorovski was 3/3 positive[50]. The decisive cause is that the two measured TT-seq sources themselves agree only weakly (ρ≈0.15, n=1905) — the between-study reproducibility of measured synthesis rate is the ceiling on any corroboration. We interpret this asymmetrically and as preregistered: the null does not refute α (cross-context, absolute-α non-identifiability, and source noise all apply), but it does mean the single-external-source fragility is not removed by this second source; the primary corroboration stands, and the second source is neither reproduction nor refutation. ### The dissociation is a property of the objective function: α is stiff, the lag is sloppy -To ask *why* the observation recurs, we profiled MultiVelo's own likelihood along the α direction and the lag direction (lag = t_sw2 − t_sw1), re-optimizing latent time (n=538 genes; fit and likelihood reproduction r≈1.0) (Fig. 5). Per-cell curvature was far higher for α than for the lag (median 8.20 versus 2.24 per cell). We report the per-gene stiffness ratio κ_α/κ_lag on the conservative **freed-nuisance** basis — re-optimizing β, γ, α_c, rescale and scale_cc — where the dissociation survives with median ratio **2.49×** and α stiffer than the lag in **77.03%** of genes (n=148). The stricter fixed-nuisance profile gives a larger 3.53× (IQR [1.92, 7.41]) with α stiffer in 94.57% of genes, which we treat as an upper bound, noting that freeing β and γ collapses the α curvature to a median 0.19× of its fixed value. A lag trichotomy underlined the point: of 538 genes, 302 (56%) were interior, 205 (38%) boundary-pinned and 31 (6%) degenerate — in 44% the data cannot even set an upper bound on the lag. This is a *relative (practical)* non-identifiability of the lag direction[49,50,51], not a fully flat valley. The weak identifiability of the velocity switch-time itself[52] was established by ConsensusVelo through likelihood flatness and Fisher information [39]; our objective-function analysis is confirmatory of that, and what is not pre-empted is the α-stiff/lag-sloppy *dissociation*, the curvature-ratio framing, and the multiome chromatin-to-lag extension [53,54,55]. +To ask *why* the observation recurs, we profiled MultiVelo's own likelihood along the α direction and the lag direction (lag = t_sw2 − t_sw1), re-optimizing latent time (n=538 genes; fit and likelihood reproduction r≈1.0) (Fig. 5). Per-cell curvature was far higher for α than for the lag (median 8.20 versus 2.24 per cell). We report the per-gene stiffness ratio κ_α/κ_lag on the conservative **freed-nuisance** basis — re-optimizing β, γ, α_c, rescale and scale_cc — where the dissociation survives with median ratio **2.49×** and α stiffer than the lag in **77.03%** of genes (n=148). The stricter fixed-nuisance profile gives a larger 3.53× (IQR [1.92, 7.41]) with α stiffer in 94.57% of genes, which we treat as an upper bound, noting that freeing β and γ collapses the α curvature to a median 0.19× of its fixed value. A lag trichotomy underlined the point: of 538 genes, 302 (56%) were interior, 205 (38%) boundary-pinned and 31 (6%) degenerate — in 44% the data cannot even set an upper bound on the lag. This is a *relative (practical)* non-identifiability of the lag direction[51,52,53], not a fully flat valley. The weak identifiability of the velocity switch-time itself[54] was established by ConsensusVelo through likelihood flatness and Fisher information [41]; our objective-function analysis is confirmatory of that, and what is not pre-empted is the α-stiff/lag-sloppy *dissociation*, the curvature-ratio framing, and the multiome chromatin-to-lag extension [55,56,57]. Ranking the fitted parameters by cross-method reproducibility gives an empirical identifiability order **α ≫ α_c > β > γ** (α +0.882; α_c +0.291 [+0.209, +0.369]; β +0.080 [−0.009, +0.168]; γ −0.109 [−0.192, −0.023]); tellingly, the RNA-only floor — which has no ATAC channel at all — recovers α at chromatin-method strength (floor versus MultiVelo +0.818 [+0.773, +0.855]; floor versus MultiVeloVAE +0.889 [+0.862, +0.910]). A diff-budget analysis shows why the lag is worst of all: it is the difference of two rate-timescales, and while 1/α concords at +0.882 and 1/α_c at +0.291, their difference falls below even the weaker component (+0.124 [+0.036, +0.210]) — differencing amplifies the noise. @@ -168,13 +168,13 @@ Kept deliberately separate from Table 1: this is a *usage* map for velocity outp The picture that emerges is a clean sort of velocity outputs by reliability, led by cross-method reproducibility and reinforced by a causal control and an external corroboration. Only the transcription rate α comes through reliable: it reproduces at ρ=0.88 across methods, is recovered even without a chromatin channel, is predictable from real day0 ATAC, and is corroborated by a measured TT-seq synthesis rate (with the abundance caveat below that abundance tracks that measurement at least as strongly). The chromatin-to-transcription lag is unreliable on every axis — cross-method (weak in magnitude, most pairs |ρ|≤0.08, strongest +0.163, and at chance in sign), causal (chromatin-shuffle-invariant), and predictive (chance from baseline) — and the degradation rate γ is fragile too, failing to reproduce across methods and failing to recover a measured half-life even where a ground truth exists, with the textbook scVelo γ actually running backwards. The α_c that sets the lag is itself fragile (ρ=0.29), and since the lag is a *difference* of two rate-timescales, differencing drives its concordance below even the weaker component. That this ordering survives a preregistered test in the priming-maximal gastrulation system, where the lag was most expected to be method-sensitive, is the strongest form the confirmation can take. The novelty of this study is neither the negative result on the lag alone nor the identifiability mechanism alone, but the reliability map itself: sorting the outputs by cross-method reproducibility and a causal control, with an external measurement serving as corroboration rather than the sole criterion. -We are careful about what this does and does not claim. It is a statement about the *methods and their reliability*, not about biology: chromatin priming is real for specific loci (the canonical markers agree across methods in direction — a correlational fact we explicitly do not upgrade to causation, since the ATAC shuffle did not perturb the named-marker lags more than bulk, Mann–Whitney p=0.58), and deeper sequencing, finer time resolution or metabolic labeling could yet render the lag identifiable[56,57]. Our claim is a boundary on what the *current* methods support. Three further limits are load-bearing. First, pseudotime is not wall-clock — the day0 and day7 batches are integrated, so the lag is in pseudotime units and cannot be anchored to real time. Second, the profile-likelihood result is a *relative (practical)* non-identifiability, not a fully flat valley; we report it on the conservative freed-nuisance basis (2.49×, α stiffer in 77% of genes), because freeing the nuisance parameters partially collapses the α curvature and the stricter fixed-nuisance 3.53× is only an upper bound. Third, we do *not* claim that objective-function curvature predicts external validation: the within-parameter, between-gene test is underpowered (top-tertile α ρ=+0.30 clears zero, but the high-minus-low contrast Δρ=+0.186 does not, n=70 per tertile, and the γ leg shows no gradient), so identifiability aligns only *suggestively* with external validation and the reliability map is built from the two reliability axes directly, not from this link. The lag-fragile leg, outside HSPC, rests largely on a single method pair (MultiVelo versus MultiVeloVAE), except in gastrulation where a MoFlow arm was wired; all five external replications are single-sample; and the external α anchor rests primarily on one TT-seq source, since the independent Schwalb source was null and the two measured sources agree only at ρ≈0.15. A further caveat on the α corroboration is an abundance confound, and it is load-bearing: both α and the measured TT-seq synthesis rate track transcript abundance (s_ss = α/γ; synthesis = abundance × k_deg). In a head-to-head test abundance predicts the measured synthesis rate at least as well as α does (Spearman(abundance, synthesis)=+0.410 versus Spearman(α, synthesis)=+0.262), so the +0.24 to +0.29 correlation cannot be claimed as α-specific and the external match is consistency evidence, not a claim that α is the most accurate synthesis-rate estimator. What keeps α from being a mere renaming of abundance is that the two independent methods agree on α (cross-method ρ=+0.882) more than α resembles abundance (Spearman(α, abundance)=+0.809), leaving a small *reproducible* kinetic signal beyond expression; but this rank-direction test alone does not settle that α captures synthesis kinetics specifically rather than abundance. Finally, all data here are 10x Multiome; our attempt to recover velocity layers (spliced/unspliced) for another multiome assay (SHARE-seq skin, GSE140203) from the author-provided alignments did not yield usable counts, so the reliability map is established for 10x Multiome and generalization to other multiome assays remains untested. A final and more important boundary concerns which object we audited. We audited the **per-gene kinetic parameters** and, one layer up, the **cell×gene velocity matrix**; we did not audit the **low-dimensional embedding arrows** and the trajectories read from them[58], which is what velocity is principally used for and what the vector-level benchmarks address [25,26]. Nothing here shows that trajectory inference is unreliable. We note only that the disagreement we measure does not appear to be repaired further up the stack: those benchmarks report low cross-method agreement of transition vectors as well (A1<0.3) [25], so neighbourhood smoothing does not by itself restore quantitative agreement, even where coarse streamlines may still look qualitatively similar. That evidence is indirect for our setting, since [25] evaluated RNA-only methods and ran MultiVelo without its ATAC branch; it constrains what smoothing can repair in general rather than establishing the fate of multiome matrices specifically. What our results do support is narrower and practical: for per-gene kinetic readouts, steady-state expression carries most of the reliable signal, and the velocity fit adds no demonstrable synthesis information beyond it, so an analyst should check whether expression already answers the question before invoking per-gene velocity kinetics. The scope is deliberately "multiome velocity outputs" — the chromatin-informed lag and these methods' rate outputs — with 10x Multiome as the substrate on which they were evaluated. +We are careful about what this does and does not claim. It is a statement about the *methods and their reliability*, not about biology: chromatin priming is real for specific loci (the canonical markers agree across methods in direction — a correlational fact we explicitly do not upgrade to causation, since the ATAC shuffle did not perturb the named-marker lags more than bulk, Mann–Whitney p=0.58), and deeper sequencing, finer time resolution or metabolic labeling could yet render the lag identifiable[58,59]. Our claim is a boundary on what the *current* methods support. Three further limits are load-bearing. First, pseudotime is not wall-clock — the day0 and day7 batches are integrated, so the lag is in pseudotime units and cannot be anchored to real time. Second, the profile-likelihood result is a *relative (practical)* non-identifiability, not a fully flat valley; we report it on the conservative freed-nuisance basis (2.49×, α stiffer in 77% of genes), because freeing the nuisance parameters partially collapses the α curvature and the stricter fixed-nuisance 3.53× is only an upper bound. Third, we do *not* claim that objective-function curvature predicts external validation: the within-parameter, between-gene test is underpowered (top-tertile α ρ=+0.30 clears zero, but the high-minus-low contrast Δρ=+0.186 does not, n=70 per tertile, and the γ leg shows no gradient), so identifiability aligns only *suggestively* with external validation and the reliability map is built from the two reliability axes directly, not from this link. The lag-fragile leg, outside HSPC, rests largely on a single method pair (MultiVelo versus MultiVeloVAE), except in gastrulation where a MoFlow arm was wired; all five external replications are single-sample; and the external α anchor rests primarily on one TT-seq source, since the independent Schwalb source was null and the two measured sources agree only at ρ≈0.15. A further caveat on the α corroboration is an abundance confound, and it is load-bearing: both α and the measured TT-seq synthesis rate track transcript abundance (s_ss = α/γ; synthesis = abundance × k_deg). In a head-to-head test abundance predicts the measured synthesis rate at least as well as α does (Spearman(abundance, synthesis)=+0.410 versus Spearman(α, synthesis)=+0.262), so the +0.24 to +0.29 correlation cannot be claimed as α-specific and the external match is consistency evidence, not a claim that α is the most accurate synthesis-rate estimator. What keeps α from being a mere renaming of abundance is that the two independent methods agree on α (cross-method ρ=+0.882) more than α resembles abundance (Spearman(α, abundance)=+0.809), leaving a small *reproducible* kinetic signal beyond expression; but this rank-direction test alone does not settle that α captures synthesis kinetics specifically rather than abundance. Finally, all data here are 10x Multiome; our attempt to recover velocity layers (spliced/unspliced) for another multiome assay (SHARE-seq skin, GSE140203) from the author-provided alignments did not yield usable counts, so the reliability map is established for 10x Multiome and generalization to other multiome assays remains untested. A final and more important boundary concerns which object we audited. We audited the **per-gene kinetic parameters** and, one layer up, the **cell×gene velocity matrix**; we did not audit the **low-dimensional embedding arrows** and the trajectories read from them[60], which is what velocity is principally used for and what the vector-level benchmarks address [25,26,27]. Nothing here shows that trajectory inference is unreliable. We note only that the disagreement we measure does not appear to be repaired further up the stack: those benchmarks report low cross-method agreement of transition vectors as well (A1<0.3) [25], so neighbourhood smoothing does not by itself restore quantitative agreement, even where coarse streamlines may still look qualitatively similar. That evidence is indirect for our setting, since [25] evaluated RNA-only methods and ran MultiVelo without its ATAC branch; it constrains what smoothing can repair in general rather than establishing the fate of multiome matrices specifically. What our results do support is narrower and practical: for per-gene kinetic readouts, steady-state expression carries most of the reliable signal, and the velocity fit adds no demonstrable synthesis information beyond it, so an analyst should check whether expression already answers the question before invoking per-gene velocity kinetics. The scope is deliberately "multiome velocity outputs" — the chromatin-informed lag and these methods' rate outputs — with 10x Multiome as the substrate on which they were evaluated. **The chromatin signal is real in the data; the lag is where it is lost.** A model-free reading of the same multiome makes this point directly. Data-level chromatin-RNA coupling — the per-gene rank correlation between the chromatin layer and spliced RNA across cells — is chromatin-dependent: its real median of +0.126 collapses to +0.021 when ATAC is shuffled (Mann–Whitney p=5.6e-75), exactly the response the model lag failed to show, since that lag was invariant to the same shuffle (per-gene ρ=0.72). The chromatin signal is therefore genuinely present in the data; what fails is the velocity model's lag, which discards it — a mechanism that pairs with the causal ATAC-shuffle control. We treat this coupling as a supporting diagnostic, not a replacement for the lag: its cross-dataset replication reaches only the nearest lineage (macrophage coupling +0.281) and does not carry to human BMMC (+0.175) or human fetal cortex (+0.173), so the signal is real but lineage-specific rather than a reproducible kinetic output. Read together, these results bound our negative claim precisely: it concerns the specific task of RNA velocity — that current multiome methods do not yield a reliable new kinetic output (the lag) from chromatin. It is not a claim that chromatin or epigenomics is uninformative. The value of chromatin for cell-state identification, enhancer-gene linkage and regulatory inference is outside our scope and we do not dispute it, and our own coupling analysis shows that the chromatin signal is real. -**Positioning against prior work.** The gene-level chromatin-to-transcription lag was *introduced* by MultiVelo as a biological readout [3] and reformulated by MultiVeloVAE and MoFlow [4,5]; none audited whether the lag is the *same quantity* across methods, and MoFlow's one cross-method comparison reported agreement on a favorable subset [5]. The 2026 general benchmarks establish that velocity *direction* is method-dependent [25,26] but do not score the individual outputs against an external measurement, and they evaluate at the embedding and transition-vector level: [25] scores fourteen methods on unpaired data, running MultiVelo without its ATAC branch for want of paired chromatin, and [26] evaluates paired multiome velocity on one mouse embryonic dataset with two multiome methods. Neither compares different methods' cell×gene velocity matrices to each other, and neither applies a causal chromatin control; [26] uses the matrix only to quantify a single method's run-to-run stability across random seeds. To our knowledge the matrix-level cross-method comparison and the ATAC-shuffle control applied to it are absent from prior velocity benchmarks; the reproducibility ceiling is closest to [26]'s seed-stability measurement, but is used here as the baseline against which cross-method values are read rather than as a score of method quality. Our contribution is a systematic multi-arm reliability map with a permutation null, a causal negative control, and — the piece absent from prior velocity benchmarks — an external corroboration against measured synthesis and degradation rates, showing which derived quantity (α) is reproducible and externally corroborated and which (lag, γ) is neither. On the identifiability side, we credit ConsensusVelo head-on for first showing velocity switch-time flatness [39]; profile-likelihood on single-cell kinetic rates [53], sloppy and stiff Fisher geometry in single cells [54], and structural time-shift degeneracy [55] are further method precedents. Our objective-function analysis is a *confirmatory mechanism* for the empirical map, not the paper's novelty (Fig. 8). +**Positioning against prior work.** The gene-level chromatin-to-transcription lag was *introduced* by MultiVelo as a biological readout [3] and reformulated by MultiVeloVAE and MoFlow [4,5]; none audited whether the lag is the *same quantity* across methods, and MoFlow's one cross-method comparison reported agreement on a favorable subset [5]. The 2026 general benchmarks establish that velocity *direction* is method-dependent [25,26,27] but do not score the individual outputs against an external measurement, and they evaluate at the embedding and transition-vector level: [25] scores fourteen methods on unpaired data, running MultiVelo without its ATAC branch for want of paired chromatin; [26] evaluates paired multiome velocity on one mouse embryonic dataset with two multiome methods; and the most recent[27], in this journal, scores nineteen tools on thirty methods across thirty-four datasets but likewise at the embedding level (cross-boundary direction correctness, in-cluster coherence), ranking multimodal methods on a single integration task. None compares different methods' cell×gene velocity matrices to each other, and none perturbs the chromatin channel and re-fits as a causal control; [26] uses the matrix only to quantify a single method's run-to-run stability across random seeds, and the "negative control robustness" task of the third scores output plausibility on static cells, not chromatin causality. To our knowledge the matrix-level cross-method comparison and the ATAC-shuffle control applied to it are absent from prior velocity benchmarks; the reproducibility ceiling is closest to [26]'s seed-stability measurement, but is used here as the baseline against which cross-method values are read rather than as a score of method quality. Our contribution is a systematic multi-arm reliability map with a permutation null, a causal negative control, and — the piece absent from prior velocity benchmarks — an external corroboration against measured synthesis and degradation rates, showing which derived quantity (α) is reproducible and externally corroborated and which (lag, γ) is neither. On the identifiability side, we credit ConsensusVelo head-on for first showing velocity switch-time flatness [41]; profile-likelihood on single-cell kinetic rates [55], sloppy and stiff Fisher geometry in single cells [56], and structural time-shift degeneracy [57] are further method precedents. Our objective-function analysis is a *confirmatory mechanism* for the empirical map, not the paper's novelty (Fig. 8). -**Consequence for downstream timing prediction.** The practical payoff of the reliability map (Table 2) is a design principle: a model that predicts epigenetic-drug-response timing must *not* consume a single-method lag or a single-method γ. It should instead route through the robust path we validated — day0 ATAC promoter and enhancer accessibility to α — where the same baseline features that fail to predict the lag do predict α on held-out lineages (ρ=+0.31). This is a design principle derived from the benchmark, not a wet-lab-validated timing predictor; validating the ATAC-to-α-to-timing route against a perturbation ground truth is the natural next step[59], as is expanding the set of externally anchored genes to test whether identifiability confirmably predicts external validation. +**Consequence for downstream timing prediction.** The practical payoff of the reliability map (Table 2) is a design principle: a model that predicts epigenetic-drug-response timing must *not* consume a single-method lag or a single-method γ. It should instead route through the robust path we validated — day0 ATAC promoter and enhancer accessibility to α — where the same baseline features that fail to predict the lag do predict α on held-out lineages (ρ=+0.31). This is a design principle derived from the benchmark, not a wet-lab-validated timing predictor; validating the ATAC-to-α-to-timing route against a perturbation ground truth is the natural next step[61], as is expanding the set of externally anchored genes to test whether identifiability confirmably predicts external validation. --- @@ -188,19 +188,19 @@ Of the several per-gene quantities that multiome velocity methods emit, the tran ### Datasets -The primary dataset was human HSPC 10x Multiome (GEO GSE209878), day0 and day7 integrated, 21,878 cells. Five external multiome systems were used for cross-dataset replication: human fetal cortex (GSE162170, Trevino 2021), fetal E18 mouse brain (10x Genomics "Fresh Embryonic E18 Mouse Brain 5k" demo, CellRanger-ARC 1.0.0; MultiVelo tutorial data, no GEO accession), human bone-marrow mononuclear cells (BMMC; GSE194122, donor09/site4, with spliced and unspliced recovered from the GEX BAM by velocyto[1]), macrophage differentiation (GSE284047 / figshare 30280333, Day14 HSPC-direct differentiation), and mouse gastrulation (GSE205117, E7.5/E8.0/E8.5/E8.75 rep1, 10x Multiome, 10,779 cells; GEX via STARsolo Velocyto raw[60], ATAC aggregated from GEO fragments over gene bodies ±10 kb using gencode vM25). All replications are single-donor or single-sample. Pseudotime is not wall-clock: because day0 and day7 are batch-integrated in the primary data, the lag is expressed in pseudotime units and no wall-clock anchor is available. +The primary dataset was human HSPC 10x Multiome (GEO GSE209878), day0 and day7 integrated, 21,878 cells. Five external multiome systems were used for cross-dataset replication: human fetal cortex (GSE162170, Trevino 2021), fetal E18 mouse brain (10x Genomics "Fresh Embryonic E18 Mouse Brain 5k" demo, CellRanger-ARC 1.0.0; MultiVelo tutorial data, no GEO accession), human bone-marrow mononuclear cells (BMMC; GSE194122, donor09/site4, with spliced and unspliced recovered from the GEX BAM by velocyto[1]), macrophage differentiation (GSE284047 / figshare 30280333, Day14 HSPC-direct differentiation), and mouse gastrulation (GSE205117, E7.5/E8.0/E8.5/E8.75 rep1, 10x Multiome, 10,779 cells; GEX via STARsolo Velocyto raw[62], ATAC aggregated from GEO fragments over gene bodies ±10 kb using gencode vM25). All replications are single-donor or single-sample. Pseudotime is not wall-clock: because day0 and day7 are batch-integrated in the primary data, the lag is expressed in pseudotime units and no wall-clock anchor is available. ### Common preprocessing and method branch -To separate *method* differences from *preprocessing* differences, all arms shared a common preprocessing branch, after which the velocity method branched (a common-graph ablation was applied). Cross-dataset arms used per-dataset spliced and unspliced recovery as noted above; ATAC aggregation differed by dataset provenance[61,62,63] (HSPC via `mv.aggregate_peaks_10x`; BMMC via gencode-proximity aggregation of the processed peak matrix; gastrulation via GEO fragments over gene bodies ±10 kb), which contributes conservative noise to the cross-dataset rank comparisons. +To separate *method* differences from *preprocessing* differences, all arms shared a common preprocessing branch, after which the velocity method branched (a common-graph ablation was applied). Cross-dataset arms used per-dataset spliced and unspliced recovery as noted above; ATAC aggregation differed by dataset provenance[63,64,65] (HSPC via `mv.aggregate_peaks_10x`; BMMC via gencode-proximity aggregation of the processed peak matrix; gastrulation via GEO fragments over gene bodies ±10 kb), which contributes conservative noise to the cross-dataset rank comparisons. ### Velocity methods and the RNA-only floor -Five arms were fit: an RNA-only floor (scVelo dynamical model[64], no chromatin channel) and four chromatin-informed methods — MultiVelo [3] (chromatin switch-time ODE; lag = t_sw2 − t_sw1), MultiVeloVAE [4] (VAE, continuous per-cell decoupling and coupling), MoFlow [5] (relay velocity; chromatin-spliced DTW lag) and CRAK-Velo [6] (semi-mechanistic; DTW-derived lag). A CRAK-Velo lag-sign convention bug (opposite sign to MoFlow's `fastdtw`) was found and corrected; CRAK-Velo's lag is reported only as a sensitivity arm given its shape-artifact on smooth dynamics. A velocity-arms inventory (model family, chromatin channel, lag definition, sign convention) is provided as Supplementary Table S1. +Five arms were fit: an RNA-only floor (scVelo dynamical model[66], no chromatin channel) and four chromatin-informed methods — MultiVelo [3] (chromatin switch-time ODE; lag = t_sw2 − t_sw1), MultiVeloVAE [4] (VAE, continuous per-cell decoupling and coupling), MoFlow [5] (relay velocity; chromatin-spliced DTW lag) and CRAK-Velo [6] (semi-mechanistic; DTW-derived lag). A CRAK-Velo lag-sign convention bug (opposite sign to MoFlow's `fastdtw`) was found and corrected; CRAK-Velo's lag is reported only as a sensitivity arm given its shape-artifact on smooth dynamics. A velocity-arms inventory (model family, chromatin channel, lag definition, sign convention) is provided as Supplementary Table S1. ### Concordance statistics -All cross-method and cross-dataset concordances were Spearman rank correlations. Where the source analysis provided them, correlations carry a paired gene bootstrap 95% CI (B=10⁴ resamples, seed 20260707, percentile method); pairwise headline correlations are reported with their p-values and n where that is what the source provides. The lag was reported under a single convention per test: the signed convention in the cross-dataset reproducibility table (Table 1) and the magnitude convention in the mechanism (curvature) analysis and as the headline reproducibility metric, which for the HSPC MultiVelo-versus-MultiVeloVAE axis give −0.01 and +0.163 respectively (reconciled in Table 1 footnote †); MultiVelo's structurally positive sign was never invoked for sign tests. Cross-method sign-consistency was tested by permutation FDR (gene-label shuffle null[65], N=10⁴, FDR<0.10); the empty agreement-set is reported as a CRAK-dependent sensitivity result because a clean sign-variable pair is power-bounded. Genes whose directional lag was exactly zero were treated as undetermined and excluded from all sign-agreement statistics (MoFlow 76 of 636 genes; CRAK-Velo 135 of 868), and the number excluded is reported with each comparison; a convention that instead gives zero its own sign category renders the same MoFlow versus MultiVeloVAE comparison as 48%, which is why the exclusion is stated explicitly. Equivalence to zero was assessed by TOST against a pre-declared |ρ|<0.2 bound. The tissue-distance ordering of cross-dataset α is reported qualitatively only, as the CIs overlap and no trend is fit to the points. +All cross-method and cross-dataset concordances were Spearman rank correlations. Where the source analysis provided them, correlations carry a paired gene bootstrap 95% CI (B=10⁴ resamples, seed 20260707, percentile method); pairwise headline correlations are reported with their p-values and n where that is what the source provides. The lag was reported under a single convention per test: the signed convention in the cross-dataset reproducibility table (Table 1) and the magnitude convention in the mechanism (curvature) analysis and as the headline reproducibility metric, which for the HSPC MultiVelo-versus-MultiVeloVAE axis give −0.01 and +0.163 respectively (reconciled in Table 1 footnote †); MultiVelo's structurally positive sign was never invoked for sign tests. Cross-method sign-consistency was tested by permutation FDR (gene-label shuffle null[67], N=10⁴, FDR<0.10); the empty agreement-set is reported as a CRAK-dependent sensitivity result because a clean sign-variable pair is power-bounded. Genes whose directional lag was exactly zero were treated as undetermined and excluded from all sign-agreement statistics (MoFlow 76 of 636 genes; CRAK-Velo 135 of 868), and the number excluded is reported with each comparison; a convention that instead gives zero its own sign category renders the same MoFlow versus MultiVeloVAE comparison as 48%, which is why the exclusion is stated explicitly. Equivalence to zero was assessed by TOST against a pre-declared |ρ|<0.2 bound. The tissue-distance ordering of cross-dataset α is reported qualitatively only, as the CIs overlap and no trend is fit to the points. ### Cell-level velocity-matrix audit @@ -208,7 +208,7 @@ Definitions, exclusion rules and falsification criteria were sealed before the f ### Enrichment analysis -Pathway enrichment of the direction-unanimous gene sets was computed with Enrichr[66,67,68] against the Reactome library[42], using the speedrichr endpoint so that a **custom background** could be supplied. The background matters here and is the reason we report this analysis at all: with the default genome-wide background the unanimous chromatin-leading set returned many GO terms, but our gene universe is not the genome — it is already restricted to genes that a velocity model could fit (high-expression, dynamic). Re-running against a background of the **640 genes with at least two sign-variable direction calls** removed every GO term and left one Reactome term (neutrophil degranulation, n=15). Reported p-values are Benjamini-Hochberg[65] adjusted as returned by Enrichr. The unanimous RNA-first set (164 genes) returned no significant term under either background. +Pathway enrichment of the direction-unanimous gene sets was computed with Enrichr[68,69,70] against the Reactome library[44], using the speedrichr endpoint so that a **custom background** could be supplied. The background matters here and is the reason we report this analysis at all: with the default genome-wide background the unanimous chromatin-leading set returned many GO terms, but our gene universe is not the genome — it is already restricted to genes that a velocity model could fit (high-expression, dynamic). Re-running against a background of the **640 genes with at least two sign-variable direction calls** removed every GO term and left one Reactome term (neutrophil degranulation, n=15). Reported p-values are Benjamini-Hochberg[67] adjusted as returned by Enrichr. The unanimous RNA-first set (164 genes) returned no significant term under either background. ### Causal negative control and marker-shuffle test @@ -228,7 +228,7 @@ For the fifth external replication (mouse gastrulation, GSE205117), six falsifia ### Confound controls -Cell-cycle, transcriptional burst and ambient/doublet confounds were controlled. Cell-cycle was unbiased at the gene level (cell-cycle genes 1.9% of fit-lag genes; CC versus rest Mann–Whitney p=0.86; median change 0.037 on exclusion); the cell-level correlation arises because cycling is coupled to lineage (MK 88% versus HSC 3%), which the within-lineage analysis already controls, so no global regress-out was performed (to avoid removing differentiation signal). Burst: lag versus α Spearman −0.24 (moderate, reflected in regularized regression). Ambient/doublet: scrublet applied[69], doublet median 0.045, pct_mito median 10.4% (QC max 20%). Analyses were within-lineage; rare lineages (MK/Baso·Eo·Mast/pDC) were treated with separate uncertainty. Multicollinearity of promoter and enhancer ATAC features was handled by regularized regression; multiple testing across genes used permutation FDR. +Cell-cycle, transcriptional burst and ambient/doublet confounds were controlled. Cell-cycle was unbiased at the gene level (cell-cycle genes 1.9% of fit-lag genes; CC versus rest Mann–Whitney p=0.86; median change 0.037 on exclusion); the cell-level correlation arises because cycling is coupled to lineage (MK 88% versus HSC 3%), which the within-lineage analysis already controls, so no global regress-out was performed (to avoid removing differentiation signal). Burst: lag versus α Spearman −0.24 (moderate, reflected in regularized regression). Ambient/doublet: scrublet applied[71], doublet median 0.045, pct_mito median 10.4% (QC max 20%). Analyses were within-lineage; rare lineages (MK/Baso·Eo·Mast/pDC) were treated with separate uncertainty. Multicollinearity of promoter and enhancer ATAC features was handled by regularized regression; multiple testing across genes used permutation FDR. ### Datasets and code availability @@ -358,88 +358,92 @@ An external-datasets inventory (accession, species/tissue, cells, platform, role [26] Huang K, Zhou Y, Wang T, Li X, Zhao X, Liu X, Huang L, Zhou X, Liu J. Benchmarking algorithms for RNA velocity inference. bioRxiv 2026.01.03.697314 (2026). doi:10.64898/2026.01.03.697314. [Preprint, not peer-reviewed.] -[27] Barile M, Imaz-Rosshandler I, Inzani I, et al. Coordinated changes in gene expression kinetics underlie both mouse and human erythroid maturation. *Genome Biology* 22(1), 197 (2021). doi:10.1186/s13059-021-02414-y. +[27] Wu Y, Kong C, Liao X, Lin Z, Sun X, Liu J. Comprehensive benchmarking of RNA velocity methods across single-cell datasets. *Genome Biology* 27(1), 242 (2026). doi:10.1186/s13059-026-04182-z. -[28] Schwalb B, Michel M, Zacher B, et al. TT-seq maps the human transient transcriptome. *Science* 352(6290), 1225–1228 (2016). doi:10.1126/science.aad9841. +[28] Ancheta S, Dorman L, Le Treut G, et al. Challenges and progress in RNA velocity: comparative analysis across multiple biological contexts. *PLoS Computational Biology* 22(6), e1014303 (2026). doi:10.1371/journal.pcbi.1014303. -[29] Herzog VA, Reichholf B, Neumann T, et al. Thiol-linked alkylation of RNA to assess expression dynamics. *Nature Methods* 14(12), 1198–1204 (2017). doi:10.1038/nmeth.4435. +[29] Barile M, Imaz-Rosshandler I, Inzani I, et al. Coordinated changes in gene expression kinetics underlie both mouse and human erythroid maturation. *Genome Biology* 22(1), 197 (2021). doi:10.1186/s13059-021-02414-y. -[30] Begley CG, Ellis LM. Raise standards for preclinical cancer research. *Nature* 483, 531–533 (2012). doi:10.1038/483531a. +[30] Schwalb B, Michel M, Zacher B, et al. TT-seq maps the human transient transcriptome. *Science* 352(6290), 1225–1228 (2016). doi:10.1126/science.aad9841. -[31] Prinz F, Schlange T, Asadullah K. Believe it or not: how much can we rely on published data on potential drug targets? *Nature Reviews Drug Discovery* 10, 712 (2011). doi:10.1038/nrd3439-c1. +[31] Herzog VA, Reichholf B, Neumann T, et al. Thiol-linked alkylation of RNA to assess expression dynamics. *Nature Methods* 14(12), 1198–1204 (2017). doi:10.1038/nmeth.4435. -[32] Open Science Collaboration. Estimating the reproducibility of psychological science. *Science* 349, aac4716 (2015). doi:10.1126/science.aac4716. +[32] Begley CG, Ellis LM. Raise standards for preclinical cancer research. *Nature* 483, 531–533 (2012). doi:10.1038/483531a. -[33] Baker M. 1,500 scientists lift the lid on reproducibility. *Nature* 533, 452–454 (2016). doi:10.1038/533452a. +[33] Prinz F, Schlange T, Asadullah K. Believe it or not: how much can we rely on published data on potential drug targets? *Nature Reviews Drug Discovery* 10, 712 (2011). doi:10.1038/nrd3439-c1. -[34] Errington TM, Mathur M, Denis M, et al. Investigating the replicability of preclinical cancer biology. *eLife* 10, e71601 (2021). doi:10.7554/eLife.71601. +[34] Open Science Collaboration. Estimating the reproducibility of psychological science. *Science* 349, aac4716 (2015). doi:10.1126/science.aac4716. -[35] Ioannidis JPA. Why most published research findings are false. *PLoS Medicine* 2(8), e124 (2005). doi:10.1371/journal.pmed.0020124. +[35] Baker M. 1,500 scientists lift the lid on reproducibility. *Nature* 533, 452–454 (2016). doi:10.1038/533452a. -[36] Ioannidis JPA, Allison DB, Ball CA, et al. Repeatability of published microarray gene expression analyses. *Nature Genetics* 41, 149–155 (2009). doi:10.1038/ng.295. +[36] Errington TM, Mathur M, Denis M, et al. Investigating the replicability of preclinical cancer biology. *eLife* 10, e71601 (2021). doi:10.7554/eLife.71601. -[37] Weber LM, Saelens W, Cannoodt R, et al. Essential guidelines for computational method benchmarking. *Genome Biology* 20(1), 125 (2019). doi:10.1186/s13059-019-1738-8. +[37] Ioannidis JPA. Why most published research findings are false. *PLoS Medicine* 2(8), e124 (2005). doi:10.1371/journal.pmed.0020124. -[38] Luecken MD, Büttner M, Chaichoompu K, et al. Benchmarking atlas-level data integration in single-cell genomics. *Nature Methods* 19(1), 41–50 (2021). doi:10.1038/s41592-021-01336-8. +[38] Ioannidis JPA, Allison DB, Ball CA, et al. Repeatability of published microarray gene expression analyses. *Nature Genetics* 41, 149–155 (2009). doi:10.1038/ng.295. -[39] Zhang et al. Quantifying uncertainty in RNA velocity (ConsensusVelo). bioRxiv 2024.05.14.594102 (2024); *Biometrics* 82(1) ujag018 (in press). doi:10.1101/2024.05.14.594102. [Closest prior art to the profile-likelihood section; cited head-on. Full author list/final venue to confirm.] +[39] Weber LM, Saelens W, Cannoodt R, et al. Essential guidelines for computational method benchmarking. *Genome Biology* 20(1), 125 (2019). doi:10.1186/s13059-019-1738-8. -[40] Gutenkunst RN, Waterfall JJ, Casey FP, Brown KS, Myers CR, Sethna JP. Universally Sloppy Parameter Sensitivities in Systems Biology Models. *PLoS Computational Biology* 3(10), e189 (2007). doi:10.1371/journal.pcbi.0030189. +[40] Luecken MD, Büttner M, Chaichoompu K, et al. Benchmarking atlas-level data integration in single-cell genomics. *Nature Methods* 19(1), 41–50 (2021). doi:10.1038/s41592-021-01336-8. -[41] Transtrum MK, Machta BB, Sethna JP. Geometry of nonlinear least squares with applications to sloppy models and optimization. *Physical Review E* 83(3), 036701 (2011). doi:10.1103/physreve.83.036701. +[41] Zhang et al. Quantifying uncertainty in RNA velocity (ConsensusVelo). bioRxiv 2024.05.14.594102 (2024); *Biometrics* 82(1) ujag018 (in press). doi:10.1101/2024.05.14.594102. [Closest prior art to the profile-likelihood section; cited head-on. Full author list/final venue to confirm.] -[42] Cowland JB, Borregaard N. Granulopoiesis and granules of human neutrophils. *Immunological Reviews* 273(1), 11–28 (2016). doi:10.1111/imr.12440. +[42] Gutenkunst RN, Waterfall JJ, Casey FP, Brown KS, Myers CR, Sethna JP. Universally Sloppy Parameter Sensitivities in Systems Biology Models. *PLoS Computational Biology* 3(10), e189 (2007). doi:10.1371/journal.pcbi.0030189. -[43] Borregaard N, Sørensen OE, Theilgaard-Mönch K. Neutrophil granules: a library of innate immunity proteins. *Trends in Immunology* 28(8), 340–345 (2007). doi:10.1016/j.it.2007.06.002. +[43] Transtrum MK, Machta BB, Sethna JP. Geometry of nonlinear least squares with applications to sloppy models and optimization. *Physical Review E* 83(3), 036701 (2011). doi:10.1103/physreve.83.036701. -[44] Gillespie M, Jassal B, Stephan R, et al. The reactome pathway knowledgebase 2022. *Nucleic Acids Research* 50(D1), D687-D692 (2021). doi:10.1093/nar/gkab1028. +[44] Cowland JB, Borregaard N. Granulopoiesis and granules of human neutrophils. *Immunological Reviews* 273(1), 11–28 (2016). doi:10.1111/imr.12440. -[45] Schep AN, Wu B, Buenrostro JD, Greenleaf WJ. chromVAR: inferring transcription-factor-associated accessibility from single-cell epigenomic data. *Nature Methods* 14(10), 975–978 (2017). doi:10.1038/nmeth.4401. +[45] Borregaard N, Sørensen OE, Theilgaard-Mönch K. Neutrophil granules: a library of innate immunity proteins. *Trends in Immunology* 28(8), 340–345 (2007). doi:10.1016/j.it.2007.06.002. -[46] Schuirmann DJ. A comparison of the Two One-Sided Tests Procedure and the Power Approach for assessing the equivalence of average bioavailability. *Journal of Pharmacokinetics and Biopharmaceutics* 15(6), 657–680 (1987). doi:10.1007/bf01068419. +[46] Gillespie M, Jassal B, Stephan R, et al. The reactome pathway knowledgebase 2022. *Nucleic Acids Research* 50(D1), D687-D692 (2021). doi:10.1093/nar/gkab1028. -[47] Nosek BA, Ebersole CR, DeHaven AC, Mellor DT. The preregistration revolution. *Proceedings of the National Academy of Sciences* 115(11), 2600–2606 (2018). doi:10.1073/pnas.1708274114. +[47] Schep AN, Wu B, Buenrostro JD, Greenleaf WJ. chromVAR: inferring transcription-factor-associated accessibility from single-cell epigenomic data. *Nature Methods* 14(10), 975–978 (2017). doi:10.1038/nmeth.4401. -[48] Todorovski I, Tsang MJ, Feran B, et al. RNA kinetics influence the response to transcriptional perturbation in leukaemia cell lines. *NAR Cancer* 6(4), zcae039 (2024). doi:10.1093/narcan/zcae039. +[48] Schuirmann DJ. A comparison of the Two One-Sided Tests Procedure and the Power Approach for assessing the equivalence of average bioavailability. *Journal of Pharmacokinetics and Biopharmaceutics* 15(6), 657–680 (1987). doi:10.1007/bf01068419. -[49] Raue A, Kreutz C, Maiwald T, et al. Structural and practical identifiability analysis of partially observed dynamical models by exploiting the profile likelihood. *Bioinformatics* 25(15), 1923–1929 (2009). doi:10.1093/bioinformatics/btp358. +[49] Nosek BA, Ebersole CR, DeHaven AC, Mellor DT. The preregistration revolution. *Proceedings of the National Academy of Sciences* 115(11), 2600–2606 (2018). doi:10.1073/pnas.1708274114. -[50] Kreutz C, Raue A, Kaschek D, Timmer J. Profile likelihood in systems biology. *The FEBS Journal* 280(11), 2564–2571 (2013). doi:10.1111/febs.12276. +[50] Todorovski I, Tsang MJ, Feran B, et al. RNA kinetics influence the response to transcriptional perturbation in leukaemia cell lines. *NAR Cancer* 6(4), zcae039 (2024). doi:10.1093/narcan/zcae039. -[51] Villaverde AF, Barreiro A, Papachristodoulou A. Structural Identifiability of Dynamic Systems Biology Models. *PLOS Computational Biology* 12(10), e1005153 (2016). doi:10.1371/journal.pcbi.1005153. +[51] Raue A, Kreutz C, Maiwald T, et al. Structural and practical identifiability analysis of partially observed dynamical models by exploiting the profile likelihood. *Bioinformatics* 25(15), 1923–1929 (2009). doi:10.1093/bioinformatics/btp358. -[52] Lederer AR, Leonardi M, Talamanca L, et al. Statistical inference with a manifold-constrained RNA velocity model uncovers cell cycle speed modulations. *Nature Methods* 21(12), 2271–2286 (2024). doi:10.1038/s41592-024-02471-8. +[52] Kreutz C, Raue A, Kaschek D, Timmer J. Profile likelihood in systems biology. *The FEBS Journal* 280(11), 2564–2571 (2013). doi:10.1111/febs.12276. -[53] Gu et al. Profile-likelihood identifiability analysis of single-cell transcription (telegraph) kinetics. *Bioinformatics* 41(11), btaf581 (2025). doi:10.1093/bioinformatics/btaf581. [Distinct from [8].] +[53] Villaverde AF, Barreiro A, Papachristodoulou A. Structural Identifiability of Dynamic Systems Biology Models. *PLOS Computational Biology* 12(10), e1005153 (2016). doi:10.1371/journal.pcbi.1005153. -[54] Wang. Sloppiness and Action Constraint in Cell State Transitions: Are Single Cells Sloppy? bioRxiv 2025.12.31.697145 (v2, 2025). [Methodological analog on cell-state Gaussian coordinates.] +[54] Lederer AR, Leonardi M, Talamanca L, et al. Statistical inference with a manifold-constrained RNA velocity model uncovers cell cycle speed modulations. *Nature Methods* 21(12), 2271–2286 (2024). doi:10.1038/s41592-024-02471-8. -[55] BayVel: A Bayesian Framework for RNA Velocity Estimation in Single-Cell Transcriptomics. arXiv:2505.03083 (2025). [Preprint; author list to confirm.] +[55] Gu et al. Profile-likelihood identifiability analysis of single-cell transcription (telegraph) kinetics. *Bioinformatics* 41(11), btaf581 (2025). doi:10.1093/bioinformatics/btaf581. [Distinct from [8].] -[56] Battich N, Beumer J, de Barbanson B, et al. Sequencing metabolically labeled transcripts in single cells reveals mRNA turnover strategies. *Science* 367(6482), 1151–1156 (2020). doi:10.1126/science.aax3072. +[56] Wang. Sloppiness and Action Constraint in Cell State Transitions: Are Single Cells Sloppy? bioRxiv 2025.12.31.697145 (v2, 2025). [Methodological analog on cell-state Gaussian coordinates.] -[57] Cao J, Zhou W, Steemers F, Trapnell C, Shendure J. Sci-fate characterizes the dynamics of gene expression in single cells. *Nature Biotechnology* 38(8), 980–988 (2020). doi:10.1038/s41587-020-0480-9. +[57] BayVel: A Bayesian Framework for RNA Velocity Estimation in Single-Cell Transcriptomics. arXiv:2505.03083 (2025). [Preprint; author list to confirm.] -[58] Lange M, Bergen V, Klein M, et al. CellRank for directed single-cell fate mapping. *Nature Methods* 19(2), 159–170 (2022). doi:10.1038/s41592-021-01346-6. +[58] Battich N, Beumer J, de Barbanson B, et al. Sequencing metabolically labeled transcripts in single cells reveals mRNA turnover strategies. *Science* 367(6482), 1151–1156 (2020). doi:10.1126/science.aax3072. -[59] Weinreb C, Rodriguez-Fraticelli A, Camargo FD, Klein AM. Lineage tracing on transcriptional landscapes links state to fate during differentiation. *Science* 367(6479), eaaw3381 (2020). doi:10.1126/science.aaw3381. +[59] Cao J, Zhou W, Steemers F, Trapnell C, Shendure J. Sci-fate characterizes the dynamics of gene expression in single cells. *Nature Biotechnology* 38(8), 980–988 (2020). doi:10.1038/s41587-020-0480-9. -[60] Kaminow B, Yunusov D, Dobin A. STARsolo: accurate, fast and versatile mapping/quantification of single-cell and single-nucleus RNA-seq data. (2021). doi:10.1101/2021.05.05.442755. [Preprint, not peer-reviewed.] +[60] Lange M, Bergen V, Klein M, et al. CellRank for directed single-cell fate mapping. *Nature Methods* 19(2), 159–170 (2022). doi:10.1038/s41592-021-01346-6. -[61] Granja JM, Corces MR, Pierce SE, et al. ArchR is a scalable software package for integrative single-cell chromatin accessibility analysis. *Nature Genetics* 53(3), 403–411 (2021). doi:10.1038/s41588-021-00790-6. +[61] Weinreb C, Rodriguez-Fraticelli A, Camargo FD, Klein AM. Lineage tracing on transcriptional landscapes links state to fate during differentiation. *Science* 367(6479), eaaw3381 (2020). doi:10.1126/science.aaw3381. -[62] Stuart T, Srivastava A, Madad S, Lareau CA, Satija R. Single-cell chromatin state analysis with Signac. *Nature Methods* 18(11), 1333–1341 (2021). doi:10.1038/s41592-021-01282-5. +[62] Kaminow B, Yunusov D, Dobin A. STARsolo: accurate, fast and versatile mapping/quantification of single-cell and single-nucleus RNA-seq data. (2021). doi:10.1101/2021.05.05.442755. [Preprint, not peer-reviewed.] -[63] Hao Y, Hao S, Andersen-Nissen E, et al. Integrated analysis of multimodal single-cell data. *Cell* 184(13), 3573-3587.e29 (2021). doi:10.1016/j.cell.2021.04.048. +[63] Granja JM, Corces MR, Pierce SE, et al. ArchR is a scalable software package for integrative single-cell chromatin accessibility analysis. *Nature Genetics* 53(3), 403–411 (2021). doi:10.1038/s41588-021-00790-6. -[64] Bergen V, Lange M, Peidli S, Wolf FA, Theis FJ. Generalizing RNA velocity to transient cell states through dynamical modeling. *Nature Biotechnology* 38(12), 1408–1414 (2020). doi:10.1038/s41587-020-0591-3. +[64] Stuart T, Srivastava A, Madad S, Lareau CA, Satija R. Single-cell chromatin state analysis with Signac. *Nature Methods* 18(11), 1333–1341 (2021). doi:10.1038/s41592-021-01282-5. -[65] Benjamini Y, Hochberg Y. Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing. *Journal of the Royal Statistical Society Series B: Statistical Methodology* 57(1), 289–300 (1995). doi:10.1111/j.2517-6161.1995.tb02031.x. +[65] Hao Y, Hao S, Andersen-Nissen E, et al. Integrated analysis of multimodal single-cell data. *Cell* 184(13), 3573-3587.e29 (2021). doi:10.1016/j.cell.2021.04.048. -[66] Chen EY, Tan CM, Kou Y, et al. Enrichr: interactive and collaborative HTML5 gene list enrichment analysis tool. *BMC Bioinformatics* 14(1), 128 (2013). doi:10.1186/1471-2105-14-128. +[66] Bergen V, Lange M, Peidli S, Wolf FA, Theis FJ. Generalizing RNA velocity to transient cell states through dynamical modeling. *Nature Biotechnology* 38(12), 1408–1414 (2020). doi:10.1038/s41587-020-0591-3. -[67] Kuleshov MV, Jones MR, Rouillard AD, et al. Enrichr: a comprehensive gene set enrichment analysis web server 2016 update. *Nucleic Acids Research* 44(W1), W90–W97 (2016). doi:10.1093/nar/gkw377. +[67] Benjamini Y, Hochberg Y. Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing. *Journal of the Royal Statistical Society Series B: Statistical Methodology* 57(1), 289–300 (1995). doi:10.1111/j.2517-6161.1995.tb02031.x. -[68] Xie Z, Bailey A, Kuleshov MV, et al. Gene Set Knowledge Discovery with Enrichr. *Current Protocols* 1(3), e90 (2021). doi:10.1002/cpz1.90. +[68] Chen EY, Tan CM, Kou Y, et al. Enrichr: interactive and collaborative HTML5 gene list enrichment analysis tool. *BMC Bioinformatics* 14(1), 128 (2013). doi:10.1186/1471-2105-14-128. -[69] Wolock SL, Lopez R, Klein AM. Scrublet: Computational Identification of Cell Doublets in Single-Cell Transcriptomic Data. *Cell Systems* 8(4), 281-291.e9 (2019). doi:10.1016/j.cels.2018.11.005. +[69] Kuleshov MV, Jones MR, Rouillard AD, et al. Enrichr: a comprehensive gene set enrichment analysis web server 2016 update. *Nucleic Acids Research* 44(W1), W90–W97 (2016). doi:10.1093/nar/gkw377. + +[70] Xie Z, Bailey A, Kuleshov MV, et al. Gene Set Knowledge Discovery with Enrichr. *Current Protocols* 1(3), e90 (2021). doi:10.1002/cpz1.90. + +[71] Wolock SL, Lopez R, Klein AM. Scrublet: Computational Identification of Cell Doublets in Single-Cell Transcriptomic Data. *Cell Systems* 8(4), 281-291.e9 (2019). doi:10.1016/j.cels.2018.11.005. diff --git a/pipeline/hspc-velocity-benchmark/manuscript/draft_v2_ko.md b/pipeline/hspc-velocity-benchmark/manuscript/draft_v2_ko.md index ec898e6..cd48c54 100644 --- a/pipeline/hspc-velocity-benchmark/manuscript/draft_v2_ko.md +++ b/pipeline/hspc-velocity-benchmark/manuscript/draft_v2_ko.md @@ -35,11 +35,11 @@ draft_v2.md의 한국어 검토본(번역·윤문). 정본은 영어 draft_v2.md RNA velocity는 unspliced와 spliced mRNA의 균형[1,2]으로부터 transcription 변화의 방향과 속도를 추론하며, chromatin 정보를 결합한 확장 방법군은 이제 이를 single-cell ATAC와 결합해 chromatin 상태가 transcription에 어떻게 입력되는지를 모델링한다. 이 방법들은 하나의 숫자만 내놓지 않는다. 저마다 전사 속도 α, splicing 속도 β, 분해 속도 γ를 fitting하고, multiome 변형에서는 유전자별 *chromatin에서 transcription으로 이어지는 시간차(lag)*를 추가로 산출한다. MultiVelo는 chromatin과 RNA 전환 시각(switch time) 사이의 명시적 priming/decoupling 오프셋을 정의하고 유전자를 그에 따라 분류한다 [3]. MultiVeloVAE는 이를 세포별 연속 decoupling/coupling 인자로 일반화한다 [4]. MoFlow는 세포별 chromatin 개방·transcription·splicing·분해 속도를 추론하고 사전 지정된 latent time 없이 chromatin–spliced 시간차(lag)를 보고한다 [5]. CRAK-Velo는 chromatin 접근성 kinetics를 통합하고 궤적(trajectory)에서 유도된 시간차(lag)를 허용한다 [6]. 같은 계열의 대안들(archetypal ATAC+RNA 궤적 모델링 [7]; differential-accessibility prior에 기반한 regulatory velocity [8])과, 우리의 floor가 기반하는 RNA 전용 생성적 velocity(posterior velocity 불확실성을 더한 veloVI [9], 그리고 multiome MultiVeloVAE와 구별되는 RNA 전용 Bayesian veloVAE [10])가 이 지형을 이룬다[11,12,13,14]. 생물학적 동기는[15,16,17] "chromatin potential"이다. 곧 lineage commitment 동안 핵심 locus의 접근성이 발현에 앞설 수 있다는 관찰, 즉 chromatin이 세포 운명을 *예비 개방(prime)*한다는 것이다 [18]. 발생 중인 대뇌 피질처럼 일시적 전사인자가 풍부한 시스템에서는 다단계 accessibility-이후-target 시간차(lag)가 기록되어 있는데 [19], 바로 그런 곳이 유전자별 시간차(lag)가 방법에 가장 민감할 지점이다. -이 출력들은 저마다 생물학적 판독값으로 제안되었고, 그중에서도 시간차(lag)는 기제적(mechanistic) 시계로서 매력적이다. 우리 연구의 동기가 된 목표는 baseline epigenomic feature로부터 epigenetic 약물 반응의 *timing*을 예측하는 것이며, 여기에는 유전자별 활성화/차단(activation/shutdown) 오프셋이 자연스러운 공변량(covariate)이 된다. 그러나 velocity에서 파생된 값은 *신뢰할 수 있을* 때에만 하류에서 쓸 수 있고, 신뢰도에는 보통 따로따로 검정되는 두 측면이 있다. 첫째는 내부적 측면이다. 어떤 합리적 알고리즘으로 산출했든 같은 값이 나오는가. velocity를 비판적으로 검토한 문헌들은 많은 velocity 판독값이 이 기준조차 통과하지 못함을 분명히 한다[20]. 위배된 모델 가정과 복수의 kinetic regime은 잘못된 velocity를 낳고 [21], 파이프라인은 사용자가 지정하는 hyperparameter가 많으며 흔히 실무에 바로 쓰기 어렵고 [22], velocity의 *방향*조차 신뢰성 있게 정량하기가 간단치 않다 [23]. 2026년의 두 벤치마크는 velocity 방향이 방법에 의존하며 보편적 승자가 없음을 확립했지만[24] [25,26], 둘 다 저차원 임베딩에서의 velocity *벡터*를 채점할 뿐 유전자별 개별 출력을 채점하지 않고, 어느 쪽도 서로 다른 방법의 세포×유전자 velocity 행렬을 맞대어 비교하지 않으며, 순열 귀무 일치도 검정도 인과 음성 대조군도 외부 측정 anchor도 적용하지 않는다. 신뢰도의 둘째 측면은 외부적이며[27] velocity에서는 거의 검정된 적이 없다. fitting된 속도가 *독립적으로 측정된* kinetic 양을 복원하는가. metabolic labeling 실험(합성에는 TT-seq, 분해에는 SLAM-seq 반감기)[28,29]은 이제 이 검정을 가능하게 하며, 이것이 더 강한 기준이다. 어떤 값은 방법 간에 재현되면서도 여전히 공유된 인공산물일 수 있지만, 다른 기술로 다른 세포에서 이뤄진 측정값과도 부합하는 값은 생물학에 anchoring된 것이다. +이 출력들은 저마다 생물학적 판독값으로 제안되었고, 그중에서도 시간차(lag)는 기제적(mechanistic) 시계로서 매력적이다. 우리 연구의 동기가 된 목표는 baseline epigenomic feature로부터 epigenetic 약물 반응의 *timing*을 예측하는 것이며, 여기에는 유전자별 활성화/차단(activation/shutdown) 오프셋이 자연스러운 공변량(covariate)이 된다. 그러나 velocity에서 파생된 값은 *신뢰할 수 있을* 때에만 하류에서 쓸 수 있고, 신뢰도에는 보통 따로따로 검정되는 두 측면이 있다. 첫째는 내부적 측면이다. 어떤 합리적 알고리즘으로 산출했든 같은 값이 나오는가. velocity를 비판적으로 검토한 문헌들은 많은 velocity 판독값이 이 기준조차 통과하지 못함을 분명히 한다[20]. 위배된 모델 가정과 복수의 kinetic regime은 잘못된 velocity를 낳고 [21], 파이프라인은 사용자가 지정하는 hyperparameter가 많으며 흔히 실무에 바로 쓰기 어렵고 [22], velocity의 *방향*조차 신뢰성 있게 정량하기가 간단치 않다 [23]. 2026년의 세 벤치마크는 velocity 방향이 방법에 의존하며 보편적 승자가 없음을 확립했지만[24] [25,26,27], 셋 다 저차원 임베딩에서의 velocity *벡터*를 채점할 뿐 유전자별 개별 출력을 채점하지 않고, 어느 것도 서로 다른 방법의 세포×유전자 velocity 행렬을 맞대어 비교하지 않으며, 순열 귀무 일치도 검정도 외부 측정 anchor도 적용하지 않는다. 그중 "negative control robustness"라 이름 붙은 task[27]는 방법이 정적 세포에서 spurious하게 0이 아닌 velocity를 내는지를(self-transition·entropy로) 잴 뿐, chromatin 입력을 교란해 무엇이 velocity를 만드는지를 검정하지 않는다. 별개의 2026년 비교 연구도 유전자별 driver 순위가 방법 의존적이라고 보고해[28], 우리가 정량한 유전자별 비재현성과 방향이 같다. 이 벤치마크들이 쓴 데이터셋 중 둘은 우리도 분석하는 것(GSE209878, GSE284047)이며, 거기서는 임베딩 수준으로만 채점됐다. 신뢰도의 둘째 측면은 외부적이며[29] velocity에서는 거의 검정된 적이 없다. fitting된 속도가 *독립적으로 측정된* kinetic 양을 복원하는가. metabolic labeling 실험(합성에는 TT-seq, 분해에는 SLAM-seq 반감기)[30,31]은 이제 이 검정을 가능하게 하며, 이것이 더 강한 기준이다. 어떤 값은 방법 간에 재현되면서도 여전히 공유된 인공산물일 수 있지만, 다른 기술로 다른 세포에서 이뤄진 측정값과도 부합하는 값은 생물학에 anchoring된 것이다. -이 문제는 velocity에만 있는 것은 아니다. 전임상 생물학과 심리학에서 이뤄진 독립 복제 시도들은 발표된 결과의 일부만 되찾았고 [30,31,32], 설문에서는 연구자 다수가 남의 연구를, 그리고 흔히 자기 연구조차 재현하지 못한 경험을 보고했다 [33]. 암 생물학의 체계적 복제 시도는 발표된 보고가 원저자에게 문의하지 않고 반복할 수 있을 만큼의 방법 서술을 담은 경우가 드물다는 점을 확인했고 [34], 왜 이런 결과가 예상되는지에 대한 통계적 논증도 오래되었다 [35]. 유전체학에 한정해도 발표된 발현 분석은 논문만으로 반복되지 않는 경우가 잦았다 [36]. 이 논문이 다루는 갈래는 그보다 좁고, 노골적인 재현 실패보다 흔하리라 본다. 파생된 값이 도입되어 예시 locus에서 시연되고, 이후 하류에서 **그 신뢰성이 검정된 적 없는 유전자별 정량 수준**으로 쓰이는 경우다. velocity *벡터*에 대한 벤치마크는 존재하지만 [25,26], 개별 유전자별 출력과 그것들이 합쳐지는 세포×유전자 velocity 행렬은 우리가 여기서 적용하는 축들로 감사된 적이 없다. +이 문제는 velocity에만 있는 것은 아니다. 전임상 생물학과 심리학에서 이뤄진 독립 복제 시도들은 발표된 결과의 일부만 되찾았고 [32,33,34], 설문에서는 연구자 다수가 남의 연구를, 그리고 흔히 자기 연구조차 재현하지 못한 경험을 보고했다 [35]. 암 생물학의 체계적 복제 시도는 발표된 보고가 원저자에게 문의하지 않고 반복할 수 있을 만큼의 방법 서술을 담은 경우가 드물다는 점을 확인했고 [36], 왜 이런 결과가 예상되는지에 대한 통계적 논증도 오래되었다 [37]. 유전체학에 한정해도 발표된 발현 분석은 논문만으로 반복되지 않는 경우가 잦았다 [38]. 이 논문이 다루는 갈래는 그보다 좁고, 노골적인 재현 실패보다 흔하리라 본다. 파생된 값이 도입되어 예시 locus에서 시연되고, 이후 하류에서 **그 신뢰성이 검정된 적 없는 유전자별 정량 수준**으로 쓰이는 경우다. velocity *벡터*에 대한 벤치마크는 존재하지만 [25,26,27], 개별 유전자별 출력과 그것들이 합쳐지는 세포×유전자 velocity 행렬은 우리가 여기서 적용하는 축들로 감사된 적이 없다. -따라서 우리는 velocity 출력을 발견이 아니라 신뢰도로 분류할 후보로 다룬다[37,38]. 인간 HSPC 10x Multiome(GSE209878)에서 RNA 전용 floor와 네 개의 chromatin 정보 arm을 정면으로 벤치마크하며, 순열 FDR 일치 검정, 인과적 ATAC-shuffle 음성 대조군, 사전등록 검정을 포함한 다섯 개 외부 시스템에서의 cross-dataset 재현, 그리고 fitting된 속도를 측정된 합성·분해에 외부 anchoring하는 보강(corroboration) 분석을 함께 수행한다. 이 틀은 신뢰도 지도다. 어떤 velocity 출력을 하류 분석가가 직접 신뢰할 수 있고 어떤 것이 직교 검증을 요구하는지를 따지는 것이지, "우리가 방법 X를 이겼다"는 비교가 아니다. 우리의 목적 함수 분석이 모수 식별가능성(parameter identifiability)에 닿는 지점에서, velocity 전환 시각의 약한 식별가능성은 ConsensusVelo가 우도 평탄성과 Fisher 정보로 이미 보였음을 먼저 밝혀 둔다 [39]. 그 연구는 우리 기제를 확증하는 쪽이며, 우리의 새로운 기여는 velocity 출력 신뢰도 지도 그 자체, 곧 α-stiff/lag-sloppy *분리(dissociation)*, 그 방법 간 재현성 순서[40,41], 외부 보강, 그리고 multiome 확장이다. +따라서 우리는 velocity 출력을 발견이 아니라 신뢰도로 분류할 후보로 다룬다[39,40]. 인간 HSPC 10x Multiome(GSE209878)에서 RNA 전용 floor와 네 개의 chromatin 정보 arm을 정면으로 벤치마크하며, 순열 FDR 일치 검정, 인과적 ATAC-shuffle 음성 대조군, 사전등록 검정을 포함한 다섯 개 외부 시스템에서의 cross-dataset 재현, 그리고 fitting된 속도를 측정된 합성·분해에 외부 anchoring하는 보강(corroboration) 분석을 함께 수행한다. 이 틀은 신뢰도 지도다. 어떤 velocity 출력을 하류 분석가가 직접 신뢰할 수 있고 어떤 것이 직교 검증을 요구하는지를 따지는 것이지, "우리가 방법 X를 이겼다"는 비교가 아니다. 우리의 목적 함수 분석이 모수 식별가능성(parameter identifiability)에 닿는 지점에서, velocity 전환 시각의 약한 식별가능성은 ConsensusVelo가 우도 평탄성과 Fisher 정보로 이미 보였음을 먼저 밝혀 둔다 [41]. 그 연구는 우리 기제를 확증하는 쪽이며, 우리의 새로운 기여는 velocity 출력 신뢰도 지도 그 자체, 곧 α-stiff/lag-sloppy *분리(dissociation)*, 그 방법 간 재현성 순서[42,43], 외부 보강, 그리고 multiome 확장이다. --- @@ -47,7 +47,7 @@ RNA velocity는 unspliced와 spliced mRNA의 균형[1,2]으로부터 transcripti ### 전사 속도 α만 방법 간 재현되며, chromatin에서 transcription으로 이어지는 시간차(lag)는 재현되지 않는다 -방법 간에 유전자별 시간차(lag)는 일치하지 않았다. HSPC에서 원래의 부호 포함 정의로 계산한 시간차의 쌍별 Spearman 상관은 −0.04(MultiVelo 대 MoFlow, p=0.38), −0.01(MultiVelo 대 MultiVeloVAE, p=0.81), +0.08(MoFlow 대 MultiVeloVAE, p=0.04)이었다. 시간차 정의를 동일 기준으로 통일해도 가장 강한 쌍이 +0.12까지밖에 오르지 않았고, 크기 규약(magnitude convention)에서는 바로 그 가장 강한 쌍(MultiVelo 대 MultiVeloVAE)이 +0.163에 도달한다(95% CI [+0.078, +0.244], 0 배제). 따라서 시간차(lag)는 크기에서 잘해야 약하게 재현되며, 대부분의 쌍이 |ρ|≤0.08이다(Fig. 1). 방향도 더 낫지 않았다. 부호가 변할 수 있는(sign-variable) 방법들에서 chromatin 선행(chromatin-leading) 비율은 44.8%(MoFlow)와 49.3%(MultiVeloVAE)로, 50/50에 가까운 집단 균형이어서 유전체 전반의 "chromatin이 transcription을 예비 개방한다"는 순서를 뒷받침하지 않으며, MoFlow와 MultiVeloVAE 사이의 유전자별 부호 일치(sign-agreement)는 시간차가 정확히 0이어서 방향이 정해지지 않은 유전자를 제외하면 54.6%였고(n=560; 우연 대비 이항검정 p=0.03), 곧 우연에 가깝고 사용 가능한 수준과 거리가 멀었다. (MultiVelo가 겉보기에 100% chromatin 선행인 것은 그 전환 시각 단조 정렬 제약이 만든 인공산물(artifact)이므로, 크기 검정과 순위 검정에만 포함하고 부호 검정에는 결코 포함하지 않는다.) 네 번째 방법을 추가해도 일치도는 회복되지 않았다. CRAK-Velo의 시간차 부호 규약 버그를 확인·수정한 뒤 MoFlow 대 CRAK-Velo는 −0.151, CRAK-Velo 대 MultiVeloVAE는 −0.04였고, CRAK-Velo의 chromatin 선행 비율은 41.1%(균형)였다. 방향 일치는 대표적 마커 전반에서 균일하지 않았다. 부호 변동 방법별 유전자 방향 판정을 모두 표로 정리하면(Additional file 3: Table S3), 과립 마커 *MPO*, *ELANE*, *AZU1*, *LYZ*, *S100A9*는 이를 채점한 모든 방법에서 chromatin 선행이었고 초기 마커 *MEIS1*은 RNA 선행이었으나, *CSF1R*, *HLF*, *CRHBP*는 방법 간에 일치하지 않았다. 전체적으로는 부호 변동 판정이 둘 이상인 640개 유전자 중 38.6%만 만장일치였고 61.4%는 방법 간에 나뉘었다. 이 마커들이 예시하는 개념, 곧 원저 방법들이 예로 보인 그 개념은 우리 데이터에서 **일부 locus에 한해, 그리고 *방향*으로만** 성립한다. 유전자별 정량 크기는 재현되지 않았고, (다음 소절이 보이듯) 그 일치는 해당 locus의 chromatin이 만든 것도 아니다. 잘 결정된 유전자로 범위를 좁혀 쓸 만한 규칙을 되찾을 수도 없었다. 방향 일치는 α와 함께 증가하지만(Spearman +0.25, p=4e-09) 최상위 α 십분위에서도 만장일치는 31.5%에 그치고, 유전자별 특징들을 가중 결합한 교차검증 복합 지표(AUC 0.70)도 상위 십분위의 69%가 여전히 갈린다(Additional file 8: Table S8). 만장일치 chromatin 선행 집합은 azurophil 과립 프로그램에 치우쳐 있으나(Reactome neutrophil degranulation[42,43,44], 채점 가능한 유전자로 배경을 제한했을 때 adjusted p=9.4e-04), 이를 생물학적으로 읽지는 않는다. 일치는 정답이 아니고, 이 마커들에서 ATAC 셔플 대조는 귀무였으며, 같은 유전자들이 발현 신호가 가장 강하므로 신호 대 잡음에 의한 설명을 여기서 분리할 수 없기 때문이다. 이 패턴은 재현되지도 않는다. 방향 일치를 외부에서 검정할 수 있는 유일한 시스템(마우스 gastrulation, 부호 변동 arm이 둘인 유일한 외부 데이터셋)에서 유전자별 일치는 50.6%(n=1,061, 이항 p=0.71)였고, 만장일치 집단의 크기는 두 방법의 방향 판정을 독립으로 가정했을 때 나오는 값과 같았다(both-chromatin 기대 0.347, 관측 0.347). 과립 프로그램 치우침에 대응하는 것도 없었다. 따라서 우리는 원저의 예시를 그대로 존중하면서 그 정성적 방향을 신뢰할 수 없는 정량 값과 구분하며, 마커 일치를 엄격히 상관적(correlational) 사실로만 읽는다. +방법 간에 유전자별 시간차(lag)는 일치하지 않았다. HSPC에서 원래의 부호 포함 정의로 계산한 시간차의 쌍별 Spearman 상관은 −0.04(MultiVelo 대 MoFlow, p=0.38), −0.01(MultiVelo 대 MultiVeloVAE, p=0.81), +0.08(MoFlow 대 MultiVeloVAE, p=0.04)이었다. 시간차 정의를 동일 기준으로 통일해도 가장 강한 쌍이 +0.12까지밖에 오르지 않았고, 크기 규약(magnitude convention)에서는 바로 그 가장 강한 쌍(MultiVelo 대 MultiVeloVAE)이 +0.163에 도달한다(95% CI [+0.078, +0.244], 0 배제). 따라서 시간차(lag)는 크기에서 잘해야 약하게 재현되며, 대부분의 쌍이 |ρ|≤0.08이다(Fig. 1). 방향도 더 낫지 않았다. 부호가 변할 수 있는(sign-variable) 방법들에서 chromatin 선행(chromatin-leading) 비율은 44.8%(MoFlow)와 49.3%(MultiVeloVAE)로, 50/50에 가까운 집단 균형이어서 유전체 전반의 "chromatin이 transcription을 예비 개방한다"는 순서를 뒷받침하지 않으며, MoFlow와 MultiVeloVAE 사이의 유전자별 부호 일치(sign-agreement)는 시간차가 정확히 0이어서 방향이 정해지지 않은 유전자를 제외하면 54.6%였고(n=560; 우연 대비 이항검정 p=0.03), 곧 우연에 가깝고 사용 가능한 수준과 거리가 멀었다. (MultiVelo가 겉보기에 100% chromatin 선행인 것은 그 전환 시각 단조 정렬 제약이 만든 인공산물(artifact)이므로, 크기 검정과 순위 검정에만 포함하고 부호 검정에는 결코 포함하지 않는다.) 네 번째 방법을 추가해도 일치도는 회복되지 않았다. CRAK-Velo의 시간차 부호 규약 버그를 확인·수정한 뒤 MoFlow 대 CRAK-Velo는 −0.151, CRAK-Velo 대 MultiVeloVAE는 −0.04였고, CRAK-Velo의 chromatin 선행 비율은 41.1%(균형)였다. 방향 일치는 대표적 마커 전반에서 균일하지 않았다. 부호 변동 방법별 유전자 방향 판정을 모두 표로 정리하면(Additional file 3: Table S3), 과립 마커 *MPO*, *ELANE*, *AZU1*, *LYZ*, *S100A9*는 이를 채점한 모든 방법에서 chromatin 선행이었고 초기 마커 *MEIS1*은 RNA 선행이었으나, *CSF1R*, *HLF*, *CRHBP*는 방법 간에 일치하지 않았다. 전체적으로는 부호 변동 판정이 둘 이상인 640개 유전자 중 38.6%만 만장일치였고 61.4%는 방법 간에 나뉘었다. 이 마커들이 예시하는 개념, 곧 원저 방법들이 예로 보인 그 개념은 우리 데이터에서 **일부 locus에 한해, 그리고 *방향*으로만** 성립한다. 유전자별 정량 크기는 재현되지 않았고, (다음 소절이 보이듯) 그 일치는 해당 locus의 chromatin이 만든 것도 아니다. 잘 결정된 유전자로 범위를 좁혀 쓸 만한 규칙을 되찾을 수도 없었다. 방향 일치는 α와 함께 증가하지만(Spearman +0.25, p=4e-09) 최상위 α 십분위에서도 만장일치는 31.5%에 그치고, 유전자별 특징들을 가중 결합한 교차검증 복합 지표(AUC 0.70)도 상위 십분위의 69%가 여전히 갈린다(Additional file 8: Table S8). 만장일치 chromatin 선행 집합은 azurophil 과립 프로그램에 치우쳐 있으나(Reactome neutrophil degranulation[44,45,46], 채점 가능한 유전자로 배경을 제한했을 때 adjusted p=9.4e-04), 이를 생물학적으로 읽지는 않는다. 일치는 정답이 아니고, 이 마커들에서 ATAC 셔플 대조는 귀무였으며, 같은 유전자들이 발현 신호가 가장 강하므로 신호 대 잡음에 의한 설명을 여기서 분리할 수 없기 때문이다. 이 패턴은 재현되지도 않는다. 방향 일치를 외부에서 검정할 수 있는 유일한 시스템(마우스 gastrulation, 부호 변동 arm이 둘인 유일한 외부 데이터셋)에서 유전자별 일치는 50.6%(n=1,061, 이항 p=0.71)였고, 만장일치 집단의 크기는 두 방법의 방향 판정을 독립으로 가정했을 때 나오는 값과 같았다(both-chromatin 기대 0.347, 관측 0.347). 과립 프로그램 치우침에 대응하는 것도 없었다. 따라서 우리는 원저의 예시를 그대로 존중하면서 그 정성적 방향을 신뢰할 수 없는 정량 값과 구분하며, 마커 일치를 엄격히 상관적(correlational) 사실로만 읽는다. 순열 FDR 분석(유전자 라벨 shuffle 귀무, N=10⁴)은 이 약함을 통계적으로 확인했다. cross-method ρ는 3쌍 중 2쌍에서 shuffle 귀무 대비 유의했으나, 효과는 극히 약했고(|ρ|≤0.15) 방향이 일관되지 않았다. 유전자별 cross-method 부호 일관성 검정은 빈 일치 집합을 냈다(FDR<0.10에서 0/598 유전자). 우리는 이를 헤드라인이 아니라 **CRAK 의존 민감도 결과(CRAK-dependent sensitivity result)**로 보고하는데, 그 빈 집합은 부호 변동 방법 세 개를 필요로 하고, 깨끗한 부호 변동 쌍({MoFlow, MultiVeloVAE})만으로는 두 방법 부호 검정이 검정력에 제약되기 때문이다(신호와 무관하게 min p_perm≈0.50). 따라서 CRAK와 무관한 깨끗한 헤드라인은, 시간차(lag)가 크기에서 잘해야 약하게 재현되고(가장 강한 쌍 +0.163, 대부분의 쌍 |ρ|≤0.08) 부호에서는 우연 수준(54.6%)에 그친다는 것이다. @@ -61,15 +61,15 @@ lineage 내에서 ATAC를 뒤섞어 chromatin과 RNA의 결합을 끊고 MultiVe ### α는 예측하는 baseline feature가 시간차(lag)는 예측하지 못한다 -우리는 시간차(lag)를 세 축(정확도, 안정성, 예측 가능성)에서 더 삼각 측량했으며, 하류 사용에 중요한 예측 가능성 축을 여기서 요약한다(전체 삼각 측량은 Supplementary Note S1). 순수 baseline chromatin feature만으로는 held-out(학습에서 제외한) lineage에 걸쳐 시간차(lag)를 예측하지 못했고(ρ=−0.21), fitting된 kinetic feature를 더하면 +0.59까지 올랐지만 이는 순환적이다(fitting된 α_c가 MultiVelo 시간차를 기계적으로 결정하기 때문). 실제 day0 ATAC promoter/enhancer 접근성[45](8,583개 day0 HSC/MPP 세포에 걸친 511개 유전자)을 모으자 대비가 선명해졌다. *강건한* 표적 α는 held-out lineage에서 예측되었으나(ρ=+0.309, 여섯 lineage 모두에서 양수), *비강건한* 시간차(lag)는 실제 ATAC로도 예측 불가능한 채였다(ρ=+0.05, 우연)(Supplementary Fig. S2). 동일 방법 내에서 lineage를 가로지른 재-fitting도 같은 이야기를 했다. 시간차 크기는 따로 fitting한 lineage들 사이에서 약하게만 일치했고(중앙값 ρ=0.349, 범위 0.234–0.513), 그 α_c 대조는 더 강건했다(중앙값 ρ=0.483). 강건한 α를 예측하는 바로 그 baseline feature들이 비강건한 시간차(lag)는 예측하지 못하며, 그렇기 때문에 하류 timing 모델은 단일 시간차 값이 아니라 baseline feature와 α 위에 세워야 한다. (완결성을 위해, 시간차를 주입한(injected-lag) 정확도 시뮬레이션과 부트스트랩 부호 안정성 점검은 Supplementary Note S1에 보고한다. 정확도 시뮬레이션은 매끄러운 동역학에서 CRAK-Velo DTW 구성이 만드는 형태(shape) 인공산물로, 핵심 MoFlow/MultiVelo/MultiVeloVAE arm에는 닿지 않는다.) +우리는 시간차(lag)를 세 축(정확도, 안정성, 예측 가능성)에서 더 삼각 측량했으며, 하류 사용에 중요한 예측 가능성 축을 여기서 요약한다(전체 삼각 측량은 Supplementary Note S1). 순수 baseline chromatin feature만으로는 held-out(학습에서 제외한) lineage에 걸쳐 시간차(lag)를 예측하지 못했고(ρ=−0.21), fitting된 kinetic feature를 더하면 +0.59까지 올랐지만 이는 순환적이다(fitting된 α_c가 MultiVelo 시간차를 기계적으로 결정하기 때문). 실제 day0 ATAC promoter/enhancer 접근성[47](8,583개 day0 HSC/MPP 세포에 걸친 511개 유전자)을 모으자 대비가 선명해졌다. *강건한* 표적 α는 held-out lineage에서 예측되었으나(ρ=+0.309, 여섯 lineage 모두에서 양수), *비강건한* 시간차(lag)는 실제 ATAC로도 예측 불가능한 채였다(ρ=+0.05, 우연)(Supplementary Fig. S2). 동일 방법 내에서 lineage를 가로지른 재-fitting도 같은 이야기를 했다. 시간차 크기는 따로 fitting한 lineage들 사이에서 약하게만 일치했고(중앙값 ρ=0.349, 범위 0.234–0.513), 그 α_c 대조는 더 강건했다(중앙값 ρ=0.483). 강건한 α를 예측하는 바로 그 baseline feature들이 비강건한 시간차(lag)는 예측하지 못하며, 그렇기 때문에 하류 timing 모델은 단일 시간차 값이 아니라 baseline feature와 α 위에 세워야 한다. (완결성을 위해, 시간차를 주입한(injected-lag) 정확도 시뮬레이션과 부트스트랩 부호 안정성 점검은 Supplementary Note S1에 보고한다. 정확도 시뮬레이션은 매끄러운 동역학에서 CRAK-Velo DTW 구성이 만드는 형태(shape) 인공산물로, 핵심 MoFlow/MultiVelo/MultiVeloVAE arm에는 닿지 않는다.) ### α-강건, lag-취약 순서는 사전등록 검정을 포함한 다섯 개 외부 시스템에서 재현된다 이 순서가 한 HSPC 데이터셋의 특이성인지를, 조직 거리(tissue distance)를 아우르는 다섯 개 외부 multiome에서 재현하며 물었다(Fig. 3; Table 1). 핵심 주장은 어떤 절댓값이 아니라 *α가 시간차(lag)보다 앞선다는 순서의 보존*이다. -각 외부 데이터셋 내부에서 cross-method α(floor, MultiVelo, MultiVeloVAE, 세 쌍의 중앙값)는 강하게 재현된 반면 dataset 내부 시간차(MultiVelo 대 MultiVeloVAE)는 0 근처에 머물렀다. E18 마우스 뇌 α 중앙값 +0.81 대 시간차 +0.057; 인간 BMMC +0.851 대 −0.088(p=0.15); 대식세포 +0.865 대 +0.074(TOST로 0과 동등[46]); 마우스 gastrulation +0.927 대 −0.026([−0.089, +0.038]), dataset 내부 분리 Δρ=+0.979(95% CI [+0.916, +1.041]). 데이터셋을 가로질러서도 HSPC-대-외부 α 순위는 모든 시스템에서 그 시간차(lag) 대응값보다 높게 재현되었다. 인간 태아 피질 α +0.475(p=4.5e-7) 대 시간차 +0.185(p=0.06); E18 +0.32(p=2e-4) 대 +0.10(p=0.23); BMMC +0.550(p=2.9e-8) 대 +0.052(p=0.63); 대식세포 +0.643(95% CI [+0.554, +0.719], p=2.5e-33) 대 +0.148(95% CI [+0.027, +0.263], p=0.014); gastrulation +0.415(95% CI [+0.244, +0.561]) 대 +0.028(95% CI [−0.165, +0.224]). 대식세포 축은 명시적 cross-dataset 분리 Δρ=+0.843(95% CI [+0.773, +0.912])을 준다. +각 외부 데이터셋 내부에서 cross-method α(floor, MultiVelo, MultiVeloVAE, 세 쌍의 중앙값)는 강하게 재현된 반면 dataset 내부 시간차(MultiVelo 대 MultiVeloVAE)는 0 근처에 머물렀다. E18 마우스 뇌 α 중앙값 +0.81 대 시간차 +0.057; 인간 BMMC +0.851 대 −0.088(p=0.15); 대식세포 +0.865 대 +0.074(TOST로 0과 동등[48]); 마우스 gastrulation +0.927 대 −0.026([−0.089, +0.038]), dataset 내부 분리 Δρ=+0.979(95% CI [+0.916, +1.041]). 데이터셋을 가로질러서도 HSPC-대-외부 α 순위는 모든 시스템에서 그 시간차(lag) 대응값보다 높게 재현되었다. 인간 태아 피질 α +0.475(p=4.5e-7) 대 시간차 +0.185(p=0.06); E18 +0.32(p=2e-4) 대 +0.10(p=0.23); BMMC +0.550(p=2.9e-8) 대 +0.052(p=0.63); 대식세포 +0.643(95% CI [+0.554, +0.719], p=2.5e-33) 대 +0.148(95% CI [+0.027, +0.263], p=0.014); gastrulation +0.415(95% CI [+0.244, +0.561]) 대 +0.028(95% CI [−0.165, +0.224]). 대식세포 축은 명시적 cross-dataset 분리 Δρ=+0.843(95% CI [+0.773, +0.912])을 준다. -다섯 번째 외부 시스템인 마우스 gastrulation(GSE205117, E7.5–E8.75 10x Multiome, 10,779 세포)은 lineage priming이 최대이고 시간차(lag)가 방법에 *가장* 민감할 것으로 예상되는 발생 atlas인데, **사전등록(preregistration)**으로 검정했다[47]. 사전 선언한 임계를 가진 여섯 개 예측을 어떤 velocity fitting이나 일치도가 존재하기 전에 commit 해시로 봉인했고(우리 사전등록, fitting 전 봉인; Additional file로 제공·기탁, 데이터·코드 가용성 참조), 사후(post-hoc) 구제는 허용하지 않았다. 여섯 개 모두 통과했다(6 PASS / 0 FAIL). dataset 내부 cross-method α ρ≥0.50(봉인된 합격선; 이것은 임계일 뿐이며 HSPC α=0.88은 합격선이 아니라 *관측값*임에 유의), dataset 내부 시간차 ρ≤0.15, α에서 시간차를 뺀 순서 간격 ≥0.35, cross-dataset α>+0.2 및 α>lag, α 불일치보다 큰 유전자별 시간차 불일치(봉인된 원 정의 MultiVelo 대 MoFlow 기준 유전자별 불일치 시간차 0.294, n=968, 대 α 0.052), 그리고 최대 priming 하에서도 지속되는 취약성. 이 예측들이 fitting 이전에 봉인되었기 때문에, 이 재현은 사후 패턴이 아니라 확증적이다. +다섯 번째 외부 시스템인 마우스 gastrulation(GSE205117, E7.5–E8.75 10x Multiome, 10,779 세포)은 lineage priming이 최대이고 시간차(lag)가 방법에 *가장* 민감할 것으로 예상되는 발생 atlas인데, **사전등록(preregistration)**으로 검정했다[49]. 사전 선언한 임계를 가진 여섯 개 예측을 어떤 velocity fitting이나 일치도가 존재하기 전에 commit 해시로 봉인했고(우리 사전등록, fitting 전 봉인; Additional file로 제공·기탁, 데이터·코드 가용성 참조), 사후(post-hoc) 구제는 허용하지 않았다. 여섯 개 모두 통과했다(6 PASS / 0 FAIL). dataset 내부 cross-method α ρ≥0.50(봉인된 합격선; 이것은 임계일 뿐이며 HSPC α=0.88은 합격선이 아니라 *관측값*임에 유의), dataset 내부 시간차 ρ≤0.15, α에서 시간차를 뺀 순서 간격 ≥0.35, cross-dataset α>+0.2 및 α>lag, α 불일치보다 큰 유전자별 시간차 불일치(봉인된 원 정의 MultiVelo 대 MoFlow 기준 유전자별 불일치 시간차 0.294, n=968, 대 α 0.052), 그리고 최대 priming 하에서도 지속되는 취약성. 이 예측들이 fitting 이전에 봉인되었기 때문에, 이 재현은 사후 패턴이 아니라 확증적이다. **유의점(Table 1 각주).** (i) cross-dataset α 값은 조직 거리가 멀어질수록 감소하지만(대식세포 +0.643 > BMMC +0.55 > 뇌 +0.475 > gastrulation +0.415 > E18 +0.32), 이들의 95% CI는 겹친다(공통 구간 [0.368, 0.472]). 따라서 우리는 이를 *정성적(qualitative)* 순서로만 제시하고 점들에 어떤 추세도 fitting하지 않는다. (ii) dataset 내부 lag-취약 근거는, HSPC가 아닌 네 시스템에서 대체로 단일 방법 쌍(MultiVelo 대 MultiVeloVAE)에 의존한다. gastrulation만 추가로 MoFlow arm을 가지며, 그 봉인된 유전자별 시간차 예측에 쓰였다. (iii) 다섯 재현은 각각 공여자/시료 하나씩이다. 서사는 어느 한 시스템의 강한 일반화가 아니라 여섯 축에 걸친 일관성에 기댄다. (iv) 인간 태아 피질(GSE162170)은 dataset 내부 MultiVeloVAE fitting이 없어 dataset 내부 cross-method 시간차를 계산할 수 없다. 그 α 대 시간차 증거는 cross-dataset 축이다(Table 1, N/A). @@ -79,11 +79,11 @@ lineage 내에서 ATAC를 뒤섞어 chromatin과 RNA의 결합을 끊고 MultiVe 이와 대조적으로 분해 속도 γ는 외부 ground truth가 있는 곳에서도 복원되지 *않았다*. 가장 깨끗한 동일 기준 비교(같은 K562 세포)에서 세 방법 모두 측정된 분해 속도에 대해 γ는 귀무였으나(rna-only −0.118, MultiVelo +0.053, MultiVeloVAE −0.011; 3/3 귀무) α는 셋 다 양수였다. 세 세포주 반감기 패널로 확장하면 9개 방법×세포주 칸 중 1개만 γ를 약하게 복원했고(MultiVeloVAE 대 MOLM13, +0.164 [+0.028, +0.291], CI 하한이 0을 겨우 넘음), 교과서적 scVelo dynamical γ(RNA 전용 floor)는 가장 깨끗하고 검열되지 않은 참조(MOLM13, −0.224 [−0.359, −0.085], CI가 0 배제)에서 *반대로* 나왔다. 곧 fitting된 γ가 더 큰 유전자일수록 측정된 반감기가 *더 길었다*. 이는 외부 실험 축에서 신뢰도 분화를 확인한다. α는 방법 간에 재현되고 그 외부 상관이 (위의 abundance 유의점과 함께) 보강되는 반면, γ는 ground truth가 있는 곳에서도 외부적으로 실패하고 심지어 거꾸로 간다. (−0.224 반전은 MultiVelo의 γ가 아니라 scVelo/RNA 전용 γ의 성질이다. 우리는 이를 전반적으로 그 방법에 귀속시키며, 다른 어떤 방법의 fitting에 대한 증거로 쓰지 않는다.) -**두 번째 외부 출처는 귀무였다.** 독립적인 두 번째 α 출처(Schwalb 2016 K562 TT-seq, GSE75792[28])는 *귀무*였다. α 대 Schwalb는 3/3 귀무(ρ −0.05 ~ −0.01)였던 반면 α 대 Todorovski는 3/3 양수[48]였다. 결정적 원인은 측정된 두 TT-seq 출처 자체가 약하게만 일치한다는 것이다(ρ≈0.15, n=1905). 측정된 합성 속도의 연구 간 재현성이 어떤 보강에도 천장(ceiling)이 된다. 우리는 이를 비대칭적으로, 그리고 사전등록한 대로 해석한다. 이 귀무는 α를 반증하지 않는다(cross-context, 절대-α 비식별성, 출처 잡음이 모두 작용한다). 다만 이는 "단일 외부 출처" 취약성이 이 두 번째 출처로 제거되지 않았음을 뜻한다. 일차 보강은 유효하며, 두 번째 출처는 재현도 반증도 아니다. +**두 번째 외부 출처는 귀무였다.** 독립적인 두 번째 α 출처(Schwalb 2016 K562 TT-seq, GSE75792[30])는 *귀무*였다. α 대 Schwalb는 3/3 귀무(ρ −0.05 ~ −0.01)였던 반면 α 대 Todorovski는 3/3 양수[50]였다. 결정적 원인은 측정된 두 TT-seq 출처 자체가 약하게만 일치한다는 것이다(ρ≈0.15, n=1905). 측정된 합성 속도의 연구 간 재현성이 어떤 보강에도 천장(ceiling)이 된다. 우리는 이를 비대칭적으로, 그리고 사전등록한 대로 해석한다. 이 귀무는 α를 반증하지 않는다(cross-context, 절대-α 비식별성, 출처 잡음이 모두 작용한다). 다만 이는 "단일 외부 출처" 취약성이 이 두 번째 출처로 제거되지 않았음을 뜻한다. 일차 보강은 유효하며, 두 번째 출처는 재현도 반증도 아니다. ### 이 분리는 목적 함수의 성질이다: α는 stiff, 시간차(lag)는 sloppy -이 관찰이 *왜* 반복되는지 묻기 위해, MultiVelo 자체 우도를 α 방향과 시간차 방향(lag = t_sw2 − t_sw1)을 따라 프로파일링하며 latent time을 재최적화했다(n=538 유전자; fitting/우도 재현 r≈1.0)(Fig. 5). 세포당 곡률(curvature)은 시간차보다 α에서 훨씬 컸다(세포당 중앙값 8.20 대 2.24). 우리는 유전자별 강성비(stiffness ratio) κ_α/κ_lag를 보수적인 **nuisance 모수 해방(freed-nuisance)** 기준에서 보고한다. 곧 β, γ, α_c, rescale, scale_cc를 재최적화하는 경우인데, 여기서 분리는 중앙값 비 **2.49×**, 유전자의 **77.03%**에서 α가 시간차보다 더 stiff한 채로 유지된다(n=148). 더 엄격한 nuisance 고정(fixed-nuisance) 프로파일은 더 큰 3.53×(IQR [1.92, 7.41])를 주고 유전자의 94.57%에서 α가 더 stiff한데, 우리는 이를 상한(upper bound)으로 다루며, β와 γ를 해방하면 α 곡률이 고정 시 값의 중앙값 0.19×로 붕괴한다는 점을 함께 밝혀 둔다. 시간차 삼분류가 이 점을 뒷받침했다. 538개 유전자 중 302개(56%)는 내부(interior), 205개(38%)는 경계 고정(boundary-pinned), 31개(6%)는 퇴화(degenerate)였고, 44%에서는 데이터가 시간차의 상한조차 설정하지 못한다. 이는 시간차 방향의 *상대적(실질적)* 비식별성[49,50,51]이지, 완전히 평평한 골짜기가 아니다. velocity 전환 시각 자체의 약한 식별가능성[52]은 ConsensusVelo가 우도 평탄성과 Fisher 정보로 확립했다 [39]. 우리의 목적 함수 분석은 그것을 확증하며, 선점되지 않은 것은 α-stiff/lag-sloppy *분리*, 곡률비(curvature-ratio) 틀, 그리고 multiome chromatin-대-시간차 확장이다 [53,54,55]. +이 관찰이 *왜* 반복되는지 묻기 위해, MultiVelo 자체 우도를 α 방향과 시간차 방향(lag = t_sw2 − t_sw1)을 따라 프로파일링하며 latent time을 재최적화했다(n=538 유전자; fitting/우도 재현 r≈1.0)(Fig. 5). 세포당 곡률(curvature)은 시간차보다 α에서 훨씬 컸다(세포당 중앙값 8.20 대 2.24). 우리는 유전자별 강성비(stiffness ratio) κ_α/κ_lag를 보수적인 **nuisance 모수 해방(freed-nuisance)** 기준에서 보고한다. 곧 β, γ, α_c, rescale, scale_cc를 재최적화하는 경우인데, 여기서 분리는 중앙값 비 **2.49×**, 유전자의 **77.03%**에서 α가 시간차보다 더 stiff한 채로 유지된다(n=148). 더 엄격한 nuisance 고정(fixed-nuisance) 프로파일은 더 큰 3.53×(IQR [1.92, 7.41])를 주고 유전자의 94.57%에서 α가 더 stiff한데, 우리는 이를 상한(upper bound)으로 다루며, β와 γ를 해방하면 α 곡률이 고정 시 값의 중앙값 0.19×로 붕괴한다는 점을 함께 밝혀 둔다. 시간차 삼분류가 이 점을 뒷받침했다. 538개 유전자 중 302개(56%)는 내부(interior), 205개(38%)는 경계 고정(boundary-pinned), 31개(6%)는 퇴화(degenerate)였고, 44%에서는 데이터가 시간차의 상한조차 설정하지 못한다. 이는 시간차 방향의 *상대적(실질적)* 비식별성[51,52,53]이지, 완전히 평평한 골짜기가 아니다. velocity 전환 시각 자체의 약한 식별가능성[54]은 ConsensusVelo가 우도 평탄성과 Fisher 정보로 확립했다 [41]. 우리의 목적 함수 분석은 그것을 확증하며, 선점되지 않은 것은 α-stiff/lag-sloppy *분리*, 곡률비(curvature-ratio) 틀, 그리고 multiome chromatin-대-시간차 확장이다 [55,56,57]. fitting된 모수를 cross-method 재현성으로 순위 매기면 경험적 식별가능성 순서 **α ≫ α_c > β > γ**가 나온다(α +0.882; α_c +0.291 [+0.209, +0.369]; β +0.080 [−0.009, +0.168]; γ −0.109 [−0.192, −0.023]). 시사적으로, ATAC 채널이 전혀 없는 RNA 전용 floor도 chromatin 방법 수준의 강도로 α를 복원한다(floor 대 MultiVelo +0.818 [+0.773, +0.855]; floor 대 MultiVeloVAE +0.889 [+0.862, +0.910]). 차분 예산(diff-budget) 분석은 시간차가 왜 가장 나쁜지를 보인다. 시간차는 두 속도-시간척도(rate-timescale)의 차이이며, 1/α는 +0.882로, 1/α_c는 +0.291로 일치하지만 그 차이는 더 약한 성분보다도 낮게 떨어진다(+0.124 [+0.036, +0.210]). 차분이 잡음을 증폭하기 때문이다. @@ -151,13 +151,13 @@ Table 1과 의도적으로 분리한다. 이것은 velocity 출력의 *사용(us 드러나는 그림은 velocity 출력을 신뢰도로 깔끔하게 분류하는 것이며, 그 분류는 방법 간 재현성이 이끌고 인과 대조군과 외부 보강이 뒷받침한다. 전사 속도 α만이 신뢰할 수 있는 것으로 남는다. 방법 간에 ρ=0.88로 재현되고, chromatin 채널 없이도 복원되며, 실제 day0 ATAC에서 예측되고, 측정된 TT-seq 합성 속도로 보강된다(아래 abundance 유의점, 곧 abundance가 그 측정값을 최소한 그만큼 잘 예측한다는 점과 함께). chromatin에서 transcription으로 이어지는 시간차(lag)는 어느 축도 통과하지 못한다. cross-method(크기가 약하고 대부분의 쌍 |ρ|≤0.08, 가장 강한 쌍 +0.163, 부호는 우연), 인과(chromatin-shuffle에 불변), 예측(baseline에서 우연) 모두에서 그렇다. 분해 속도 γ는 두 축 모두에서 취약해, 방법 간에 재현되지 못하고 ground truth가 있는 곳에서도 측정된 반감기를 복원하지 못하며, 교과서적 scVelo γ는 실제로 거꾸로 간다. 시간차를 정하는 α_c가 그 자체로 취약하고(ρ=0.29), 시간차는 두 속도-시간척도의 *차이*이므로 차분이 그 일치도를 더 약한 성분보다도 아래로 끌어내린다. 이 순서가, 시간차가 방법에 가장 민감할 것으로 예상된 priming 최대의 gastrulation 시스템에서 사전등록 검정을 견뎌낸다는 것은 확증이 취할 수 있는 가장 강한 형태다. 이 연구의 새로움은 시간차에 대한 음성 결과 하나도, 식별가능성 기제 하나도 아니고 신뢰도 지도 그 자체, 곧 출력을 방법 간 재현성과 인과 대조군으로 분류하되 외부 측정은 유일한 기준이 아니라 보강으로 삼은 데 있다. -우리는 이것이 무엇을 주장하고 무엇을 주장하지 않는지에 신중하다. 이는 생물학이 아니라 *방법과 그 신뢰도*에 대한 진술이다. chromatin priming은 특정 locus에서는 실재하며(대표 마커들은 방법 간에 방향이 일치하는 상관적 사실이나, ATAC shuffle이 명명된 마커의 시간차를 나머지보다 더 흔들지 않았으므로 이를 인과로 승격하지 않는다, Mann–Whitney p=0.58), 더 깊은 sequencing, 더 세밀한 시간 해상도, 또는 metabolic labeling이 시간차(lag)를 식별 가능하게 만들 여지[56,57]도 아직 있다. 우리의 주장은 *현재의* 방법들이 뒷받침하는 것에 대한 경계다. 세 가지 추가 한계가 핵심적이다. 첫째, pseudotime은 실제 흐른 시간(wall-clock)이 아니다. day0과 day7 batch가 통합되어 있어서 시간차(lag)는 pseudotime 단위이고 실제 시간에 anchoring할 수 없다. 둘째, 프로파일 우도 결과는 *상대적(실질적)* 비식별성이지 완전히 평평한 골짜기가 아니다. 우리는 이를 보수적인 nuisance 해방 기준(2.49×, 유전자의 77%에서 α가 더 stiff)에서 보고하는데, nuisance 모수를 해방하면 α 곡률이 부분적으로 붕괴하고 더 엄격한 nuisance 고정의 3.53×는 상한일 뿐이기 때문이다. 셋째, 우리는 목적 함수 곡률이 외부 검증을 예측한다고 주장하지 *않는다*. 모수 내부의 유전자 간 검정은 검정력이 부족하다(최상위 삼분위 α ρ=+0.30은 0을 넘지만 상위-하위 대비 Δρ=+0.186은 넘지 못하며, 삼분위당 n=70이고 γ 축은 경사가 없다). 따라서 식별가능성은 외부 검증과 *시사적으로만* 정렬하며, 신뢰도 지도는 이 연결이 아니라 두 신뢰도 축에서 직접 구성한다. lag-취약 근거는 HSPC 밖에서는 대체로 단일 방법 쌍(MultiVelo 대 MultiVeloVAE)에 의존하며, MoFlow arm이 연결된 gastrulation만 예외다. 다섯 외부 재현은 모두 단일 시료이고, 외부 α anchor는 주로 하나의 TT-seq 출처에 기댄다. 독립적인 Schwalb 출처가 귀무였고 두 측정 출처가 ρ≈0.15로만 일치하기 때문이다. α 보강에 대한 추가 유의점은 abundance 교란이며, 이는 무게가 실린 대목이다. α와 측정된 TT-seq 합성 속도 둘 다 transcript abundance를 따라간다(s_ss = α/γ; 합성 = abundance × k_deg). head-to-head 검정에서 abundance가 측정된 합성 속도를 최소한 α만큼 잘 예측하므로(Spearman(abundance, 합성)=+0.410 대 Spearman(α, 합성)=+0.262), +0.24 ~ +0.29 상관을 α 고유의 것이라 주장할 수 없고 외부 일치는 α가 가장 정확한 합성율 추정량이라는 주장이 아니라 일관성 증거다. α가 abundance를 다르게 부른 것에 그치지 않도록 붙드는 것은, 두 독립 방법이 α에 동의하는 정도(cross-method ρ=+0.882)가 α가 abundance를 닮은 정도(Spearman(α, abundance)=+0.809)보다 크다는 점, 곧 발현 너머의 소량의 *재현되는* kinetic 신호가 남는다는 점이다. 다만 이 순위-방향 검정만으로는 α가 abundance가 아니라 합성 kinetics를 특정해 포착하는지를 확정하지 못한다. 끝으로, 이 연구의 모든 데이터는 10x Multiome이다. 또 다른 multiome assay(SHARE-seq skin, GSE140203)에 대해 저자 제공 정렬에서 velocity layer(spliced/unspliced)를 복원하려 했으나 사용 가능한 count를 얻지 못했다. 따라서 신뢰도 지도는 10x Multiome에 대해 확립된 것이며, 다른 multiome assay로의 일반화는 검정하지 않았다. 마지막으로 더 중요한 경계는 우리가 무엇을 감사했느냐다. 우리가 감사한 것은 **유전자별 kinetic 모수**와 그 한 층 위인 **세포×유전자 velocity 행렬**이다. **저차원 임베딩 화살표**와 거기서 읽는 궤적은 감사하지 않았으며[58], 그것이 velocity가 주로 쓰이는 대상이자 벡터 수준 벤치마크 [25,26]가 다루는 대상이다. 여기서 궤적 추론이 신뢰할 수 없다는 결론은 나오지 않는다. 다만 우리가 측정한 불일치가 위층에서 회복되는 것으로 보이지는 않는다는 점만 적어 둔다. 그 벤치마크들도 전이 벡터의 방법 간 일치가 낮다고 보고하므로(A1<0.3) [25], 이웃 평활만으로 정량적 일치가 되살아나지는 않는다. 거친 흐름선(streamline)은 눈으로 보기에 비슷해 보일 수 있더라도 그렇다. 다만 이 근거는 우리 상황에는 간접적이다. [25]는 RNA 전용 방법들을 평가했고 MultiVelo도 ATAC 분기 없이 돌렸다. 따라서 평활이 일반적으로 무엇을 되살릴 수 있는지를 제약할 뿐, multiome 행렬의 위층 운명을 확정하지는 않는다. 우리 결과가 뒷받침하는 것은 더 좁고 실용적이다. 유전자별 kinetic 판독값에 한해서는 정상상태 발현량이 신뢰 가능한 신호의 대부분을 담고, velocity fit은 그를 넘어서는 합성율 정보를 입증하지 못한다. 따라서 분석자는 유전자별 velocity kinetics를 꺼내기 전에 발현량만으로 답이 나오는지 먼저 확인하는 편이 낫다. 범위는 의도적으로 "multiome velocity 출력", 곧 chromatin 정보를 담은 시간차와 이 방법들의 속도 출력이며, 10x Multiome은 그것들을 평가한 기질(substrate)이다. +우리는 이것이 무엇을 주장하고 무엇을 주장하지 않는지에 신중하다. 이는 생물학이 아니라 *방법과 그 신뢰도*에 대한 진술이다. chromatin priming은 특정 locus에서는 실재하며(대표 마커들은 방법 간에 방향이 일치하는 상관적 사실이나, ATAC shuffle이 명명된 마커의 시간차를 나머지보다 더 흔들지 않았으므로 이를 인과로 승격하지 않는다, Mann–Whitney p=0.58), 더 깊은 sequencing, 더 세밀한 시간 해상도, 또는 metabolic labeling이 시간차(lag)를 식별 가능하게 만들 여지[58,59]도 아직 있다. 우리의 주장은 *현재의* 방법들이 뒷받침하는 것에 대한 경계다. 세 가지 추가 한계가 핵심적이다. 첫째, pseudotime은 실제 흐른 시간(wall-clock)이 아니다. day0과 day7 batch가 통합되어 있어서 시간차(lag)는 pseudotime 단위이고 실제 시간에 anchoring할 수 없다. 둘째, 프로파일 우도 결과는 *상대적(실질적)* 비식별성이지 완전히 평평한 골짜기가 아니다. 우리는 이를 보수적인 nuisance 해방 기준(2.49×, 유전자의 77%에서 α가 더 stiff)에서 보고하는데, nuisance 모수를 해방하면 α 곡률이 부분적으로 붕괴하고 더 엄격한 nuisance 고정의 3.53×는 상한일 뿐이기 때문이다. 셋째, 우리는 목적 함수 곡률이 외부 검증을 예측한다고 주장하지 *않는다*. 모수 내부의 유전자 간 검정은 검정력이 부족하다(최상위 삼분위 α ρ=+0.30은 0을 넘지만 상위-하위 대비 Δρ=+0.186은 넘지 못하며, 삼분위당 n=70이고 γ 축은 경사가 없다). 따라서 식별가능성은 외부 검증과 *시사적으로만* 정렬하며, 신뢰도 지도는 이 연결이 아니라 두 신뢰도 축에서 직접 구성한다. lag-취약 근거는 HSPC 밖에서는 대체로 단일 방법 쌍(MultiVelo 대 MultiVeloVAE)에 의존하며, MoFlow arm이 연결된 gastrulation만 예외다. 다섯 외부 재현은 모두 단일 시료이고, 외부 α anchor는 주로 하나의 TT-seq 출처에 기댄다. 독립적인 Schwalb 출처가 귀무였고 두 측정 출처가 ρ≈0.15로만 일치하기 때문이다. α 보강에 대한 추가 유의점은 abundance 교란이며, 이는 무게가 실린 대목이다. α와 측정된 TT-seq 합성 속도 둘 다 transcript abundance를 따라간다(s_ss = α/γ; 합성 = abundance × k_deg). head-to-head 검정에서 abundance가 측정된 합성 속도를 최소한 α만큼 잘 예측하므로(Spearman(abundance, 합성)=+0.410 대 Spearman(α, 합성)=+0.262), +0.24 ~ +0.29 상관을 α 고유의 것이라 주장할 수 없고 외부 일치는 α가 가장 정확한 합성율 추정량이라는 주장이 아니라 일관성 증거다. α가 abundance를 다르게 부른 것에 그치지 않도록 붙드는 것은, 두 독립 방법이 α에 동의하는 정도(cross-method ρ=+0.882)가 α가 abundance를 닮은 정도(Spearman(α, abundance)=+0.809)보다 크다는 점, 곧 발현 너머의 소량의 *재현되는* kinetic 신호가 남는다는 점이다. 다만 이 순위-방향 검정만으로는 α가 abundance가 아니라 합성 kinetics를 특정해 포착하는지를 확정하지 못한다. 끝으로, 이 연구의 모든 데이터는 10x Multiome이다. 또 다른 multiome assay(SHARE-seq skin, GSE140203)에 대해 저자 제공 정렬에서 velocity layer(spliced/unspliced)를 복원하려 했으나 사용 가능한 count를 얻지 못했다. 따라서 신뢰도 지도는 10x Multiome에 대해 확립된 것이며, 다른 multiome assay로의 일반화는 검정하지 않았다. 마지막으로 더 중요한 경계는 우리가 무엇을 감사했느냐다. 우리가 감사한 것은 **유전자별 kinetic 모수**와 그 한 층 위인 **세포×유전자 velocity 행렬**이다. **저차원 임베딩 화살표**와 거기서 읽는 궤적은 감사하지 않았으며[60], 그것이 velocity가 주로 쓰이는 대상이자 벡터 수준 벤치마크 [25,26,27]가 다루는 대상이다. 여기서 궤적 추론이 신뢰할 수 없다는 결론은 나오지 않는다. 다만 우리가 측정한 불일치가 위층에서 회복되는 것으로 보이지는 않는다는 점만 적어 둔다. 그 벤치마크들도 전이 벡터의 방법 간 일치가 낮다고 보고하므로(A1<0.3) [25], 이웃 평활만으로 정량적 일치가 되살아나지는 않는다. 거친 흐름선(streamline)은 눈으로 보기에 비슷해 보일 수 있더라도 그렇다. 다만 이 근거는 우리 상황에는 간접적이다. [25]는 RNA 전용 방법들을 평가했고 MultiVelo도 ATAC 분기 없이 돌렸다. 따라서 평활이 일반적으로 무엇을 되살릴 수 있는지를 제약할 뿐, multiome 행렬의 위층 운명을 확정하지는 않는다. 우리 결과가 뒷받침하는 것은 더 좁고 실용적이다. 유전자별 kinetic 판독값에 한해서는 정상상태 발현량이 신뢰 가능한 신호의 대부분을 담고, velocity fit은 그를 넘어서는 합성율 정보를 입증하지 못한다. 따라서 분석자는 유전자별 velocity kinetics를 꺼내기 전에 발현량만으로 답이 나오는지 먼저 확인하는 편이 낫다. 범위는 의도적으로 "multiome velocity 출력", 곧 chromatin 정보를 담은 시간차와 이 방법들의 속도 출력이며, 10x Multiome은 그것들을 평가한 기질(substrate)이다. **chromatin 신호는 데이터에 실재하며, 시간차(lag)가 그것을 잃는 지점이다.** 같은 multiome을 모델 없이 읽으면 이 점이 곧바로 드러난다. 데이터 수준의 chromatin-RNA 결합(coupling), 곧 세포들에 걸친 chromatin 층과 spliced RNA의 유전자별 순위 상관은 chromatin에 의존한다. 실측 중앙값 +0.126이 ATAC를 뒤섞으면 +0.021로 붕괴하며(Mann–Whitney p=5.6e-75), 이는 모델 시간차가 보이지 못한 바로 그 반응이다. 그 시간차는 같은 shuffle에 불변이었기 때문이다(유전자별 ρ=0.72). 따라서 chromatin 신호는 데이터에 실재하며, 실패하는 것은 그것을 버리는 velocity 모델의 시간차다. 이는 인과적 ATAC-shuffle 대조군과 짝을 이루는 기제다. 우리는 이 결합을 시간차의 대체가 아니라 보조 진단으로 다룬다. 그 cross-dataset 재현은 최근접 lineage(대식세포 결합 +0.281)까지만 미치고 인간 BMMC(+0.175)나 인간 태아 피질(+0.173)로는 이어지지 않으므로, 신호는 실재하되 lineage 특유이지 재현 가능한 kinetic 출력은 아니다. 이 결과들을 함께 읽으면 우리 음성 주장의 경계가 분명해진다. 그것은 RNA velocity라는 특정 과제에 한정된다. 곧 현재 multiome 방법이 chromatin으로 신뢰할 새 kinetic 출력(시간차)을 만들지 못한다는 것이다. 이는 chromatin이나 epigenomics가 정보적이지 않다는 주장이 아니다. 세포상태 식별, enhancer-유전자 연결, regulatory 추론에서 chromatin의 가치는 우리 범위 밖이며 우리는 그것을 부인하지 않는다. 우리 자신의 결합 분석이 chromatin 신호가 실재함을 보인다. -**선행 연구 대비 자리매김.** 유전자 수준 chromatin에서 transcription으로 이어지는 시간차(lag)는 MultiVelo가 생물학적 판독값으로 *도입*했고 [3] MultiVeloVAE와 MoFlow가 재정식화했다 [4,5]. 이들 중 어느 것도 시간차가 방법 간에 *같은 값*인지를 감사하지 않았으며, MoFlow의 한 번의 cross-method 비교는 유리한 부분집합에서의 일치를 보고했다 [5]. 2026년의 일반 벤치마크들은 velocity *방향*이 방법 의존적임을 확립하지만 [25,26] 개별 출력을 외부 측정에 견주어 채점하지 않으며, 채점 지점도 임베딩·전이 벡터 수준이다. [25]는 짝지어지지 않은 데이터에서 14개 방법을 채점하며, 짝지은 chromatin이 없어 MultiVelo를 ATAC 분기 없이 실행했다. [26]은 짝지은 multiome velocity를 마우스 배아 데이터셋 하나에서 multiome 방법 2종으로 평가했다. 어느 쪽도 서로 다른 방법의 세포×유전자 velocity 행렬을 맞대어 비교하지 않고, 어느 쪽도 인과적 chromatin 대조군을 적용하지 않는다. [26]은 행렬을 오직 한 방법의 무작위 seed 간 실행 안정성을 재는 데만 쓴다. 우리가 아는 한 행렬 수준의 방법 간 비교와 거기에 적용한 ATAC-shuffle 대조군은 선행 velocity 벤치마크에 없다. 재현성 천장은 [26]의 seed 안정성 측정에 가장 가깝지만, 여기서는 방법 품질의 점수가 아니라 방법 간 값을 읽는 기준자로 쓴다. 우리의 기여는 체계적 다중 arm 신뢰도 지도다. 순열 귀무, 인과 음성 대조군, 그리고 선행 velocity 벤치마크에 없던 조각인 측정된 합성·분해 속도에 대한 외부 보강을 갖추어, 어떤 파생 값(α)이 재현되고 외부로 보강되는지, 어떤 것(시간차, γ)이 그렇지 못한지를 보인다. 식별가능성 측면에서, velocity 전환 시각 평탄성을 처음 보인 공은 ConsensusVelo에 정면으로 돌린다 [39]. single-cell kinetic 속도에 대한 프로파일 우도 [53], single cell에서의 sloppy/stiff Fisher 기하 [54], 구조적 시간 이동 축퇴(time-shift degeneracy) [55]가 추가적인 방법 선례다. 우리의 목적 함수 분석은 경험적 지도에 대한 *확증적 기제*이지 이 논문의 새로움이 아니다(Fig. 8). +**선행 연구 대비 자리매김.** 유전자 수준 chromatin에서 transcription으로 이어지는 시간차(lag)는 MultiVelo가 생물학적 판독값으로 *도입*했고 [3] MultiVeloVAE와 MoFlow가 재정식화했다 [4,5]. 이들 중 어느 것도 시간차가 방법 간에 *같은 값*인지를 감사하지 않았으며, MoFlow의 한 번의 cross-method 비교는 유리한 부분집합에서의 일치를 보고했다 [5]. 2026년의 일반 벤치마크들은 velocity *방향*이 방법 의존적임을 확립하지만 [25,26,27] 개별 출력을 외부 측정에 견주어 채점하지 않으며, 채점 지점도 임베딩·전이 벡터 수준이다. [25]는 짝지어지지 않은 데이터에서 14개 방법을 채점하며, 짝지은 chromatin이 없어 MultiVelo를 ATAC 분기 없이 실행했다. [26]은 짝지은 multiome velocity를 마우스 배아 데이터셋 하나에서 multiome 방법 2종으로 평가했다. 가장 최근 것[27]은 이 저널에 실렸고 19개 도구·30개 방법을 34개 데이터셋에서 채점하나 역시 임베딩 수준(cross-boundary direction correctness, in-cluster coherence)이며, multimodal 방법은 통합 task 하나에서 순위 매긴다. 어느 것도 서로 다른 방법의 세포×유전자 velocity 행렬을 맞대어 비교하지 않고, 어느 것도 chromatin 채널을 파괴해 재적합하는 인과 대조를 하지 않는다. [26]은 행렬을 오직 한 방법의 무작위 seed 간 실행 안정성을 재는 데만 쓰고, 세 번째의 "negative control robustness" task는 정적 세포에서의 출력 타당성을 잴 뿐 chromatin 인과가 아니다. 우리가 아는 한 행렬 수준의 방법 간 비교와 거기에 적용한 ATAC-shuffle 대조군은 선행 velocity 벤치마크에 없다. 재현성 천장은 [26]의 seed 안정성 측정에 가장 가깝지만, 여기서는 방법 품질의 점수가 아니라 방법 간 값을 읽는 기준자로 쓴다. 우리의 기여는 체계적 다중 arm 신뢰도 지도다. 순열 귀무, 인과 음성 대조군, 그리고 선행 velocity 벤치마크에 없던 조각인 측정된 합성·분해 속도에 대한 외부 보강을 갖추어, 어떤 파생 값(α)이 재현되고 외부로 보강되는지, 어떤 것(시간차, γ)이 그렇지 못한지를 보인다. 식별가능성 측면에서, velocity 전환 시각 평탄성을 처음 보인 공은 ConsensusVelo에 정면으로 돌린다 [41]. single-cell kinetic 속도에 대한 프로파일 우도 [55], single cell에서의 sloppy/stiff Fisher 기하 [56], 구조적 시간 이동 축퇴(time-shift degeneracy) [57]가 추가적인 방법 선례다. 우리의 목적 함수 분석은 경험적 지도에 대한 *확증적 기제*이지 이 논문의 새로움이 아니다(Fig. 8). -**하류 timing 예측에 대한 함의.** 신뢰도 지도(Table 2)의 실질적 성과는 설계 원칙이다. epigenetic 약물 반응 timing을 예측하는 모델은 단일 방법 시간차나 단일 방법 γ를 소비해서는 *안 된다*. 대신 우리가 검증한 강건한 경로, 곧 day0 ATAC promoter/enhancer 접근성에서 α로 이어지는 경로를 거쳐야 하며, 여기서는 시간차를 예측하지 못하는 바로 그 baseline feature들이 held-out lineage에서 α는 예측한다(ρ=+0.31). 이것은 벤치마크에서 유도한 설계 원칙이지 wet-lab으로 검증된 timing 예측기가 아니다. ATAC에서 α로, 다시 timing으로 이어지는 경로를 perturbation ground truth에 대해 검증하는 것이 자연스러운 다음 단계[59]이며, 식별가능성이 외부 검증을 확증적으로 예측하는지를 검정하기 위해 외부 anchoring된 유전자 집합을 넓히는 것도 마찬가지다. +**하류 timing 예측에 대한 함의.** 신뢰도 지도(Table 2)의 실질적 성과는 설계 원칙이다. epigenetic 약물 반응 timing을 예측하는 모델은 단일 방법 시간차나 단일 방법 γ를 소비해서는 *안 된다*. 대신 우리가 검증한 강건한 경로, 곧 day0 ATAC promoter/enhancer 접근성에서 α로 이어지는 경로를 거쳐야 하며, 여기서는 시간차를 예측하지 못하는 바로 그 baseline feature들이 held-out lineage에서 α는 예측한다(ρ=+0.31). 이것은 벤치마크에서 유도한 설계 원칙이지 wet-lab으로 검증된 timing 예측기가 아니다. ATAC에서 α로, 다시 timing으로 이어지는 경로를 perturbation ground truth에 대해 검증하는 것이 자연스러운 다음 단계[61]이며, 식별가능성이 외부 검증을 확증적으로 예측하는지를 검정하기 위해 외부 anchoring된 유전자 집합을 넓히는 것도 마찬가지다. --- @@ -171,19 +171,19 @@ multiome velocity 방법들이 산출하는 여러 유전자별 값 가운데, ### 데이터셋 -일차 데이터셋은 인간 HSPC 10x Multiome(GEO GSE209878)으로, day0와 day7 통합, 21,878 세포다. cross-dataset 재현에는 다섯 개 외부 multiome 시스템을 썼다. 인간 태아 피질(GSE162170, Trevino 2021), 태아 E18 마우스 뇌(10x Genomics "Fresh Embryonic E18 Mouse Brain 5k" 데모, CellRanger-ARC 1.0.0; MultiVelo 튜토리얼 데이터, GEO accession 없음), 인간 골수 단핵세포(bone-marrow mononuclear cells, BMMC; GSE194122, donor09/site4, spliced/unspliced는 velocyto로 GEX BAM에서 복원[1]), 대식세포 분화(GSE284047 / figshare 30280333, Day14 HSPC 직접 분화), 그리고 마우스 gastrulation(GSE205117, E7.5/E8.0/E8.5/E8.75 rep1, 10x Multiome, 10,779 세포; GEX는 STARsolo Velocyto raw[60], ATAC는 gencode vM25로 gene body ±10 kb에 걸쳐 GEO fragment에서 집계). 모든 재현은 단일 공여자 또는 단일 시료다. pseudotime은 실제 흐른 시간(wall-clock)이 아님에 유의한다. 일차 데이터에서 day0과 day7이 batch 통합되어 있어 시간차(lag)는 pseudotime 단위로 표현되고 wall-clock anchor를 쓸 수 없다. +일차 데이터셋은 인간 HSPC 10x Multiome(GEO GSE209878)으로, day0와 day7 통합, 21,878 세포다. cross-dataset 재현에는 다섯 개 외부 multiome 시스템을 썼다. 인간 태아 피질(GSE162170, Trevino 2021), 태아 E18 마우스 뇌(10x Genomics "Fresh Embryonic E18 Mouse Brain 5k" 데모, CellRanger-ARC 1.0.0; MultiVelo 튜토리얼 데이터, GEO accession 없음), 인간 골수 단핵세포(bone-marrow mononuclear cells, BMMC; GSE194122, donor09/site4, spliced/unspliced는 velocyto로 GEX BAM에서 복원[1]), 대식세포 분화(GSE284047 / figshare 30280333, Day14 HSPC 직접 분화), 그리고 마우스 gastrulation(GSE205117, E7.5/E8.0/E8.5/E8.75 rep1, 10x Multiome, 10,779 세포; GEX는 STARsolo Velocyto raw[62], ATAC는 gencode vM25로 gene body ±10 kb에 걸쳐 GEO fragment에서 집계). 모든 재현은 단일 공여자 또는 단일 시료다. pseudotime은 실제 흐른 시간(wall-clock)이 아님에 유의한다. 일차 데이터에서 day0과 day7이 batch 통합되어 있어 시간차(lag)는 pseudotime 단위로 표현되고 wall-clock anchor를 쓸 수 없다. ### 공통 전처리와 방법 분기 -*방법* 차이를 *전처리(preprocessing)* 차이와 분리하기 위해, 모든 arm은 공통 전처리 분기를 공유했고 그 뒤 velocity 방법이 분기했다(공통 graph ablation 적용). cross-dataset arm은 위에 적은 대로 데이터셋별 spliced/unspliced 복원을 썼다. ATAC 집계는 데이터셋 출처에 따라 달랐고[61,62,63](HSPC는 `mv.aggregate_peaks_10x`; BMMC는 처리된 peak matrix의 gencode 근접 집계; gastrulation은 gene body ±10 kb에 걸친 GEO fragment), 이는 cross-dataset 순위 비교에 보수적 잡음을 더한다. +*방법* 차이를 *전처리(preprocessing)* 차이와 분리하기 위해, 모든 arm은 공통 전처리 분기를 공유했고 그 뒤 velocity 방법이 분기했다(공통 graph ablation 적용). cross-dataset arm은 위에 적은 대로 데이터셋별 spliced/unspliced 복원을 썼다. ATAC 집계는 데이터셋 출처에 따라 달랐고[63,64,65](HSPC는 `mv.aggregate_peaks_10x`; BMMC는 처리된 peak matrix의 gencode 근접 집계; gastrulation은 gene body ±10 kb에 걸친 GEO fragment), 이는 cross-dataset 순위 비교에 보수적 잡음을 더한다. ### Velocity 방법과 RNA 전용 floor -다섯 arm을 fitting했다. RNA 전용 floor(scVelo dynamical 모델[64], chromatin 채널 없음)와 네 개의 chromatin 정보 방법, 곧 MultiVelo [3](chromatin 전환 시각 ODE; lag = t_sw2 − t_sw1), MultiVeloVAE [4](VAE, 세포별 연속 decoupling/coupling), MoFlow [5](relay velocity; chromatin–spliced DTW 시간차), CRAK-Velo [6](준-기제적; DTW 유도 시간차)다. CRAK-Velo 시간차 부호 규약 버그(MoFlow의 `fastdtw`와 부호 반대)를 발견해 수정했다. CRAK-Velo의 시간차는 매끄러운 동역학에서의 형태 인공산물 때문에 민감도 arm으로만 보고한다. velocity arm 재고(모델 계열, chromatin 채널, 시간차 정의, 부호 규약)는 Supplementary Table S1로 제공한다. +다섯 arm을 fitting했다. RNA 전용 floor(scVelo dynamical 모델[66], chromatin 채널 없음)와 네 개의 chromatin 정보 방법, 곧 MultiVelo [3](chromatin 전환 시각 ODE; lag = t_sw2 − t_sw1), MultiVeloVAE [4](VAE, 세포별 연속 decoupling/coupling), MoFlow [5](relay velocity; chromatin–spliced DTW 시간차), CRAK-Velo [6](준-기제적; DTW 유도 시간차)다. CRAK-Velo 시간차 부호 규약 버그(MoFlow의 `fastdtw`와 부호 반대)를 발견해 수정했다. CRAK-Velo의 시간차는 매끄러운 동역학에서의 형태 인공산물 때문에 민감도 arm으로만 보고한다. velocity arm 재고(모델 계열, chromatin 채널, 시간차 정의, 부호 규약)는 Supplementary Table S1로 제공한다. ### 일치도 통계 -모든 cross-method·cross-dataset 일치도는 Spearman 순위 상관이었다. 출처 분석이 제공한 경우 상관에는 짝지은 유전자 부트스트랩 95% CI를 붙인다(B=10⁴ 재표집, seed 20260707, percentile 방법). 쌍별 헤드라인 상관은 출처가 제공하는 경우 그 p값과 n과 함께 보고한다. 시간차는 검정마다 단일 규약으로 보고했다. cross-dataset 재현성 표(Table 1)에서는 부호 포함 규약을, 기제(곡률) 분석과 헤드라인 재현성 지표에서는 크기 규약을 썼으며, HSPC MultiVelo 대 MultiVeloVAE 축에서 각각 −0.01과 +0.163을 준다(Table 1 각주 †에서 화해). MultiVelo의 구조적으로 양인 부호는 부호 검정에 결코 동원하지 않았다. cross-method 부호 일관성은 순열 FDR로 검정했다(유전자 라벨 shuffle 귀무[65], N=10⁴, FDR<0.10). 방향 시간차가 정확히 0인 유전자는 방향이 정해지지 않은 것으로 보고 모든 부호 일치 통계에서 제외했으며(MoFlow 636개 중 76개, CRAK-Velo 868개 중 135개), 제외 개수는 각 비교와 함께 보고한다. 0에 별도의 부호 범주를 부여하는 규약을 쓰면 같은 MoFlow 대 MultiVeloVAE 비교가 48%로 읽히므로, 제외 사실을 명시한다. 빈 일치 집합은, 깨끗한 부호 변동 쌍이 검정력에 제약되므로 CRAK 의존 민감도 결과로 보고한다. 0과의 동등성은 사전 선언한 |ρ|<0.2 경계에 대한 TOST로 평가했다. cross-dataset α의 조직 거리 순서는 CI가 겹치므로 정성적으로만 보고하며 점들에 추세를 fitting하지 않는다. +모든 cross-method·cross-dataset 일치도는 Spearman 순위 상관이었다. 출처 분석이 제공한 경우 상관에는 짝지은 유전자 부트스트랩 95% CI를 붙인다(B=10⁴ 재표집, seed 20260707, percentile 방법). 쌍별 헤드라인 상관은 출처가 제공하는 경우 그 p값과 n과 함께 보고한다. 시간차는 검정마다 단일 규약으로 보고했다. cross-dataset 재현성 표(Table 1)에서는 부호 포함 규약을, 기제(곡률) 분석과 헤드라인 재현성 지표에서는 크기 규약을 썼으며, HSPC MultiVelo 대 MultiVeloVAE 축에서 각각 −0.01과 +0.163을 준다(Table 1 각주 †에서 화해). MultiVelo의 구조적으로 양인 부호는 부호 검정에 결코 동원하지 않았다. cross-method 부호 일관성은 순열 FDR로 검정했다(유전자 라벨 shuffle 귀무[67], N=10⁴, FDR<0.10). 방향 시간차가 정확히 0인 유전자는 방향이 정해지지 않은 것으로 보고 모든 부호 일치 통계에서 제외했으며(MoFlow 636개 중 76개, CRAK-Velo 868개 중 135개), 제외 개수는 각 비교와 함께 보고한다. 0에 별도의 부호 범주를 부여하는 규약을 쓰면 같은 MoFlow 대 MultiVeloVAE 비교가 48%로 읽히므로, 제외 사실을 명시한다. 빈 일치 집합은, 깨끗한 부호 변동 쌍이 검정력에 제약되므로 CRAK 의존 민감도 결과로 보고한다. 0과의 동등성은 사전 선언한 |ρ|<0.2 경계에 대한 TOST로 평가했다. cross-dataset α의 조직 거리 순서는 CI가 겹치므로 정성적으로만 보고하며 점들에 추세를 fitting하지 않는다. ### 세포 수준 velocity 행렬 감사 @@ -191,7 +191,7 @@ multiome velocity 방법들이 산출하는 여러 유전자별 값 가운데, ### Enrichment 분석 -방향이 만장일치인 유전자 집합의 pathway enrichment는 Enrichr[66,67,68]로 Reactome 라이브러리[42]에 대해 계산했고, **사용자 지정 배경(custom background)**을 넣을 수 있도록 speedrichr endpoint를 썼다. 여기서 배경이 결정적이며, 그것이 이 분석을 보고하는 이유이기도 하다. 기본값인 유전체 전체 배경으로는 만장일치 chromatin-leading 집합에서 GO 항목이 여럿 나왔지만, 우리의 유전자 모집단은 유전체가 아니다. 이미 velocity 모델이 fitting할 수 있었던 유전자(고발현·동적)로 제한돼 있다. 배경을 **부호 가변 방향 판정이 두 개 이상 있는 640개 유전자**로 바꿔 재검정하자 GO 항목은 전부 사라지고 Reactome 항목 하나(neutrophil degranulation, n=15)만 남았다. 보고하는 p값은 Enrichr가 반환하는 Benjamini-Hochberg[65] 보정값이다. 만장일치 RNA-first 집합(164개 유전자)은 어느 배경에서도 유의한 항목이 없었다. +방향이 만장일치인 유전자 집합의 pathway enrichment는 Enrichr[68,69,70]로 Reactome 라이브러리[44]에 대해 계산했고, **사용자 지정 배경(custom background)**을 넣을 수 있도록 speedrichr endpoint를 썼다. 여기서 배경이 결정적이며, 그것이 이 분석을 보고하는 이유이기도 하다. 기본값인 유전체 전체 배경으로는 만장일치 chromatin-leading 집합에서 GO 항목이 여럿 나왔지만, 우리의 유전자 모집단은 유전체가 아니다. 이미 velocity 모델이 fitting할 수 있었던 유전자(고발현·동적)로 제한돼 있다. 배경을 **부호 가변 방향 판정이 두 개 이상 있는 640개 유전자**로 바꿔 재검정하자 GO 항목은 전부 사라지고 Reactome 항목 하나(neutrophil degranulation, n=15)만 남았다. 보고하는 p값은 Enrichr가 반환하는 Benjamini-Hochberg[67] 보정값이다. 만장일치 RNA-first 집합(164개 유전자)은 어느 배경에서도 유의한 항목이 없었다. ### 인과 음성 대조군과 마커-shuffle 검정 @@ -211,7 +211,7 @@ MultiVelo의 목적(우도)을 α 축과 시간차 축(lag = t_sw2 − t_sw1)을 ### 교란 통제 -cell-cycle, 전사 버스트(transcriptional burst), ambient/doublet 교란(confound)을 통제했다. cell-cycle은 유전자 수준에서 편향이 없었다(cell-cycle 유전자는 fit-lag 유전자의 1.9%; CC 대 나머지 Mann–Whitney p=0.86; 제외 시 중앙값 변화 0.037). 세포 수준 상관은 세포주기가 lineage에 결합되어 있어서 생기며(MK 88% 대 HSC 3%), 이는 within-lineage 분석이 이미 통제하므로, (분화 신호를 제거하지 않기 위해) 전역 regress-out은 하지 않았다. 버스트: 시간차 대 α Spearman −0.24(중간 정도, regularized 회귀에 반영). Ambient/doublet: scrublet 적용[69], doublet 중앙값 0.045, pct_mito 중앙값 10.4%(QC 최대 20%). 분석은 within-lineage였고, 희귀 lineage(MK/Baso·Eo·Mast/pDC)는 별도 불확실성으로 다뤘다. promoter/enhancer ATAC feature의 다중공선성(multicollinearity)은 regularized 회귀로 처리했고, 유전자에 걸친 다중 검정에는 순열 FDR을 썼다. +cell-cycle, 전사 버스트(transcriptional burst), ambient/doublet 교란(confound)을 통제했다. cell-cycle은 유전자 수준에서 편향이 없었다(cell-cycle 유전자는 fit-lag 유전자의 1.9%; CC 대 나머지 Mann–Whitney p=0.86; 제외 시 중앙값 변화 0.037). 세포 수준 상관은 세포주기가 lineage에 결합되어 있어서 생기며(MK 88% 대 HSC 3%), 이는 within-lineage 분석이 이미 통제하므로, (분화 신호를 제거하지 않기 위해) 전역 regress-out은 하지 않았다. 버스트: 시간차 대 α Spearman −0.24(중간 정도, regularized 회귀에 반영). Ambient/doublet: scrublet 적용[71], doublet 중앙값 0.045, pct_mito 중앙값 10.4%(QC 최대 20%). 분석은 within-lineage였고, 희귀 lineage(MK/Baso·Eo·Mast/pDC)는 별도 불확실성으로 다뤘다. promoter/enhancer ATAC feature의 다중공선성(multicollinearity)은 regularized 회귀로 처리했고, 유전자에 걸친 다중 검정에는 순열 FDR을 썼다. ### 데이터셋 및 코드 가용성 @@ -341,88 +341,92 @@ cell-cycle, 전사 버스트(transcriptional burst), ambient/doublet 교란(conf [26] Huang K, Zhou Y, Wang T, Li X, Zhao X, Liu X, Huang L, Zhou X, Liu J. Benchmarking algorithms for RNA velocity inference. bioRxiv 2026.01.03.697314 (2026). doi:10.64898/2026.01.03.697314. [Preprint, not peer-reviewed.] -[27] Barile M, Imaz-Rosshandler I, Inzani I, et al. Coordinated changes in gene expression kinetics underlie both mouse and human erythroid maturation. *Genome Biology* 22(1), 197 (2021). doi:10.1186/s13059-021-02414-y. +[27] Wu Y, Kong C, Liao X, Lin Z, Sun X, Liu J. Comprehensive benchmarking of RNA velocity methods across single-cell datasets. *Genome Biology* 27(1), 242 (2026). doi:10.1186/s13059-026-04182-z. -[28] Schwalb B, Michel M, Zacher B, et al. TT-seq maps the human transient transcriptome. *Science* 352(6290), 1225–1228 (2016). doi:10.1126/science.aad9841. +[28] Ancheta S, Dorman L, Le Treut G, et al. Challenges and progress in RNA velocity: comparative analysis across multiple biological contexts. *PLoS Computational Biology* 22(6), e1014303 (2026). doi:10.1371/journal.pcbi.1014303. -[29] Herzog VA, Reichholf B, Neumann T, et al. Thiol-linked alkylation of RNA to assess expression dynamics. *Nature Methods* 14(12), 1198–1204 (2017). doi:10.1038/nmeth.4435. +[29] Barile M, Imaz-Rosshandler I, Inzani I, et al. Coordinated changes in gene expression kinetics underlie both mouse and human erythroid maturation. *Genome Biology* 22(1), 197 (2021). doi:10.1186/s13059-021-02414-y. -[30] Begley CG, Ellis LM. Raise standards for preclinical cancer research. *Nature* 483, 531–533 (2012). doi:10.1038/483531a. +[30] Schwalb B, Michel M, Zacher B, et al. TT-seq maps the human transient transcriptome. *Science* 352(6290), 1225–1228 (2016). doi:10.1126/science.aad9841. -[31] Prinz F, Schlange T, Asadullah K. Believe it or not: how much can we rely on published data on potential drug targets? *Nature Reviews Drug Discovery* 10, 712 (2011). doi:10.1038/nrd3439-c1. +[31] Herzog VA, Reichholf B, Neumann T, et al. Thiol-linked alkylation of RNA to assess expression dynamics. *Nature Methods* 14(12), 1198–1204 (2017). doi:10.1038/nmeth.4435. -[32] Open Science Collaboration. Estimating the reproducibility of psychological science. *Science* 349, aac4716 (2015). doi:10.1126/science.aac4716. +[32] Begley CG, Ellis LM. Raise standards for preclinical cancer research. *Nature* 483, 531–533 (2012). doi:10.1038/483531a. -[33] Baker M. 1,500 scientists lift the lid on reproducibility. *Nature* 533, 452–454 (2016). doi:10.1038/533452a. +[33] Prinz F, Schlange T, Asadullah K. Believe it or not: how much can we rely on published data on potential drug targets? *Nature Reviews Drug Discovery* 10, 712 (2011). doi:10.1038/nrd3439-c1. -[34] Errington TM, Mathur M, Denis M, et al. Investigating the replicability of preclinical cancer biology. *eLife* 10, e71601 (2021). doi:10.7554/eLife.71601. +[34] Open Science Collaboration. Estimating the reproducibility of psychological science. *Science* 349, aac4716 (2015). doi:10.1126/science.aac4716. -[35] Ioannidis JPA. Why most published research findings are false. *PLoS Medicine* 2(8), e124 (2005). doi:10.1371/journal.pmed.0020124. +[35] Baker M. 1,500 scientists lift the lid on reproducibility. *Nature* 533, 452–454 (2016). doi:10.1038/533452a. -[36] Ioannidis JPA, Allison DB, Ball CA, et al. Repeatability of published microarray gene expression analyses. *Nature Genetics* 41, 149–155 (2009). doi:10.1038/ng.295. +[36] Errington TM, Mathur M, Denis M, et al. Investigating the replicability of preclinical cancer biology. *eLife* 10, e71601 (2021). doi:10.7554/eLife.71601. -[37] Weber LM, Saelens W, Cannoodt R, et al. Essential guidelines for computational method benchmarking. *Genome Biology* 20(1), 125 (2019). doi:10.1186/s13059-019-1738-8. +[37] Ioannidis JPA. Why most published research findings are false. *PLoS Medicine* 2(8), e124 (2005). doi:10.1371/journal.pmed.0020124. -[38] Luecken MD, Büttner M, Chaichoompu K, et al. Benchmarking atlas-level data integration in single-cell genomics. *Nature Methods* 19(1), 41–50 (2021). doi:10.1038/s41592-021-01336-8. +[38] Ioannidis JPA, Allison DB, Ball CA, et al. Repeatability of published microarray gene expression analyses. *Nature Genetics* 41, 149–155 (2009). doi:10.1038/ng.295. -[39] Zhang et al. Quantifying uncertainty in RNA velocity (ConsensusVelo). bioRxiv 2024.05.14.594102 (2024); *Biometrics* 82(1) ujag018 (in press). doi:10.1101/2024.05.14.594102. [Closest prior art to the profile-likelihood section; cited head-on. Full author list/final venue to confirm.] +[39] Weber LM, Saelens W, Cannoodt R, et al. Essential guidelines for computational method benchmarking. *Genome Biology* 20(1), 125 (2019). doi:10.1186/s13059-019-1738-8. -[40] Gutenkunst RN, Waterfall JJ, Casey FP, Brown KS, Myers CR, Sethna JP. Universally Sloppy Parameter Sensitivities in Systems Biology Models. *PLoS Computational Biology* 3(10), e189 (2007). doi:10.1371/journal.pcbi.0030189. +[40] Luecken MD, Büttner M, Chaichoompu K, et al. Benchmarking atlas-level data integration in single-cell genomics. *Nature Methods* 19(1), 41–50 (2021). doi:10.1038/s41592-021-01336-8. -[41] Transtrum MK, Machta BB, Sethna JP. Geometry of nonlinear least squares with applications to sloppy models and optimization. *Physical Review E* 83(3), 036701 (2011). doi:10.1103/physreve.83.036701. +[41] Zhang et al. Quantifying uncertainty in RNA velocity (ConsensusVelo). bioRxiv 2024.05.14.594102 (2024); *Biometrics* 82(1) ujag018 (in press). doi:10.1101/2024.05.14.594102. [Closest prior art to the profile-likelihood section; cited head-on. Full author list/final venue to confirm.] -[42] Cowland JB, Borregaard N. Granulopoiesis and granules of human neutrophils. *Immunological Reviews* 273(1), 11–28 (2016). doi:10.1111/imr.12440. +[42] Gutenkunst RN, Waterfall JJ, Casey FP, Brown KS, Myers CR, Sethna JP. Universally Sloppy Parameter Sensitivities in Systems Biology Models. *PLoS Computational Biology* 3(10), e189 (2007). doi:10.1371/journal.pcbi.0030189. -[43] Borregaard N, Sørensen OE, Theilgaard-Mönch K. Neutrophil granules: a library of innate immunity proteins. *Trends in Immunology* 28(8), 340–345 (2007). doi:10.1016/j.it.2007.06.002. +[43] Transtrum MK, Machta BB, Sethna JP. Geometry of nonlinear least squares with applications to sloppy models and optimization. *Physical Review E* 83(3), 036701 (2011). doi:10.1103/physreve.83.036701. -[44] Gillespie M, Jassal B, Stephan R, et al. The reactome pathway knowledgebase 2022. *Nucleic Acids Research* 50(D1), D687-D692 (2021). doi:10.1093/nar/gkab1028. +[44] Cowland JB, Borregaard N. Granulopoiesis and granules of human neutrophils. *Immunological Reviews* 273(1), 11–28 (2016). doi:10.1111/imr.12440. -[45] Schep AN, Wu B, Buenrostro JD, Greenleaf WJ. chromVAR: inferring transcription-factor-associated accessibility from single-cell epigenomic data. *Nature Methods* 14(10), 975–978 (2017). doi:10.1038/nmeth.4401. +[45] Borregaard N, Sørensen OE, Theilgaard-Mönch K. Neutrophil granules: a library of innate immunity proteins. *Trends in Immunology* 28(8), 340–345 (2007). doi:10.1016/j.it.2007.06.002. -[46] Schuirmann DJ. A comparison of the Two One-Sided Tests Procedure and the Power Approach for assessing the equivalence of average bioavailability. *Journal of Pharmacokinetics and Biopharmaceutics* 15(6), 657–680 (1987). doi:10.1007/bf01068419. +[46] Gillespie M, Jassal B, Stephan R, et al. The reactome pathway knowledgebase 2022. *Nucleic Acids Research* 50(D1), D687-D692 (2021). doi:10.1093/nar/gkab1028. -[47] Nosek BA, Ebersole CR, DeHaven AC, Mellor DT. The preregistration revolution. *Proceedings of the National Academy of Sciences* 115(11), 2600–2606 (2018). doi:10.1073/pnas.1708274114. +[47] Schep AN, Wu B, Buenrostro JD, Greenleaf WJ. chromVAR: inferring transcription-factor-associated accessibility from single-cell epigenomic data. *Nature Methods* 14(10), 975–978 (2017). doi:10.1038/nmeth.4401. -[48] Todorovski I, Tsang MJ, Feran B, et al. RNA kinetics influence the response to transcriptional perturbation in leukaemia cell lines. *NAR Cancer* 6(4), zcae039 (2024). doi:10.1093/narcan/zcae039. +[48] Schuirmann DJ. A comparison of the Two One-Sided Tests Procedure and the Power Approach for assessing the equivalence of average bioavailability. *Journal of Pharmacokinetics and Biopharmaceutics* 15(6), 657–680 (1987). doi:10.1007/bf01068419. -[49] Raue A, Kreutz C, Maiwald T, et al. Structural and practical identifiability analysis of partially observed dynamical models by exploiting the profile likelihood. *Bioinformatics* 25(15), 1923–1929 (2009). doi:10.1093/bioinformatics/btp358. +[49] Nosek BA, Ebersole CR, DeHaven AC, Mellor DT. The preregistration revolution. *Proceedings of the National Academy of Sciences* 115(11), 2600–2606 (2018). doi:10.1073/pnas.1708274114. -[50] Kreutz C, Raue A, Kaschek D, Timmer J. Profile likelihood in systems biology. *The FEBS Journal* 280(11), 2564–2571 (2013). doi:10.1111/febs.12276. +[50] Todorovski I, Tsang MJ, Feran B, et al. RNA kinetics influence the response to transcriptional perturbation in leukaemia cell lines. *NAR Cancer* 6(4), zcae039 (2024). doi:10.1093/narcan/zcae039. -[51] Villaverde AF, Barreiro A, Papachristodoulou A. Structural Identifiability of Dynamic Systems Biology Models. *PLOS Computational Biology* 12(10), e1005153 (2016). doi:10.1371/journal.pcbi.1005153. +[51] Raue A, Kreutz C, Maiwald T, et al. Structural and practical identifiability analysis of partially observed dynamical models by exploiting the profile likelihood. *Bioinformatics* 25(15), 1923–1929 (2009). doi:10.1093/bioinformatics/btp358. -[52] Lederer AR, Leonardi M, Talamanca L, et al. Statistical inference with a manifold-constrained RNA velocity model uncovers cell cycle speed modulations. *Nature Methods* 21(12), 2271–2286 (2024). doi:10.1038/s41592-024-02471-8. +[52] Kreutz C, Raue A, Kaschek D, Timmer J. Profile likelihood in systems biology. *The FEBS Journal* 280(11), 2564–2571 (2013). doi:10.1111/febs.12276. -[53] Gu et al. Profile-likelihood identifiability analysis of single-cell transcription (telegraph) kinetics. *Bioinformatics* 41(11), btaf581 (2025). doi:10.1093/bioinformatics/btaf581. [Distinct from [8].] +[53] Villaverde AF, Barreiro A, Papachristodoulou A. Structural Identifiability of Dynamic Systems Biology Models. *PLOS Computational Biology* 12(10), e1005153 (2016). doi:10.1371/journal.pcbi.1005153. -[54] Wang. Sloppiness and Action Constraint in Cell State Transitions: Are Single Cells Sloppy? bioRxiv 2025.12.31.697145 (v2, 2025). [Methodological analog on cell-state Gaussian coordinates.] +[54] Lederer AR, Leonardi M, Talamanca L, et al. Statistical inference with a manifold-constrained RNA velocity model uncovers cell cycle speed modulations. *Nature Methods* 21(12), 2271–2286 (2024). doi:10.1038/s41592-024-02471-8. -[55] BayVel: A Bayesian Framework for RNA Velocity Estimation in Single-Cell Transcriptomics. arXiv:2505.03083 (2025). [Preprint; author list to confirm.] +[55] Gu et al. Profile-likelihood identifiability analysis of single-cell transcription (telegraph) kinetics. *Bioinformatics* 41(11), btaf581 (2025). doi:10.1093/bioinformatics/btaf581. [Distinct from [8].] -[56] Battich N, Beumer J, de Barbanson B, et al. Sequencing metabolically labeled transcripts in single cells reveals mRNA turnover strategies. *Science* 367(6482), 1151–1156 (2020). doi:10.1126/science.aax3072. +[56] Wang. Sloppiness and Action Constraint in Cell State Transitions: Are Single Cells Sloppy? bioRxiv 2025.12.31.697145 (v2, 2025). [Methodological analog on cell-state Gaussian coordinates.] -[57] Cao J, Zhou W, Steemers F, Trapnell C, Shendure J. Sci-fate characterizes the dynamics of gene expression in single cells. *Nature Biotechnology* 38(8), 980–988 (2020). doi:10.1038/s41587-020-0480-9. +[57] BayVel: A Bayesian Framework for RNA Velocity Estimation in Single-Cell Transcriptomics. arXiv:2505.03083 (2025). [Preprint; author list to confirm.] -[58] Lange M, Bergen V, Klein M, et al. CellRank for directed single-cell fate mapping. *Nature Methods* 19(2), 159–170 (2022). doi:10.1038/s41592-021-01346-6. +[58] Battich N, Beumer J, de Barbanson B, et al. Sequencing metabolically labeled transcripts in single cells reveals mRNA turnover strategies. *Science* 367(6482), 1151–1156 (2020). doi:10.1126/science.aax3072. -[59] Weinreb C, Rodriguez-Fraticelli A, Camargo FD, Klein AM. Lineage tracing on transcriptional landscapes links state to fate during differentiation. *Science* 367(6479), eaaw3381 (2020). doi:10.1126/science.aaw3381. +[59] Cao J, Zhou W, Steemers F, Trapnell C, Shendure J. Sci-fate characterizes the dynamics of gene expression in single cells. *Nature Biotechnology* 38(8), 980–988 (2020). doi:10.1038/s41587-020-0480-9. -[60] Kaminow B, Yunusov D, Dobin A. STARsolo: accurate, fast and versatile mapping/quantification of single-cell and single-nucleus RNA-seq data. (2021). doi:10.1101/2021.05.05.442755. [Preprint, not peer-reviewed.] +[60] Lange M, Bergen V, Klein M, et al. CellRank for directed single-cell fate mapping. *Nature Methods* 19(2), 159–170 (2022). doi:10.1038/s41592-021-01346-6. -[61] Granja JM, Corces MR, Pierce SE, et al. ArchR is a scalable software package for integrative single-cell chromatin accessibility analysis. *Nature Genetics* 53(3), 403–411 (2021). doi:10.1038/s41588-021-00790-6. +[61] Weinreb C, Rodriguez-Fraticelli A, Camargo FD, Klein AM. Lineage tracing on transcriptional landscapes links state to fate during differentiation. *Science* 367(6479), eaaw3381 (2020). doi:10.1126/science.aaw3381. -[62] Stuart T, Srivastava A, Madad S, Lareau CA, Satija R. Single-cell chromatin state analysis with Signac. *Nature Methods* 18(11), 1333–1341 (2021). doi:10.1038/s41592-021-01282-5. +[62] Kaminow B, Yunusov D, Dobin A. STARsolo: accurate, fast and versatile mapping/quantification of single-cell and single-nucleus RNA-seq data. (2021). doi:10.1101/2021.05.05.442755. [Preprint, not peer-reviewed.] -[63] Hao Y, Hao S, Andersen-Nissen E, et al. Integrated analysis of multimodal single-cell data. *Cell* 184(13), 3573-3587.e29 (2021). doi:10.1016/j.cell.2021.04.048. +[63] Granja JM, Corces MR, Pierce SE, et al. ArchR is a scalable software package for integrative single-cell chromatin accessibility analysis. *Nature Genetics* 53(3), 403–411 (2021). doi:10.1038/s41588-021-00790-6. -[64] Bergen V, Lange M, Peidli S, Wolf FA, Theis FJ. Generalizing RNA velocity to transient cell states through dynamical modeling. *Nature Biotechnology* 38(12), 1408–1414 (2020). doi:10.1038/s41587-020-0591-3. +[64] Stuart T, Srivastava A, Madad S, Lareau CA, Satija R. Single-cell chromatin state analysis with Signac. *Nature Methods* 18(11), 1333–1341 (2021). doi:10.1038/s41592-021-01282-5. -[65] Benjamini Y, Hochberg Y. Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing. *Journal of the Royal Statistical Society Series B: Statistical Methodology* 57(1), 289–300 (1995). doi:10.1111/j.2517-6161.1995.tb02031.x. +[65] Hao Y, Hao S, Andersen-Nissen E, et al. Integrated analysis of multimodal single-cell data. *Cell* 184(13), 3573-3587.e29 (2021). doi:10.1016/j.cell.2021.04.048. -[66] Chen EY, Tan CM, Kou Y, et al. Enrichr: interactive and collaborative HTML5 gene list enrichment analysis tool. *BMC Bioinformatics* 14(1), 128 (2013). doi:10.1186/1471-2105-14-128. +[66] Bergen V, Lange M, Peidli S, Wolf FA, Theis FJ. Generalizing RNA velocity to transient cell states through dynamical modeling. *Nature Biotechnology* 38(12), 1408–1414 (2020). doi:10.1038/s41587-020-0591-3. -[67] Kuleshov MV, Jones MR, Rouillard AD, et al. Enrichr: a comprehensive gene set enrichment analysis web server 2016 update. *Nucleic Acids Research* 44(W1), W90–W97 (2016). doi:10.1093/nar/gkw377. +[67] Benjamini Y, Hochberg Y. Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing. *Journal of the Royal Statistical Society Series B: Statistical Methodology* 57(1), 289–300 (1995). doi:10.1111/j.2517-6161.1995.tb02031.x. -[68] Xie Z, Bailey A, Kuleshov MV, et al. Gene Set Knowledge Discovery with Enrichr. *Current Protocols* 1(3), e90 (2021). doi:10.1002/cpz1.90. +[68] Chen EY, Tan CM, Kou Y, et al. Enrichr: interactive and collaborative HTML5 gene list enrichment analysis tool. *BMC Bioinformatics* 14(1), 128 (2013). doi:10.1186/1471-2105-14-128. -[69] Wolock SL, Lopez R, Klein AM. Scrublet: Computational Identification of Cell Doublets in Single-Cell Transcriptomic Data. *Cell Systems* 8(4), 281-291.e9 (2019). doi:10.1016/j.cels.2018.11.005. +[69] Kuleshov MV, Jones MR, Rouillard AD, et al. Enrichr: a comprehensive gene set enrichment analysis web server 2016 update. *Nucleic Acids Research* 44(W1), W90–W97 (2016). doi:10.1093/nar/gkw377. + +[70] Xie Z, Bailey A, Kuleshov MV, et al. Gene Set Knowledge Discovery with Enrichr. *Current Protocols* 1(3), e90 (2021). doi:10.1002/cpz1.90. + +[71] Wolock SL, Lopez R, Klein AM. Scrublet: Computational Identification of Cell Doublets in Single-Cell Transcriptomic Data. *Cell Systems* 8(4), 281-291.e9 (2019). doi:10.1016/j.cels.2018.11.005. diff --git a/pipeline/hspc-velocity-benchmark/manuscript/refs_number_map.json b/pipeline/hspc-velocity-benchmark/manuscript/refs_number_map.json index ddb05b5..9ffbfed 100644 --- a/pipeline/hspc-velocity-benchmark/manuscript/refs_number_map.json +++ b/pipeline/hspc-velocity-benchmark/manuscript/refs_number_map.json @@ -26,49 +26,51 @@ "R24": 24, "R25": 25, "R26": 26, - "R27": 27, - "R28": 28, - "R29": 29, - "R30": 30, - "R31": 31, - "R32": 32, - "R33": 33, - "R34": 34, - "R35": 35, - "R36": 36, - "R37": 37, - "R38": 38, - "R39": 39, - "R40": 40, - "R41": 41, - "R42": 42, - "R43": 43, - "R44": 44, - "R45": 45, - "R46": 46, - "R47": 47, - "R48": 48, - "R49": 49, - "R50": 50, - "R51": 51, - "R52": 52, - "R53": 53, - "R54": 54, - "R55": 55, - "R56": 56, - "R57": 57, - "R58": 58, - "R59": 59, - "R60": 60, - "R61": 61, - "R62": 62, - "R63": 63, - "R64": 64, - "R65": 65, - "R66": 66, - "R67": 67, - "R68": 68, - "R69": 69 + "W1": 27, + "P1": 28, + "R27": 29, + "R28": 30, + "R29": 31, + "R30": 32, + "R31": 33, + "R32": 34, + "R33": 35, + "R34": 36, + "R35": 37, + "R36": 38, + "R37": 39, + "R38": 40, + "R39": 41, + "R40": 42, + "R41": 43, + "R42": 44, + "R43": 45, + "R44": 46, + "R45": 47, + "R46": 48, + "R47": 49, + "R48": 50, + "R49": 51, + "R50": 52, + "R51": 53, + "R52": 54, + "R53": 55, + "R54": 56, + "R55": 57, + "R56": 58, + "R57": 59, + "R58": 60, + "R59": 61, + "R60": 62, + "R61": 63, + "R62": 64, + "R63": 65, + "R64": 66, + "R65": 67, + "R66": 68, + "R67": 69, + "R68": 70, + "R69": 71 }, "KO": { "R1": 1, @@ -97,48 +99,50 @@ "R24": 24, "R25": 25, "R26": 26, - "R27": 27, - "R28": 28, - "R29": 29, - "R30": 30, - "R31": 31, - "R32": 32, - "R33": 33, - "R34": 34, - "R35": 35, - "R36": 36, - "R37": 37, - "R38": 38, - "R39": 39, - "R40": 40, - "R41": 41, - "R42": 42, - "R43": 43, - "R44": 44, - "R45": 45, - "R46": 46, - "R47": 47, - "R48": 48, - "R49": 49, - "R50": 50, - "R51": 51, - "R52": 52, - "R53": 53, - "R54": 54, - "R55": 55, - "R56": 56, - "R57": 57, - "R58": 58, - "R59": 59, - "R60": 60, - "R61": 61, - "R62": 62, - "R63": 63, - "R64": 64, - "R65": 65, - "R66": 66, - "R67": 67, - "R68": 68, - "R69": 69 + "W1": 27, + "P1": 28, + "R27": 29, + "R28": 30, + "R29": 31, + "R30": 32, + "R31": 33, + "R32": 34, + "R33": 35, + "R34": 36, + "R35": 37, + "R36": 38, + "R37": 39, + "R38": 40, + "R39": 41, + "R40": 42, + "R41": 43, + "R42": 44, + "R43": 45, + "R44": 46, + "R45": 47, + "R46": 48, + "R47": 49, + "R48": 50, + "R49": 51, + "R50": 52, + "R51": 53, + "R52": 54, + "R53": 55, + "R54": 56, + "R55": 57, + "R56": 58, + "R57": 59, + "R58": 60, + "R59": 61, + "R60": 62, + "R61": 63, + "R62": 64, + "R63": 65, + "R64": 66, + "R65": 67, + "R66": 68, + "R67": 69, + "R68": 70, + "R69": 71 } } \ No newline at end of file diff --git a/pipeline/hspc-velocity-benchmark/scripts/p16_add_wu_plos.py b/pipeline/hspc-velocity-benchmark/scripts/p16_add_wu_plos.py new file mode 100644 index 0000000..98e8274 --- /dev/null +++ b/pipeline/hspc-velocity-benchmark/scripts/p16_add_wu_plos.py @@ -0,0 +1,71 @@ +#!/usr/bin/env python +""" +Wu 2026(GB) + Ancheta 2026(PLOS Comput Biol) 두 참고문헌을 본문에 이미 박아 둔 +{{W1}}·{{P1}} 토큰 위치에 넣고, 전체를 첫-등장-순으로 재번호한다 (스쿱 반영). + +p15와 동일 로직(현재 상태에서 [n]→토큰 되돌려 재번호). NEW dict만 교체. +서지는 CrossRef 조회로 확정한 값, 집안 양식(6인 이하 전원 / 초과 et al.). +""" +import json +import os +import re +import sys + +M = os.path.join(os.path.dirname(os.path.dirname(os.path.abspath(__file__))), "manuscript") + +NEW = { + "W1": "Wu Y, Kong C, Liao X, Lin Z, Sun X, Liu J. Comprehensive benchmarking of RNA " + "velocity methods across single-cell datasets. *Genome Biology* 27(1), 242 (2026). " + "doi:10.1186/s13059-026-04182-z.", + "P1": "Ancheta S, Dorman L, Le Treut G, et al. Challenges and progress in RNA velocity: " + "comparative analysis across multiple biological contexts. *PLoS Computational " + "Biology* 22(6), e1014303 (2026). doi:10.1371/journal.pcbi.1014303.", +} + + +def process(path): + s = open(path).read() + m = re.search(r"^\[1\] ", s, re.M) + assert m, f"{path}: 참고문헌 목록 없음" + body, reflist = s[:m.start()], s[m.start():] + old = dict(re.findall(r"^\[(\d+)\] (.*?)$", reflist, re.M)) + + def tok(mm): + return "".join("{{R%s}}" % x for x in re.split(r"\s*,\s*", mm.group(1))) + body = re.sub(r"\[(\d+(?:\s*,\s*\d+)*)\]", tok, body) + + order = [] + for t in re.findall(r"\{\{(\w+)\}\}", body): + if t not in order: + order.append(t) + mapping = {t: i + 1 for i, t in enumerate(order)} + + def render(mm): + nums = sorted({mapping[t] for t in re.findall(r"\{\{(\w+)\}\}", mm.group(0))}) + return "[" + ",".join(map(str, nums)) + "]" + body = re.sub(r"(?:\{\{\w+\}\})+", render, body) + + lines = [f"[{n}] {(old[t[1:]] if t.startswith('R') else NEW[t])}" + for t, n in sorted(mapping.items(), key=lambda kv: kv[1])] + tail = re.search(r"\n\n(?!\[)(.*)$", reflist, re.S) + open(path, "w").write(body + "\n\n".join(lines) + ("\n" + tail.group(1) if tail else "\n")) + return mapping + + +def main(): + res = {t: process(os.path.join(M, f)) + for t, f in (("EN", "draft_v2.md"), ("KO", "draft_v2_ko.md"))} + n = len(res["EN"]) + print(f"최종 참고문헌 {n}편 (EN) / {len(res['KO'])}편 (KO)") + same = res["EN"] == res["KO"] + print("영/한 번호 매핑 동일:", "OK" if same else "불일치") + if not same: + for k in sorted(set(res["EN"]) | set(res["KO"])): + if res["EN"].get(k) != res["KO"].get(k): + print(f" {k}: EN={res['EN'].get(k)} KO={res['KO'].get(k)}") + json.dump(res, open(os.path.join(M, "refs_number_map.json"), "w"), indent=1) + return 0 if same else 1 + + +if __name__ == "__main__": + sys.exit(main()) From a9fcfb3077a795f6bd46575a18f94ed64db9ceeb Mon Sep 17 00:00:00 2001 From: kakyungkim Date: Mon, 27 Jul 2026 23:37:28 +0900 Subject: [PATCH 2/3] =?UTF-8?q?P5=20=EC=A0=80=EB=84=90=C2=B7=EC=A3=BC?= =?UTF-8?q?=EC=A0=80=EC=9E=90=20=ED=99=95=EC=A0=95=20=EA=B8=B0=EB=A1=9D=20?= =?UTF-8?q?=E2=80=94=20Genome=20Biology,=20=EC=A3=BC=EC=A0=80=EC=9E=90=20k?= =?UTF-8?q?kkim=20(2026-07-27)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 타깃 저널 = Genome Biology 확정(base-case CRM 폐기). draft_v2 이미 GB 포맷. 단 오늘 GB 27:242(Wu) 게재로 desk-reject 위험 상향 → Positioning "같은 데이터·다른 질문" 방어를 critic 최우선 렌즈로. - 주저자 = Ka-Kyung Kim 확정. 전체 순서·corresponding·박상준 Ack 처리는 회의 후 → 원고 유지(반쯤 안 채움). - critic 착수 승인(과학 내용 critic-ready, 메타는 critic 대상 아님). --- .../hspc-velocity-benchmark/manuscript/PAPER_DIRECTION.md | 5 +++++ 1 file changed, 5 insertions(+) diff --git a/pipeline/hspc-velocity-benchmark/manuscript/PAPER_DIRECTION.md b/pipeline/hspc-velocity-benchmark/manuscript/PAPER_DIRECTION.md index d8ef00f..66f1a56 100644 --- a/pipeline/hspc-velocity-benchmark/manuscript/PAPER_DIRECTION.md +++ b/pipeline/hspc-velocity-benchmark/manuscript/PAPER_DIRECTION.md @@ -38,6 +38,11 @@ ## 5. 진행 상태 +### 2026-07-27 결정 (kkkim) — 저널·주저자 확정 +- **타깃 저널 = Genome Biology 확정** (base-case CRM 폐기). draft_v2는 이미 GB IMRaD 포맷이라 구조 변경 없음. 단 오늘 GB 27:242(Wu 종합 벤치마크)가 게재됐으므로 desk-reject 위험이 상향 — **Positioning 문단이 "같은 데이터·다른 질문(행렬 재현성·ATAC-shuffle 인과·외부 rate 앵커)"을 명확히 방어**해야 함. critic의 최우선 렌즈로 지정. +- **주저자(first author) = Ka-Kyung Kim(kkkim) 확정.** 전체 저자 목록·순서·corresponding·박상준 Acknowledgements 처리는 오늘 밤 회의에서 확정 → 그 전까지 원고 `` 유지(반쯤 채우지 않음). 박상준=비저자+Acknowledgements+서면동의(ICMJE ②③④ 미충족). +- **critic 착수 승인**: 과학적 내용(층② 감사·외부재현 4/4·스쿱 반영·refs 71) critic-ready. `` 메타데이터는 critic 대상 아님(회의 pending 명시). + ### 2026-07-18 결정 (novelty 적대적 판정 후) - **적대적 심사(GB) 판정**: 현 draft는 **~75~85% reject 위험** — "음성/부분재현 감사 + 얇은 양성"으로 읽힘. 정직한 base-case venue = **Cell Reports Methods**, GB는 stretch. (kkkim 결정: **A 결과로 재프레이밍 후 GB 도전**, 재검토.) - ✅ **make-or-break A 통과(양성 헤드라인 확보)**: profile-likelihood를 α_c·β·γ로 확장(`p5_stiffness_all_params.py`) → **곡률이 외부 측정검증을 예측**(α≫α_c>β>γ, p<1e-11; α 회복·γ 역방향). 커밋 69861b8. → §1 thesis·§2 표 갱신. From c07d0201f87c2f440c9c00089e20ea17a843626c Mon Sep 17 00:00:00 2001 From: kakyungkim Date: Tue, 28 Jul 2026 13:17:02 +0900 Subject: [PATCH 3/3] =?UTF-8?q?docs(README):=20ai=5Fscientist/=20=EC=9C=A0?= =?UTF-8?q?=EB=A0=B9=20=EC=B0=B8=EC=A1=B0=20=EC=A0=9C=EA=B1=B0=20=E2=80=94?= =?UTF-8?q?=20doctor=20phantom-path=20=ED=95=B4=EC=86=8C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 622da00에서 ai_scientist/를 kkkim-pipeline에서 제거(docs/ai-scientist-to-main 브랜치로 이관)했으나 README.md:38 디렉터리 표가 여전히 참조 → harness_doctor가 phantom-path로 검출(PR #11 CI FAIL). 실물은 두 브랜치(main·kkkim-pipeline) 어디에도 없어 표 행 제거. 로컬 doctor PASS(phantom_paths=0). --- README.md | 1 - 1 file changed, 1 deletion(-) diff --git a/README.md b/README.md index d5128e0..1b78308 100644 --- a/README.md +++ b/README.md @@ -35,7 +35,6 @@ lag은 method 간 크기·방향 모두 재현되지 않고, ATAC 셔플 음성 | `docs/` | 랩 지도 `HARNESS.md` · 인프라 정본 `SHARED-INFRA-GUIDE.md` · 로드맵/정합성 보고 | | `guide/` | 과제·가이드 원문(주차별 과제, 프로젝트 기획서) | | `onboarding_gglee/` | 온보딩 1~3주차 산출물·회고 | -| `ai_scientist/` | "AI scientist" 구성 개념 문서(하네스 설계 배경) | | `artifacts/` | 파이프라인 run 로그·리포트 요약 보관 규칙 | | `CLAUDE.md` | 에이전트 운영 규칙 — 라우팅표·산출물 계약·**완료의 정의(DoD)**·commit 규칙 | | `BIOP02_LINK.md` | BIOP02(SpatialPathoAgent)와의 cross-reference. **요약본, 정본 아님** |