이 논문은 MDLM(Masked Diffusion Language Model)의 soft-masking이 왜 때로는 잘 안 되는지, 원인을 “임베딩 공간의 기하”에서 찾습니다. 기존 soft-masking은 [MASK] 임베딩과 예측 토큰 임베딩을 직선으로 섞는 LERP를 씁니다. 그런데 저자들은 MDLM 임베딩이 평평한 유클리드 공간이라기보다 거의 같은 반지름의 초구면 위에 놓여 있다고 봅니다.

이 논문은 MDLM(Masked Diffusion Language Model)의 soft-masking이 왜 때로는 잘 안 되는지, 원인을 “임베딩 공간의 기하”에서 찾습니다. 기존 soft-masking은 [MASK] 임베딩과 예측 토큰 임베딩을 직선으로 섞는 LERP를 씁니다.

Lost in Interpolation (2026) 해설

핵심 관찰은 두 가지입니다. 첫째, 토큰 빈도와 상관없이 임베딩 norm이 거의 일정합니다. 둘째, [MASK] 방향과 top-k 예측 임베딩 평균 방향 사이의 각도가 학습 내내 약 73도로 안정적입니다. 즉, 모델은 “크기”보다 “방향”으로 의미를 표현하는 구조에 가깝습니다.

그래서 저자들은 Spherical Soft-Masking(S-SM)을 제안합니다. top-k 예측 임베딩을 평면 평균이 아니라 초구면 위의 Karcher mean으로 모으고, [MASK] 방향에서 예측 방향으로 SLERP라는 구면 보간을 수행한 뒤, 다시 [MASK] 임베딩의 원래 norm으로 맞춥니다. 결과적으로 MAUVE는 vanilla MDLM 대비 최대 거의 2배, TopK/LERP 대비 최대 56.1% 좋아지고, 생성 perplexity도 낮아집니다.

첫 문단은 MDLM의 기본 생성 방식을 설명합니다. MDLM은 처음에 문장을 전부 [MASK]로 두고, 여러 단계에 걸쳐 어떤 위치를 어떤 토큰으로 복원할지 정합니다. 문제는 아직 확정하지 않은 위치가 계속 같은 [MASK] 임베딩으로 남는다는 점입니다. 이전 단계에서 모델이 “이 위치는 아마 이런 단어일 것”이라고 알고 있던 정보가 다음 단계 입력에 남지 않습니다.

다음 문단은 soft-masking의 동기를 말합니다. soft-masking은 아직 토큰을 확정하지 않더라도, [MASK] 임베딩에 모델의 top-k 예측 정보를 조금 섞어 넣습니다. 예측을 완전히 믿지는 않지만, 자신감이 높을수록 예측 임베딩 쪽으로 더 이동합니다.

그다음 문단이 논문의 문제 제기입니다. 기존 방식은 [MASK]와 예측 임베딩을 직선으로 섞습니다. 이것은 임베딩 공간이 평평한 유클리드 공간이라고 가정하는 셈입니다. 하지만 실제 학습된 임베딩은 일정한 반지름의 껍질, 즉 초구면 위에 몰려 있는 경우가 많습니다. 초구면 위의 두 점을 직선으로 잇는 것은 구 표면을 따라가는 것이 아니라 내부를 관통하는 경로입니다.

이어지는 문단에서 저자들은 MDLM에서도 실제로 초구면적 구조가 보인다고 말합니다. 토큰 임베딩 norm은 빈도 순위와 거의 무관하게 평평하고, [MASK] 방향과 top-k 예측 평균 방향 사이의 각도는 약 73도로 유지됩니다. 이 두 현상은 “임베딩 의미가 반지름보다 방향에 있다”는 해석을 뒷받침합니다.

마지막으로 S-SM의 개요가 나옵니다. top-k 예측을 초구면 위에서 평균 내고, [MASK] 방향에서 그 평균 방향으로 구면 위를 따라 이동합니다. 그런 다음 backbone이 익숙한 크기인 [MASK] norm으로 되돌립니다. 학습 목표, unmasking rule, confidence schedule은 그대로 두고 feedback 내부만 바꾸는 drop-in replacement입니다.

기여 요약은 세 가지입니다. MDLM 임베딩의 초구면 기하를 진단했고, 그 기하에 맞는 S-SM을 제안했으며, 여러 seed와 NFE 예산에서 LERP보다 안정적으로 좋은 결과를 보였습니다. 특히 learned confidence λ가 SLERP에서는 약 0.056, LERP에서는 약 0.030으로 수렴해, 모델이 구면 feedback을 더 많이 신뢰한다는 해석을 제시합니다.

Masked Diffusion Language Models 문단은 MDLM 계열을 배경으로 둡니다. MDLM은 autoregressive 모델처럼 왼쪽부터 하나씩 생성하지 않고, 마스크된 위치들을 병렬적으로 복원합니다. LLaDA, MaskGIT, ReMDM, MDPO, DSFT 같은 연구들은 병렬 디코딩, remasking, 강화학습, 수학 reasoning 등 다른 방향에서 MDLM을 개선했습니다.

Soft Masking and Continuous Feedback 문단은 이 논문의 직접 선행 연구를 소개합니다. Hersche et al.의 Soft-Masking은 아직 마스크된 위치에 예측 정보를 섞어 넣는 방식입니다. DMax, context-aware initialization, SSD-LM 등도 연속적인 중간 표현을 사용합니다. 다만 이 논문은 “마스크를 어떻게 섞느냐” 중에서도 특히 임베딩 공간의 기하가 잘못되었다는 문제에 집중합니다.

Riemannian and Hyperspherical Geometry 문단은 transformer 표현을 초구면 위의 방향으로 보는 연구들을 연결합니다. nGPT는 표현을 unit norm으로 정규화하고 residual update를 회전처럼 해석합니다. 다른 연구들도 hypersphere와 uncertainty를 연결합니다. 이 논문은 그 흐름을 MDLM soft-masking에 적용합니다.

Continuous Diffusion on Manifolds 문단은 이론적 배경을 더 넓힙니다. 일부 연구는 discrete category를 초구면 위의 흐름으로 보고 diffusion을 설명합니다. 특히 geodesic flow 관점은 LERP 대신 SLERP를 써야 한다는 이 논문의 직관과 맞닿아 있습니다.

Vocabulary and embeddings 문단은 기호를 정합니다. 모델은 vocabulary 크기 V, embedding 차원 D를 가지며, 각 토큰은 임베딩 행렬 E의 한 행입니다. [MASK] 토큰 임베딩은 m이고, 그 길이(norm)를 따로 기록합니다. 어떤 벡터든 norm으로 나누면 unit sphere 위의 방향이 됩니다.

Forward and reverse process 문단은 MDLM의 corruption과 denoising을 설명합니다. 깨끗한 문장을 일정 확률로 [MASK] 처리하고, 모델은 이를 다시 복원합니다. 학습 때 쓰는 timestep 수와 생성 때 쓰는 denoising step 수는 다를 수 있습니다. 이 논문은 생성 step 예산을 NFE(Number of Function Evaluations)로 표현합니다. 예를 들어 길이 L=1024에서 T=64면 NFE는 1/16입니다.

Soft-masking 문단은 기존 SM을 설명합니다. 아직 mask로 남겨둔 위치에 대해, 그냥 [MASK] 임베딩을 넣지 않고 [MASK]와 top-k 예측 토큰 임베딩을 섞습니다. 섞는 비율 λ는 모델의 confidence에서 나옵니다. 예측 분포 entropy가 낮으면 자신감이 높으므로 λ가 커지고, entropy가 높으면 λ가 작아져 거의 [MASK]에 머뭅니다.

The linear operator 문단은 기존 TopK/LERP baseline입니다. top-k 토큰 임베딩을 확률 가중 평균으로 합친 뒤, [MASK] 임베딩과 직선 보간합니다. λ=0이면 vanilla MDLM과 같고, λ가 1에 가까우면 예측 임베딩 평균에 가까워집니다. 수식상 간단하고 미분 가능하지만, 공간이 초구면이라면 경로가 잘못됩니다.

Norm vs. frequency 문단은 첫 번째 실증 진단입니다. GPT-2 BPE 빈도 순위에 따라 token embedding norm을 그려 봤더니, 흔한 토큰과 드문 토큰 사이에 체계적인 norm 차이가 거의 없습니다. 이는 임베딩들이 다양한 반지름에 퍼져 있는 게 아니라 비슷한 반지름의 껍질 위에 놓였다는 뜻입니다.

Geodesic angle diagnostic 문단은 두 번째 진단입니다. 학습 중 마스크된 위치마다 [MASK] 방향과 top-k 예측 평균 방향 사이의 각도를 계산했더니 평균 약 73도, 즉 꽤 큰 각도가 거의 계속 유지됩니다. 이 각도가 안정적이라는 것은 feedback이 우연한 잡음이 아니라 일관된 방향 이동 문제라는 뜻입니다.

다음 문단은 결론을 냅니다. 임베딩이 초구면 껍질 위에 있고, [MASK]와 예측 방향이 안정적으로 떨어져 있다면, 두 점을 직선으로 섞는 LERP는 자연스러운 경로가 아닙니다. 구면 위에서는 표면을 따라가는 경로가 맞습니다.

첫 조건은 endpoint fidelity입니다. λ=0일 때는 정확히 [MASK] 임베딩이어야 하고, λ=1에 가까워지면 예측 토큰들의 집계 방향이어야 합니다. 즉 기존 soft-masking의 의미를 유지해야 합니다.

두 번째 조건은 norm compatibility입니다. 중간 feedback 벡터의 norm이 [MASK] 임베딩 norm과 같아야 합니다. pretrained backbone은 특정 norm 범위에 익숙하므로, 중간에 norm이 줄어들면 분포 밖 입력이 될 수 있습니다.

세 번째 조건은 geodesic interpolation입니다. 방향은 구면 위의 최단 경로, 즉 great-circle arc를 따라 움직여야 합니다. 직선으로 섞은 뒤 다시 정규화하는 방식은 norm 문제는 줄일 수 있지만, 진짜 구면 보간 경로를 보장하지 않습니다.

첫 문단은 S-SM의 전체 흐름을 요약합니다. top-k 예측을 먼저 구면 위에서 모으고, 그 결과와 [MASK] 방향 사이를 SLERP로 이동한 뒤, 마지막에 [MASK] norm으로 복원합니다. 비유하면 지구본 위의 두 도시 사이를 지구 내부 직선으로 뚫고 가는 대신, 표면의 대권 경로를 따라 이동하는 것입니다.

이 절은 구면 위 거리와 내부 연산을 소개합니다. 평면의 거리는 직선 거리지만, 구면에서는 두 방향 사이의 각도가 거리입니다. log map은 구면의 작은 주변을 접평면으로 펼치는 도구이고, exp map은 접평면에서 계산한 이동을 다시 구면 위로 올리는 도구입니다. 독자가 기억할 핵심은 “평면 평균을 직접 쓰지 않고, 잠깐 펼쳤다가 다시 구면으로 되돌린다”입니다.

기존 LERP는 top-k 임베딩을 그냥 좌표별로 평균 냅니다. S-SM은 각 토큰 임베딩을 unit direction으로 바꾸고, 그 방향들에 가장 가까운 구면상의 중심을 찾습니다. 이것이 Fréchet mean, 또는 Karcher mean입니다.

닫힌 형태의 공식이 없으므로 반복 계산을 합니다. top-1 예측 방향에서 시작해, top-k 후보들이 가리키는 방향으로 조금씩 이동합니다. top-k 확률은 보통 top-1에 많이 몰려 있으므로, 세 번 정도 반복해도 충분하다고 봅니다.

이 절이 S-SM의 핵심입니다. [MASK] 방향과 Karcher mean 방향 사이를 SLERP로 보간합니다. LERP는 두 점을 직선으로 섞어서 구 내부로 들어가고 norm이 줄어들 수 있습니다. SLERP는 중간 지점도 항상 unit sphere 위에 남습니다.

보간이 끝난 뒤에는 unit vector에 [MASK] 임베딩의 원래 norm을 곱합니다. 그래서 backbone 입장에서는 “크기는 익숙한 [MASK]와 같지만, 방향에는 예측 정보가 조금 들어간” 입력을 받습니다.

Numerical safeguards 문단은 안정성 장치입니다. arccos 입력을 안전 범위로 clamp하고, 두 방향이 거의 같아 SLERP가 불안정할 때는 정규화된 linear blend로 fallback합니다. 두 방향이 거의 같을 때는 직선과 곡선 경로 차이가 사실상 작기 때문에 괜찮습니다.

Drop-in property 문단은 구현상 장점을 말합니다. S-SM은 FEEDBACK 내부만 바꾸며, confidence schedule, unmasking rule, objective, two-pass training은 그대로입니다. 따라서 기존 SM 시스템에 비교적 쉽게 끼워 넣을 수 있습니다.

첫 문단은 실험 설정입니다. 비교 대상은 vanilla MDLM, TopK/LERP, S-SM입니다. 모두 같은 169M parameter Diffusion Transformer backbone, GPT-2 BPE tokenizer, OpenWebText, sequence length 1024를 사용합니다. top-k는 3, Karcher iteration도 기본 3입니다.

Two-pass training 문단은 soft-masking 학습 절차입니다. 첫 forward pass는 gradient 없이 현재 masked input에서 예측 분포를 얻습니다. 그 예측으로 soft-masked input을 만들고, 두 번째 forward pass에서 실제 gradient를 흘려 backbone과 confidence parameter를 업데이트합니다.

Stochastic time band 문단은 feedback을 항상 쓰지 않는 이유를 설명합니다. soft-masking 학습은 timestep t가 0.2에서 0.8 사이일 때 적용됩니다. 너무 깨끗하거나 너무 노이즈가 큰 구간은 제외합니다. 또한 soft-masking 자체도 확률 0.5로만 켜서, 모델이 항상 feedback이 있는 입력에만 의존하지 않게 합니다.

첫 문단은 continued pre-training 조건입니다. 이미 OpenWebText에서 1M step pretrain된 169M MDLM checkpoint에서 시작해, 각 feedback 방식별로 7,000 step만 더 학습합니다. 따라서 차이는 학습량이 아니라 feedback geometry에서 나옵니다. λ는 고정값이 아니라 confidence schedule로 학습됩니다.

두 번째 문단은 평가 조건입니다. 생성 품질은 GPT-2-large evaluator로 generative perplexity를 계산하고, MAUVE도 봅니다. T=64, 128, 256은 3 seeds 평균과 표준편차를 보고하고, T=512는 single seed입니다. L=1024이므로 T=64/128/256/512는 각각 NFE 1/16, 1/8, 1/4, 1/2입니다.

결과 문단의 핵심은 SLERP가 모든 NFE 예산에서 가장 좋다는 것입니다. MAUVE는 vanilla MDLM 대비 36.0-107.0% 향상됩니다. 특히 T=256에서 0.0176에서 0.0354로 거의 정확히 2배이고, T=512에서도 0.0199에서 0.0412로 2배 이상입니다. TopK/LERP 대비로도 T=256에서 약 +53%, T=512에서 +56.1%입니다.

Generative PPL도 좋아집니다. SLERP는 baseline 대비 16.9-19.6%, TopK/LERP 대비 12.2-14.2% 낮은 PPL을 보입니다. Entropy는 거의 비슷하므로, 품질 향상이 단순히 더 보수적이거나 다양성이 줄어서 생긴 효과는 아니라고 주장합니다.

표 2는 learned λ 조건에서 세 방식의 학습 perplexity, NLL, 평균 λ를 비교합니다. Vanilla는 λ=0, LERP는 평균 λ=0.030, SLERP는 평균 λ=0.056입니다. 최종 PPL은 세 방식이 거의 비슷하지만, SLERP는 더 큰 feedback을 유지합니다. 저자들은 이를 “모델이 SLERP feedback을 더 신뢰한다”는 근거로 해석합니다.

Karcher iteration 수를 1, 3, 5로 바꿔 봅니다. PPL 차이는 최대 0.11 정도로 작고 뚜렷한 단조 경향은 없습니다. top-k 확률이 top-1에 몰려 있어서 한두 번만 반복해도 중심이 크게 바뀌지 않는다는 해석입니다. 기본값 3은 정확도와 계산량 사이의 타협입니다.

top-k 폭을 1, 3, 5로 바꿉니다. k=1에서 k=3으로 갈 때는 개선이 있지만, k=3에서 k=5로 갈 때는 이득이 작습니다. Karcher mean 계산량은 k에 비례하므로, k=3이 대부분의 이득을 가져오면서 비용은 억제하는 선택입니다.

이 절은 learned λ가 feedback을 얼마나 허용하는지 봅니다. 세 방식의 최종 training perplexity는 비슷하지만, LERP는 λ가 더 작게 눌리고 SLERP는 더 크게 남습니다. 이는 LERP feedback이 backbone에 더 부담스러운 형태라 optimizer가 덜 쓰도록 만든다는 해석으로 이어집니다.

또한 SLERP의 각도는 약 73.1도로, 거의 같은 방향이라서 SLERP와 LERP가 비슷해지는 특수 상황이 아닙니다. 즉 실제로 구면 경로가 의미 있는 구간에서 작동하고 있습니다.

T=64, 128, 256에서 3 seeds를 돌려 ranking이 우연인지 확인합니다. Gen PPL은 모든 seed와 budget에서 SLERP < TopK/LERP < MDLM 순서가 유지되고, 95% confidence interval도 겹치지 않습니다. MAUVE도 평균 방향은 같은 순서지만, MAUVE 자체의 variance가 커서 confidence interval은 일부 겹칩니다. T=512는 single seed라서 추가 검증은 future work로 남깁니다.

결론은 간단합니다. 기존 soft-masking의 핵심 문제는 confidence schedule이 아니라 interpolation geometry일 수 있습니다. MDLM embedding은 norm이 평평하고 [MASK]-prediction angle이 약 73도로 안정적인 초구면 구조를 보입니다. 이런 공간에서 LERP는 manifold 밖으로 나가는 잘못된 보간입니다.

S-SM은 top-k 예측을 Karcher mean으로 모으고, SLERP로 구면 위를 따라 이동하며, 마지막에 mask norm을 복원합니다. 학습 목표나 decoding rule을 바꾸지 않고도 MAUVE와 Gen PPL을 개선합니다. learned λ가 SLERP에서 더 크게 유지된다는 점도, geometry를 맞춘 feedback이 모델에게 더 사용 가능한 신호라는 주장을 뒷받침합니다.

첫째, scale 제한입니다. 모든 실험은 169M parameter backbone 하나에서만 수행됐습니다. 수십억 parameter 규모에서도 SLERP와 LERP의 차이가 유지되는지는 모릅니다.

둘째, hyperparameter 재탐색을 하지 않았습니다. confidence schedule, timestep band 0.2-0.8, soft-masking activation probability 0.5 등은 LERP baseline에서 물려받았습니다. SLERP에 더 좋은 별도 설정이 있을 수 있습니다.

셋째, 비교한 feedback family가 제한적입니다. 논문은 TopK/LERP와 비교하지만, 동시에 제안된 모든 continuous-feedback 방법과 비교하지는 않습니다. 특히 다른 연구들은 uniform corruption이나 token-wise marginal training 같은 다른 실패 모드를 다룹니다.

넷째, metric 제한입니다. MAUVE와 generative perplexity는 표준 지표지만 완벽한 생성 품질 척도는 아닙니다. 사람 평가도 수행하지 않았습니다.

Appendix A는 S-SM의 전체 기하 절차를 자세히 풉니다. log/exp map, Karcher mean, SLERP, norm restoration이 어떤 순서로 연결되는지 설명합니다. 학생 입장에서는 “top-k 후보를 구면 위 중심으로 모으고, [MASK]에서 그 중심까지 구면 위로 이동한다” 정도로 이해하면 충분합니다.

Appendix B는 single position이 아니라 batch 전체에서 S-SM을 어떻게 적용하는지 설명합니다. 마스크된 위치만 골라 top-k를 뽑고, 각 위치별 λ를 계산하고, S-SM embedding을 만든 뒤, unmasked 위치는 일반 embedding lookup을 그대로 둡니다.

Appendix C는 backbone 수정이 작다는 점을 보입니다. S-SM은 token id가 아니라 이미 만들어진 dense embedding tensor를 backbone에 넣어야 하므로, embedding layer에 pass-through branch를 추가합니다. Transformer block 자체는 바꾸지 않습니다.

Appendix D는 LERP와 S-SM을 표로 비교합니다. LERP는 probability/simplex 또는 raw embedding에서 직선 보간을 하고, S-SM은 unit hypersphere에서 geodesic 보간을 합니다. S-SM은 trigonometric 연산과 Karcher iteration 비용이 추가됩니다.

Appendix E는 hyperparameter와 MAUVE 구현입니다. 기본값은 k=3, Karcher iteration=3, soft-masking probability=0.5, timestep band=0.2/0.8, backbone LR=3e-5, confidence LR=1e-2입니다. MAUVE는 5,000 generated samples와 OpenWebText validation reference를 사용합니다.

Appendix F는 numerical stability입니다. arccos 입력 clamp, sin denominator clamp, near-collinear fallback, float32 trig 계산을 사용합니다. 구면 계산은 수치적으로 민감할 수 있으므로 이 장치들이 중요합니다.

Appendix G는 계산 효율입니다. S-SM은 LERP보다 비싸지만, 마스크된 위치에만 계산하고, 첫 pass는 no_grad로 돌리며, trig core만 float32로 처리해 비용을 줄입니다.

Appendix H는 distributed training입니다. DDP에서 모든 rank가 같은 soft-masking branch를 타도록 gate를 global step으로 seed합니다. soft-masking이 꺼진 step에는 confidence parameter가 gradient를 받지 않으므로 find_unused_parameters=True가 필요합니다.

Appendix I는 full 3-seed 결과입니다. Gen PPL에서는 세 방식의 interval이 모든 budget에서 분리되어 SLERP 우위가 강합니다. MAUVE는 평균상 SLERP가 계속 높지만 variance가 커서 일부 interval은 겹칩니다. computational overhead도 정리하며, S-SM은 Karcher iteration과 top-k에 비례하는 추가 trig 연산을 가진다고 설명합니다.

Lost in Interpolation: Why Predictive Feedback Fails in Diffusion Language Models

Abstract

Summary

Key Contributions

Lost in Interpolation (2026) 해설

초록

1. Introduction

2. Related Work

3. Background

4. Problem Formulation

4.1 Design Targets

5. Methodology

5.1 Geometry on the Sphere

5.2 Spherical Aggregation

5.3 Spherical Blend and Norm Restoration

6. Experiments

6.1 Training Procedure

6.2 Continued Pre-Training

7. Ablations

7.1 Karcher Iterations

7.2 Top-k Feedback Width

7.3 Feedback Regime and Embedding Geometry

7.4 Seed Robustness

8. Conclusion

9. Limitations

부록 요약

Additional Figures