2017년 12개 조각

커널을 조립 가능한 부품으로 분해. FlashAttention·Transformer Engine·현대 어텐션 커널 다수가 이 위에 구현됨

Software 1.0/2.0이라는 세대 구분 어휘를 심었고 이후 모든 Software N.0 논의의 원형이 됨

혼합정밀 학습의 원형. FP16→BF16→FP8→FP4로 이어지는 정밀도 축소 계보 전체가 이 두 기법의 변주

순환 없이 self-attention만으로 병렬 학습이 가능해져 대규모 사전학습의 구조적 전제가 성립

합성곱만으로 번역을 수행해 Transformer 직전의 탈-순환 경쟁 구도를 보여줌

1세대 TPU의 설계와 실측을 공개해 전용 가속기 논의의 기준 문헌이 됨

쌍 데이터 없이 학습하는 설계로 생성모델의 데이터 요건을 낮춤

구조에 무관한 메타러닝을 제시해 few-shot 적응 연구를 열음

ML 컴파일러 경쟁의 출발점. TPU를 실용화한 계층이자 JAX 전체의 기반

대규모 벡터 검색을 실용 영역으로 끌어들인 라이브러리

GAN 학습 불안정을 거리 함수 문제로 재정의

조건부 연산으로 총 파라미터가 활성 파라미터를 크게 넘는 구조를 최초 실증, 모든 MoE의 조상