한국어EN
프롬프트 엔지니어링Google (Vaswani 외)

Transformer 논문 Attention Is All You Need 공개

Transformer 논문 Attention Is All You Need 공개

왜 중요한가

순환 없이 self-attention만으로 병렬 학습이 가능해져 대규모 사전학습의 구조적 전제가 성립

출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요 논문arxiv.orghttps://arxiv.org/abs/1706.037622026년 8월 24일에 더한 조각 · 그 주 보기
같은 축의 가까운 조각02.14GPT-2(1.5B) 발표, 악용 우려로 전체 모델 미공개 결정공식 발표01.23Scaling Laws for Neural Language Models논문05.28GPT-3(175B) 논문 Language Models are Few-Shot Learners논문06.11OpenAI API 베타 공개 (text in, text out)공식 발표
Convolutional Sequence to SeMixed Precision Training 발표