Meta podwaja wydajność treningu GEM, modelu reklamowego na skalę LLM

Meta 3 sierpnia 2026 r. opisała, jak podwoiła efektywność treningu GEM — Generative Ads Recommendation Model, czyli foundation model stojący za rekomendacjami reklam na Instagramie i Facebooku. Model trenuje dziś na poziomie LLM scale na kilku tysiącach GPU najnowszej generacji, a end-to-end training efficiency wzrosła do 20–25% Model FLOPs Utilization (MFU). W ciągu 12 miesięcy firma zwiększyła też total training FLOPs 4x, łącząc optymalizację kerneli, precyzji obliczeń, parallelism, sieci i pamięci. Meta podkreśla, że GEM ma hybrydową architekturę z trylionami sparse embedding parameters i miliardami dense parameters, a dane reklamowe mają inną charakterystykę niż typowe workloady LLM. Dla zespołów ads i performance marketingu to sygnał, że system rekomendacji reklam Meta będzie dalej opierał się na coraz cięższym modelu foundationowym, więc znaczenie jakości sygnałów, kreacji i danych o konwersjach nie maleje. Firma wskazuje też, że klasyczne techniki optymalizacji dla LLM nie przenoszą się tu 1:1 — dlatego rozwija własne rozwiązania, m.in. Jagged Flash Attention (JFA), Generalized Dot-Product Attention (GDPA), BlockAttention oraz MXFP8 attention i MLP.

Źródło: Meta — oryginalny artykuł ↗