Meta pokazuje SilverTorch: nowy model retrieval ma 23,7x większy throughput

Meta 26 maja 2026 r. przedstawiła SilverTorch — nową architekturę systemów rekomendacyjnych, która łączy wszystkie komponenty retrieval dla user generated content w jeden model oparty na PyTorch. Firma podaje, że w teście end-to-end na 80 mln elementów SilverTorch obsłużył 23,7x więcej requestów na sekundę niż mocny tradycyjny baseline multi-service, a szacunkowa efektywność kosztowa TCO była o 20,9x lepsza przy jednoczesnej poprawie accuracy. Kluczowa zmiana to podejście „Index as Model”, w którym indeks, filtr zgodności, reranking i scoring stają się tensorami lub operatorami wewnątrz jednego modelu, zamiast osobnych mikroserwisów. Meta twierdzi, że pozwala to zwiększać złożoność modelowania i liczbę ocenianych kandydatów bez łamania bariery sub-100 ms dla retrieval. Rozwiązanie ma już działać na dużą skalę jako główny system dla feedu i wideo w rodzinie aplikacji. Pełne szczegóły techniczne trafiły do pracy „SilverTorch: A Unified Model-based System to Democratize Large-Scale Recommendation on GPUs”, przyjętej do full paper track SIGIR 2026. Dla zespołów pracujących nad rekomendacjami oznacza to presję na przebudowę architektury z mesh microservices na jeden wspólny model i większy nacisk na GPU-native primitives, takie jak Bloom index filter czy fused Int8 ANN search.

Źródło: Meta — oryginalny artykuł ↗