Ali Behrouz i Vahab Mirrokni z Google Research opublikowali 27 października framework sleep — metodę, w której model językowy ma zaplanowaną fazę offline. Podczas niej przenosi to, czego nauczył się w użyciu, do długoterminowych wag, a następnie trenuje na danych, które sam generuje. Autorzy podkreślają, że metoda działa w stałej architekturze i według reguł treningu ustalonych przez ludzi, więc viralowe tezy o modelu, który sam się ulepsza, są błędne. Model w fazie wake trzyma nowe informacje w szybkiej pamięci krótkoterminowej. W fazie sleep wykonuje konsolidację: uruchamia dotąd uśpione eksperty low-rank w układzie mixture-of-experts i przepisuje do nich wiedzę (knowledge seeding), po czym resetuje parametry tymczasowe. Potem następuje „dreaming”: syntetyczne próbki z losowego routingu przez ekspertów, filtrowane metodą gradientową, służą do fine-tuningu. Eksperymenty na otwartych modelach Qwen (1,7 mld i 8 mld parametrów), nie na Gemini, objęły sekwencyjne tłumaczenie na nowe języki, long-context do 10 mln tokenów, włączanie wiedzy z dokumentów oraz matematykę. To badanie, nie produkt: brak informacji o wdrożeniu, kosztach obliczeniowych i replikacji. Autor SEJ wskazuje, że jeśli podejście trafi do produkcji, wiedza modeli będzie aktualizowana w niewidocznym cyklu. Z jego wniosków (to jego interpretacja, nie tezy paperu) wynika, że marki powinny dbać o spójność informacji o firmie w wielu źródłach, bo filtr konsolidacji może premiować fakty zgodne ze sobą. Korekta błędneg
Źródło: Search Engine Journal — oryginalny artykuł ↗
Chcesz wiedzieć, jak ta zmiana wpłynie na Twoją stronę?
Nasz zespół analizuje każdą aktualizację Google w 48h i przekłada ją na konkretne działania dla klientów.
Bezpłatna analiza wpływu