Model zna biografie na pamięć, ale nie odpowie na pytania o fakty — wnioski dla brandów

Search Engine Journal analizuje serię badań o pamięci parametrycznej modeli językowych i tym, co naprawdę znaczy „model zna twoją markę”. W eksperymencie Physics of Language Models: Part 3.1 małe modele trenowano na fikcyjnych biografiach, a potem pytano o osoby, o których nie było pytań w fine-tuningu. Model potrafił świetnie przewidywać tekst biografii, a mimo to miał problem z odpowiedzią, gdzie dana osoba pracuje. Gdy zróżnicowano sformułowania, przetasowano kolejność zdań i powtarzano pełne imię, trafność na grupie testowej wzrosła z 9,7% do 96,2% w modelu GPT-2 o 124 mln parametrów. Z kolei dodanie zróżnicowanych biografii innej grupy podniosło trafność dla niezmienionej grupy z 4,4% do 86,8%, więc poprawa mogła wynikać z lepszego uczenia się modelu, a nie z nowych treści o danej osobie. Powielanie treści zwiększa dosłowne odtwarzanie fragmentów (Quantifying Memorization), ale nie dowodzi, że model użyje faktów w odpowiedzi na inne pytanie. W badaniu Fine-Tuning or Retrieval? Mistral-7B uzyskał 50,4% po treningu na oryginałach, 58,8% na parafrazach i 87,5% z RAG. Autor ostrzega, że wyniki dotyczą syntetycznych faktów i małych modeli, więc agencje nie powinny obiecywać klientom, że publikacja kolejnych stron poprawi zapamiętywanie marki. To hipoteza do przetestowania, a nie udowodniony mechanizm, bo to dostawca modelu decyduje, co trafi do treningu. Dodatkowo badanie Source Preference in the Wild pokazuje, że sama nazwa źródła przy tych samych tytułach i snippetach zmien

Źródło: Search Engine Journal — oryginalny artykuł ↗