Anthropic publikuje refleksje z wdrażania Responsible Scaling Policy (RSP), czyli polityki opublikowanej poprzedniego lata, która dotyczy katastrofalnych awarii bezpieczeństwa i nadużyć modeli frontier. Firma zapowiada też prace nad zaktualizowaną wersją RSP, którą ma przedstawić wkrótce. Obecne ramy opierają się na pięciu zobowiązaniach: określeniu „Red Line Capabilities”, testowaniu ich obecności (Frontier Risk Evaluations), reagowaniu na nie standardem ASL-3, iteracyjnym rozszerzaniu polityki (w stronę ASL-4) oraz mechanizmach assurance. Anthropic zobowiązuje się wstrzymać trening lub wdrożenie modelu, jeśli nie będzie mógł zastosować standardu ASL-3. Testy przedwdrożeniowe w obszarach cyberbezpieczeństwa, CBRN i Model Autonomy obejmują modele, które osiągnęły 4x moc obliczeniową względem ostatnio testowanego. Modele są też testowane w trakcie treningu po przekroczeniu tego progu, a najsilniejszy model jest ponownie sprawdzany co 3 miesiące, aby uwzględnić poprawki z finetuningu. Wśród wniosków firma wskazuje, że każda generacja modeli ma nowe, nieprzewidywalne zdolności, a eksperci nie są zgodni co do priorytetów ryzyk nawet w domenach CBRN. Anthropic widzi też potrzebę zewnętrznego ekosystemu oceniającego modele i buduje interdyscyplinarny zespół, który ma czerpać z praktyk m.in. z bezpieczeństwa jądrowego, biosecurity i lotnictwa. Firma liczy, że dobrowolne zobowiązania przekształcą się w dobre praktyki, a następnie w regulacje.
Źródło: Anthropic — oryginalny artykuł ↗
Chcesz wiedzieć, jak ta zmiana wpłynie na Twoją stronę?
Nasz zespół analizuje każdą aktualizację Google w 48h i przekłada ją na konkretne działania dla klientów.
Bezpłatna analiza wpływu