Bezpiecze - Helion

Tytuł oryginału: The Developer's Playbook for Large Language Model Security: Building Secure AI Applications
ISBN: 978-83-289-2308-9
okładka: mi
Księgarnia: Helion
Książka będzie dostępna od marca 2025
Zobacz także:
- Biologika Sukcesji Pokoleniowej. Sezon 3. Konflikty na terytorium 124,17 zł, (14,90 zł -88%)
- Windows Media Center. Domowe centrum rozrywki 66,67 zł, (8,00 zł -88%)
- Podręcznik startupu. Budowa wielkiej firmy krok po kroku 93,13 zł, (14,90 zł -84%)
- Ruby on Rails. Ćwiczenia 18,75 zł, (3,00 zł -84%)
- Scrum. O zwinnym zarz 78,42 zł, (14,90 zł -81%)
Spis treści
Bezpieczeństwo aplikacji LLM. Niezbędnik dla programistów, projektantów i red teamów -- spis treści
Wprowadzenie
1. Co poszło nie tak z chatbotami?
- Pomówmy o projekcie Tay
- Gwałtowny upadek Tay
- Dlaczego doszło do afery z Tay?
- To trudny problem
2. Lista OWASP top 10 dla aplikacji używających dużych modeli językowych
- Fundacja OWASP
- Lista top 10 projektu aplikacji wspomaganych przez duże modele językowe
- Realizacja projektu
- Przyjęcie
- Klucz do sukcesu
- Ta książka i lista top 10
3. Architektury i granice zaufania
- Sztuczna inteligencja, sieci neuronowe i duże modele językowe - czym się różnią?
- Rewolucja transformerów - źródło, wpływ i powiązanie z dużymi modelami językowymi
- Pochodzenie transformerów
- Wpływ architektury transformerów na sztuczną inteligencję
- Rodzaje aplikacji wspomaganych przez duże modele językowe
- Architektura aplikacji wspomaganych przez duże modele językowe
- Granice zaufania
- Model
- Interakcja z użytkownikiem
- Zbiór danych użytych do wytrenowania modelu
- Dostęp do bieżących zewnętrznych źródeł danych
- Dostęp do usług wewnętrznych
- Podsumowanie
4. Wstrzykiwanie promptu
- Przykłady ataków typu wstrzykiwanie promptu
- Natarczywa sugestia
- Psychologia odwrotna
- Wprowadzenie w błąd
- Uniwersalne i zautomatyzowane prompty antagonistyczne
- Wpływ ataków polegających na wstrzykiwaniu promptu
- Bezpośredni i pośredni atak polegający na wstrzykiwaniu promptu
- Bezpośrednie wstrzykiwanie promptów
- Pośrednie wstrzykiwanie promptów
- Najważniejsze różnice
- Łagodzenie skutków ataku polegającego na wstrzykiwaniu promptu
- Ograniczanie częstotliwości wykonywania zapytań do modelu
- Filtrowanie danych wejściowych za pomocą reguł
- Filtrowanie za pomocą dużego modelu językowego specjalnego przeznaczenia
- Dodawanie struktury promptu
- Trenowanie antagonistyczne
- Definicja pesymistycznych granic zaufania
- Podsumowanie
5. Czy duży model językowy może wiedzieć zbyt wiele?
- Rzeczywiste przykłady
- Lee Luda
- GitHub Copilot i OpenAI Codex
- Metody zdobywania wiedzy
- Trenowanie modelu
- Trenowanie modelu podstawowego
- Kwestie dotyczące bezpieczeństwa modeli podstawowych
- Dostrajanie modelu
- Niebezpieczeństwo związane z trenowaniem
- Technika RAG
- Bezpośredni dostęp do sieci WWW
- Uzyskiwanie dostępu do bazy danych
- Uczenie się na podstawie interakcji z użytkownikiem
- Podsumowanie
6. Czy modele językowe śnią o wirtualnych baranach?
- Dlaczego duży model językowy ulega halucynacji?
- Rodzaje halucynacji
- Przykłady
- Nieistniejące precedensy prawne
- Proces dotyczący chatbota linii lotniczej
- Nieumyślne skrzywdzenie człowieka
- Halucynacje pakietu otwartoźródłowego
- Kto ponosi odpowiedzialność?
- Najlepsze praktyki w zakresie zmniejszania niebezpieczeństwa
- Rozszerzenie wiedzy ściśle związanej z daną dziedziną
- Łańcuch myśli, który zachęca do większej dokładności
- Mechanizmy przekazywania informacji zwrotnych - potężne możliwości danych wejściowych użytkownika w zmniejszeniu niebezpieczeństwa
- Przejrzysta komunikacja dotycząca oczekiwanego sposobu użycia modelu i jego ograniczeń
- Szkolenie użytkowników - wzmacnianie ich dzięki wiedzy
- Podsumowanie
7. Nie ufaj nikomu
- Wyjaśnienie zerowego zaufania
- Skąd ta paranoja?
- Implementacja architektury zerowego zaufania dla dużego modelu językowego
- Obserwacja pod kątem nadmiernej działalności
- Zabezpieczanie obsługi danych wyjściowych
- Tworzenie własnego filtru danych wyjściowych
- Wyszukiwanie danych osobowych za pomocą wyrażenia regularnego
- Sprawdzanie pod kątem toksyczności
- Połączenie filtrów z dużym modelem językowym
- Oczyszczanie w celu zapewnienia bezpieczeństwa
- Podsumowanie
8. Nie trać głowy
- Ataki typu DoS
- Atak ilościowy
- Atak na protokół
- Atak na warstwę aplikacji
- Epicki atak typu DoS na firmę Dyn
- Przygotowanie ataku typu DoS na duży model językowy
- Ataki na ograniczone zasoby
- Wykorzystanie okna kontekstu
- Nieprzewidywalne dane wejściowe użytkownika
- Ataki typu DoW
- Klonowanie modelu
- Strategie łagodzenia skutków ataku
- Mechanizmy obronne ściśle związane z daną dziedziną
- Weryfikacja danych wejściowych i ich oczyszczanie
- Niezawodne ograniczanie częstotliwości wykonywania zapytań
- Ograniczanie poziomu użycia zasobów
- Monitorowanie i ostrzeganie
- Finansowe wartości progowe i ostrzeżenia
- Podsumowanie
9. Znajdź najsłabsze ogniwo
- Podstawy łańcucha dostaw
- Bezpieczeństwo łańcucha dostaw oprogramowania
- Incydent związany z agencją Equifax
- Incydent związany z SolarWinds
- Luka w zabezpieczeniach Log4Shell
- Poznanie łańcucha dostaw w przypadku dużego modelu językowego
- Ryzyko w modelu otwartoźródłowym
- Zatrucie zbioru danych użytych do wytrenowania modelu
- Przypadkowo niebezpieczne dane uczące
- Niebezpieczne wtyczki
- Tworzenie artefaktów przeznaczonych do śledzenia łańcucha dostaw
- Waga SBOM
- Karty modeli
- Karta modelu a zestawienie komponentów oprogramowania
- CycloneDX - standard zestawienia komponentów oprogramowania
- Powstanie ML-BOM
- Utworzenie przykładowego zestawienia ML-BOM
- Przyszłość bezpieczeństwa łańcucha dostaw dużego modelu językowego
- Podpis cyfrowy i znak wodny
- Bazy danych i klasyfikacje luk w zabezpieczeniach
- Podsumowanie
10. Wyciąganie wniosków na przyszłość
- Przegląd listy OWASP top 10 dla aplikacji wspomaganych przez duże modele językowe
- Studia przypadków
- Dzień Niepodległości - głośna katastrofa
- 2001: Odyseja kosmiczna
- Podsumowanie
11. Zaufaj procesowi
- Ewolucja ruchu DevSecOps
- MLOps
- LLMOps
- Wbudowanie bezpieczeństwa do procesu LLMOps
- Bezpieczeństwo w trakcie procesu programistycznego związanego z dużym modelem językowym
- Zabezpieczanie potoku CI/CD
- Ściśle związane z dużym modelem językowym narzędzia sprawdzania stanu bezpieczeństwa
- Zarządzanie łańcuchem dostaw
- Chroń aplikację za pomocą mechanizmów obronnych
- Rola mechanizmu obronnego w strategii bezpieczeństwa dużego modelu językowego
- Otwartoźródłowe i komercyjne rozwiązania w zakresie mechanizmów obronnych
- Łączenie niestandardowych i gotowych mechanizmów obronnych
- Monitorowanie aplikacji
- Rejestrowanie każdego promptu i odpowiedzi
- Scentralizowane zarządzanie zdarzeniami i dziennikami zdarzeń
- Analiza sposobu działania użytkownika i encji
- Utworzenie własnego red teamu dla sztucznej inteligencji
- Zalety red teamu sztucznej inteligencji
- Red teamy kontra pentesterzy
- Narzędzia i podejścia
- Nieustanne usprawnianie
- Tworzenie i dostrajanie mechanizmów obronnych
- Zarządzanie jakością i dostępem do danych
- Użycie techniki RLHF
- Podsumowanie
12. Praktyczny framework zapewnienia bezpieczeństwa odpowiedzialnej sztucznej inteligencji
- Moc
- Procesory graficzne
- Chmura
- Ruch otwartoźródłowy
- Wielomodalność
- Autonomiczne agenty
- Odpowiedzialność
- Framework RAISE
- Lista rzeczy do sprawdzenia za pomocą frameworka RAISE
- Podsumowanie