Zobacz także:

• Jak zhakowa 125,00 zł, (10,00 zł -92%)
• Biologika Sukcesji Pokoleniowej. Sezon 3. Konflikty na terytorium 126,36 zł, (13,90 zł -89%)
• Windows Media Center. Domowe centrum rozrywki 66,67 zł, (8,00 zł -88%)
• Podręcznik startupu. Budowa wielkiej firmy krok po kroku 92,67 zł, (13,90 zł -85%)
• Ruby on Rails. Ćwiczenia 18,75 zł, (3,00 zł -84%)

Spis treści

Projektowanie aplikacji LLM. Holistyczne podejście do dużych modeli językowych -- spis treści

Przedmowa

Część I. Składniki modeli językowych

• 1. Wprowadzenie
  • Definicja LLM-ów
  • Krótka historia LLM-ów
    • Początki
    • Era współczesnych LLM-ów
  • Wpływ LLM-ów
  • Zastosowanie modeli językowych w przedsiębiorstwach
  • Prompty
    • Podpowiadanie bez przykładów (ang. zero-shot)
    • Podpowiadanie z kilkoma przykładami (ang. few-shot)
    • Metoda łańcucha myśli
    • Łańcuchy promptów
    • Prompty adwersaryjne
  • Korzystanie z modeli językowych za pośrednictwem API
  • Mocne strony i ograniczenia modeli językowych
  • Budowanie pierwszego prototypowego czatbota
  • Od koncepcji do wdrożenia
  • Podsumowanie
• 2. Dane do treningu wstępnego
  • Składniki LLM-a
  • Wymagania dotyczące danych do treningu wstępnego
  • Popularne zbiory danych do treningu wstępnego
  • Syntetyczne dane do treningu wstępnego
  • Wstępne przetwarzanie danych treningowych
    • Filtrowanie i oczyszczanie danych
    • Wybieranie wartościowych dokumentów
    • Deduplikacja
    • Usuwanie danych osobowych
    • Dekontaminacja zbioru treningowego
  • Wpływ danych do treningu wstępnego na wykonywanie docelowych zadań
  • Problemy stronniczości i sprawiedliwości w zbiorach danych do treningu wstępnego
  • Podsumowanie
• 3. Słownik i tokenizacja
  • Słownik
  • Tokenizatory
  • Potok tokenizacji
    • Normalizacja
    • Tokenizacja wstępna
    • Tokenizacja
    • Kodowanie par bajtów
    • WordPiece
    • Tokeny specjalne
  • Podsumowanie
• 4. Architektury i cele uczenia
  • Wprowadzenie
  • Reprezentowanie znaczenia
  • Architektura transformera
    • Samouwaga
    • Kodowanie pozycyjne
    • Sieci z propagacją w przód
    • Normalizacja warstw
  • Funkcje straty
  • Wewnętrzna ewaluacja modelu
  • Szkielety transformera
    • Architektury enkoderowe
    • Architektury enkoderowo-dekoderowe
    • Architektury dekoderowe
    • Kombinacja ekspertów
  • Cele uczenia
    • Pełne modelowanie języka
    • Prefiksowe modelowanie języka
    • Maskowane modelowanie języka
    • Które cele uczenia są lepsze?
  • Wstępne trenowanie modeli
  • Podsumowanie

Część II. Używanie modeli językowych

• 5. Dostosowywanie modeli językowych do własnych potrzeb
  • Krajobraz modeli językowych
    • Kim są dostawcy LLM-ów?
    • Odmiany modeli
    • Otwarte modele językowe
  • Jak wybrać LLM odpowiedni do określonego zadania?
    • LLM-y otwarte a zastrzeżone
    • Ocena LLM-ów
  • Wczytywanie modeli językowych
    • Hugging Face Accelerate
    • Ollama
    • API wnioskowania w LLM-ach
  • Strategie dekodowania
    • Dekodowanie zachłanne
    • Wyszukiwanie wiązkowe
    • Próbkowanie top-k
    • Próbkowanie top-p
  • Wnioskowanie z użyciem LLM-ów
  • Wyniki ustrukturyzowane
  • Debugowanie i interpretowanie modeli
  • Podsumowanie
• 6. Dostrajanie
  • Potrzeba dostrajania
  • Dostrajanie - pełny przykład
    • Parametry algorytmów uczenia się
    • Parametry optymalizacji pamięci
    • Parametry regularyzacji
    • Rozmiar partii
    • Dostrajanie efektywne parametrycznie
    • Praca ze zmniejszoną precyzją
    • Łączenie wszystkiego w całość
  • Zbiory danych do dostrajania
    • Wykorzystanie ogólnodostępnych zbiorów danych do dostrajania instrukcyjnego
    • Zbiory danych do dostrajania instrukcyjnego generowane przez LLM-y
  • Podsumowanie
• 7. Zaawansowane techniki dostrajania modeli
  • Ciągły trening wstępny
    • Przypominanie (pamięć)
    • Rozszerzanie parametrów
  • Dostrajanie efektywne parametrycznie
    • Dodawanie nowych parametrów
    • Metody podzbiorowe
  • Łączenie wielu modeli
    • Zespalanie modeli
    • Fuzja modeli
    • Scalanie adapterów
  • Podsumowanie
• 8. Trening dostosowawczy i rozumowanie
  • Definicja treningu dostosowawczego
  • Uczenie przez wzmacnianie
    • Typy informacji zwrotnych od człowieka
    • Przykład RLHF
  • Halucynacje
  • Ograniczanie halucynacji
    • Spójność wewnętrzna
    • Łańcuch działań
    • Recytacja
    • Metody próbkowania do zapobiegania halucynacjom
    • Dekodowanie przez kontrastowanie warstw
  • Halucynacje kontekstowe
  • Halucynacje spowodowane nieistotnymi informacjami
  • Rozumowanie
    • Rozumowanie dedukcyjne
    • Rozumowanie indukcyjne
    • Rozumowanie abdukcyjne
    • Rozumowanie zdroworozsądkowe
  • Indukowanie rozumowania w LLM-ach
    • Weryfikatory poprawiające rozumowanie
    • Obliczenia w czasie wnioskowania
    • Dostrajanie pod kątem rozumowania
  • Podsumowanie
• 9. Optymalizacja wnioskowania
  • Wyzwania związane z wnioskowaniem
  • Techniki optymalizacji wnioskowania
  • Techniki ograniczające zużycie mocy obliczeniowej
    • Buforowanie kluczy i wartości
    • Wczesne kończenie
    • Destylacja wiedzy
  • Techniki przyspieszające dekodowanie
    • Dekodowanie spekulacyjne
    • Dekodowanie równoległe
  • Techniki zmniejszające zapotrzebowanie na pamięć
    • Kwantyzacja symetryczna
    • Kwantyzacja asymetryczna
  • Podsumowanie

Część III. Paradygmaty zastosowań LLM-ów

• 10. Łączenie LLM-ów z narzędziami zewnętrznymi
  • Modele interakcji z LLM-ami
    • Podejście pasywne
    • Podejście jawne
    • Podejście autonomiczne
  • Definicja agenta
  • Agentowy przepływ pracy
  • Komponenty systemu agentowego
    • Modele
    • Narzędzia
    • Magazyny danych
    • Prompt pętli agenta
    • Zabezpieczenia i weryfikatory
    • Oprogramowanie do koordynowania agentów
  • Podsumowanie
• 11. Uczenie reprezentacji i osadzenia
  • Wprowadzenie do osadzeń
  • Wyszukiwanie semantyczne
  • Miary podobieństwa
  • Dostrajanie modeli osadzeń
    • Modele bazowe
    • Zbiór danych treningowych
    • Funkcje straty
  • Osadzenia instrukcyjne
  • Optymalizacja rozmiaru osadzenia
    • Osadzenia matrioszkowe
    • Osadzenia binarne i całkowitoliczbowe
    • Kwantyzacja iloczynowa
  • Segmentacja tekstu
    • Segmentacja z przesuwającym się oknem
    • Segmentacja uwzględniająca metadane
    • Segmentacja uwzględniająca układ
    • Segmentacja semantyczna
    • Segmentacja późna
  • Wektorowe bazy danych
  • Interpretowanie osadzeń
  • Podsumowanie
• 12. Generowanie wspomagane wyszukiwaniem
  • Zalety RAG
  • Typowe scenariusze z RAG
  • Kiedy wyszukiwać dane?
  • Potok RAG
    • Przeformułowywanie
    • Wyszukiwanie
    • Ponowne szeregowanie
    • Dopracowywanie
    • Wstawianie
    • Generowanie
  • Zarządzanie pamięcią z użyciem RAG
  • Wybieranie kontekstowych przykładów treningowych z użyciem RAG
  • Trenowanie modeli z użyciem RAG
  • Ograniczenia metody RAG
  • RAG a długi kontekst
  • RAG a dostrajanie modelu
  • Podsumowanie
• 13. Wzorce projektowe i architektura systemów
  • Architektury wielomodelowe
    • Kaskady LLM-ów
    • Routery
    • LLM wyspecjalizowane w konkretnych zadaniach
  • Paradygmaty programistyczne
    • DSP-y
    • LMQL
  • Podsumowanie