Playbook M — Zatrucie modelu i danych (Model / Data Poisoning)

Obrona i reakcja na zatrucie danych treningowych lub modelu AI: fałszywe próbki, błędne etykiety, backdoory w danych, skażone checkpointy z supply-chain, przejęty sygnał feedbacku (RLHF/RLAIF). Poziom AI-native (odrębny od Playbooka I — halucynacja, która dotyczy błędnych odpowiedzi modelu bez celowego ataku na dane/wagi). Priorytet typowy P1, podbijany do P0 przy potwierdzonym backdoorze w modelu produkcyjnym.

Problem — dlaczego to priorytet

Zatrucie działa inaczej niż klasyczny atak sieciowy: skutek jest odroczony i ukryty w wagach modelu, nie w logu dostępu. Skuteczny atak może prowadzić do:

• ukrytego backdoora — model zachowuje się normalnie, dopóki nie pojawi się wyzwalacz (trigger), a wtedy generuje kontrolowaną przez atakującego odpowiedź,
• systematycznej degradacji jakości lub bezpieczeństwa (np. wzrost toksyczności, obejście polityk) bez pojedynczego, oczywistego zdarzenia do wykrycia,
• przejęcia sygnału feedbacku (RLHF/RLAIF) — masowe fałszywe oceny „dobra odpowiedź" przesuwają model w niepożądanym kierunku,
• skażenia całej linii modeli, jeśli zatruty dataset lub checkpoint jest ponownie wykorzystywany jako baza kolejnych wersji (dataset/model lineage).

Wektory ataku

Architektura odpornego pipeline WZORZEC

Docelowy przepływ danych i modelu — punkt odniesienia do oceny, gdzie w konkretnym środowisku brakuje bramy jakości.

Źródła danych
   ↓
Ingest + podpis źródła
   ↓
Quarantine / staging
   ↓
Walidacja statystyczna + semantyczna
   ↓
Dedup + provenance graph
   ↓
Human review dla anomalii
   ↓
Dataset versioning
   ↓
Trening w izolowanym środowisku
   ↓
Ewaluacja bezpieczeństwa
   ↓
Model registry + podpis artefaktu
   ↓
Canary deploy
   ↓
Monitoring produkcyjny

Kontrole prewencyjne

Provenance danych

Każda próbka powinna mieć metadane pochodzenia:

{
  "sample_id": "...",
  "source": "...",
  "collector": "...",
  "timestamp": "...",
  "license": "...",
  "hash": "...",
  "labeler": "...",
  "trust_score": 0.0
}

Dataset versioning

• narzędzie klasy DVC / LakeFS / Delta Lake,
• hash całego datasetu, immutable snapshoty,
• powiązanie model_version → dataset_version → code_version.

Separacja zaufania danych

Detekcja zatrucia danych

Przykład sygnału progowego (koncepcyjny szkielet, nie gotowy kod produkcyjny):

if kl_divergence(new_dist, baseline_dist) > threshold:
    quarantine(batch)

Detekcja zatrucia modelu

Model registry hardening

Każdy model wpisany do registry powinien mieć: podpis kryptograficzny, SBOM/MBOM, hash checkpointu, lineage (skąd pochodzi), wynik ewaluacji. Zasada bramy: nie wdrażaj modelu, którego hash nie zgadza się z registry.

Testy behawioralne przed wdrożeniem

• regression suite (czy stare zachowania działają nadal),
• safety eval,
• red-team prompt set — defensywnie, dane syntetyczne, wyłącznie do weryfikacji odporności, bez publikacji payloadów,
• trigger search (szukanie ukrytych wyzwalaczy),
• porównanie z poprzednią wersją modelu.

Reguła blokady release: przyrost accuracy nie kompensuje spadku bezpieczeństwa (np. Δ accuracy +2%, ale Δ safety −15% = blokada release).

Canary deployment

Automatyczny rollback, jeśli: wzrost odmów błędnych, wzrost toksyczności, spadek zgodności z politykami lub anomalie w klasach odpowiedzi.

Playbook — reakcja na incydent

Metryki odporności

Minimalny zestaw polityk WZORZEC

training_policy:
  require_dataset_version: true
  require_model_signature: true
  allow_untrusted_sources: false
  require_gold_eval: true
  require_safety_eval: true
  require_canary: true
  auto_feedback_training: false

Checklist release

• Dataset ma wersję i hash.
• Źródła danych mają provenance.
• Nie ma nowych nieaudytowanych źródeł.
• Gold set nie pogorszył się.
• Safety eval nie pogorszył się.
• Model podpisany kryptograficznie.
• Checkpoint zgodny z registry.
• Canary plan gotowy.
• Rollback przetestowany.

Flagi prawne i eskalacja

MITRE ATLAS — punkt odniesienia

Adversarial ML Threat Landscape (ATLAS) katalogu MITRE opisuje techniki ataków na systemy ML, w tym klasę „Poison Training Data" i „Backdoor ML Model" PUBLIC CLAIM. Ten playbook mapuje kroki reakcji na te kategorie jako wspólny język z zespołami bezpieczeństwa ML, nie jako twierdzenie o pokryciu każdej techniki z macierzy.

Powiązane strony