Często mówi się o problemie uprzedzeń w systemach AI tak, jakby był to problemem algorytmu. Tymczasem AI uczy się od nas – z naszych decyzji, naszych danych, naszych uprzedzeń. Jeśli chcemy naprawdę mówić o niedyskryminacji w AI, musimy zacząć od zmiany własnego sposobu myślenia i działania.
Prawo a rzeczywistość społeczna
Debata o dyskryminacji w systemach AI coraz częściej koncentruje się na pytaniu, czy obowiązujące i projektowane ramy prawne są w stanie realnie zapobiegać nierównościom, zanim przerodzą się one w konkretne naruszenia praw jednostki. To pytanie jest szczególnie istotne w kontekście ochrony praw człowieka w świecie zdestabilizowanym konfliktami, nacjonalizmami i powrotem do niechlubnej przeszłości, zwłaszcza, gdy chodzi o równouprawnienie kobiet.
Akt w sprawie sztucznej inteligencji (AI Act), choć przez wielu krytykowany, oznacza istotną zmianę sposobu myślenia o relacji człowieka i technologii. Samo przesunięcie akcentu z reagowania na już zaistniały problem na wcześniejsze zarządzanie ryzykiem jest krokiem ważnym. Nie wydaje się to być jednak wystarczające.
Dwa źródła problemu: społeczne i technologiczne
Dlaczego? Powody są co najmniej dwa.
Pierwszy ma charakter społeczny i kulturowy. Wciąż zbyt rzadko zadajemy sobie pytanie, dlaczego tak wiele osób, w tym same kobiety, nie dostrzega problemu dyskryminacji albo nie widzi potrzeby używania żeńskich form nazw zawodów i profesji, tzw. feminatywów. Dlaczego kilkuletnie dzieci rozumieją jeszcze, że lekarzem, prawnikiem, naukowcem lub pilotem może być zarówno kobieta, jak i mężczyzna, ale kilka lat później, poproszone o narysowanie naukowca w zdecydowanej większości wypadków rysują mężczyznę? W językach takich jak polski, w których istnieją zarówno formy męskie, jak i żeńskie, nie jest to kwestia wyłącznie językowa. Język kształtuje świadomość. Język utrwala społeczne wzorce „widzialności” i „niewidzialności”.
Drugi powód ma charakter strukturalny i technologiczny. Zbyt często mówimy o AI tak, jakby była neutralnym narzędziem: jakby po prostu przetwarzała informacje i wytwarzała obiektywne wyniki. Tymczasem to tak nie działa. Każdy system AI operuje nie na samej rzeczywistości, lecz na jej modelu. A model zawsze jest wynikiem szeregu wcześniejszych decyzji. Ktoś wybiera dane, ktoś decyduje, które cechy są istotne, ktoś określa, co będzie uznane za pożądany rezultat. Innymi słowy, zanim system zacznie „decydować”, już wcześniej podjęto cały ciąg decyzji o tym, co ma być widoczne, mierzalne i relewantne.
Mit neutralności technologii
W tym sensie neutralność technologii jest w dużej mierze mitem. Każda architektura techniczna coś redukuje. Redukuje człowieka do danych, kontekst do zmiennych, a decyzję do wyniku mieszczącego się w określonym progu. Z technicznego punktu widzenia jest to konieczne, ponieważ system nie jest w stanie operować na pełnej złożoności ludzkiego życia. Problem jednak polega na tym, że to konieczne uproszczenie mylimy często z obiektywizmem.
Model nie rozumie osoby w sensie społecznym, moralnym ani prawnym. Widzi raczej profil statystyczny, korelacje i prawdopodobieństwa. Tymczasem prawo chroni osobę, a nie wzorzec statystyczny. To napięcie ma charakter fundamentalny. Technologia upraszcza, natomiast prawo musi uwzględniać godność, kontekst i indywidualną sytuację człowieka. W praktyce oznacza to, że system może być bardzo skuteczny według własnej logiki, a zarazem głęboko niesprawiedliwy z perspektywy jednostki. Może świetnie optymalizować trafność, szybkość czy redukcję kosztów, ale nie potrafi sam z siebie optymalizować pod kątem godności, równości czy sprawiedliwości. Te wartości nie pojawiają się w modelu automatycznie. Muszą zostać do niego wprowadzone decyzją projektową, organizacyjną i prawną.
AI Act – ważny, ale niewystarczający
Regulacje zatem, choć bardzo potrzebne, nie rozwiązują problemu szeroko pojętej dyskryminacji. AI Act koncentruje się na zarządzaniu ryzykiem, nadzorze człowieka, jakości danych i mechanizmach kontroli. Wszystkie te elementy są konieczne. Zakładają jednak, że każde ryzyko można odpowiednio wcześnie zidentyfikować i opisać. Tymczasem część zagrożeń ujawnia się dopiero w praktyce: wtedy, gdy system zaczyna działać w określonym kontekście instytucjonalnym, wpływa na realnych ludzi i zostaje wpisany w konkretne praktyki organizacyjne. Dlatego AI Act należy traktować raczej jako dobry początek niż ostateczne rozwiązanie problemu.
Kluczowe jest zrozumienie, także przez organy nadzoru, że systemy AI nie tylko odwzorowują rzeczywistość społeczną, ale także ją współkształtują. Upraszczają ją, eliminują przypadki graniczne, aby generować wyniki bardziej spójne i skalowalne, a przez to mogą wzmacniać istniejące mechanizmy wykluczenia.
Gdzie powstaje bias?
To prowadzi do kolejnego problemu: nawet jeśli dyskryminacja już wystąpi, jej „wyłapanie” i udowodnienie bywa niezwykle trudne. Kiedy mówimy o uprzedzeniach (ang. bias), zbyt często skupiamy się wyłącznie na samym algorytmie. Tymczasem uprzedzenie może pojawić się w systemie AI na wielu etapach.
Po pierwsze, na wejściu. Dane mogą być niepełne, historycznie obciążone lub zwyczajnie niereprezentatywne. Jeżeli wcześniejsze decyzje odzwierciedlały nierówności, system bardzo łatwo nauczy się ich powielania. Po drugie, problem może tkwić w samym modelu. Ktoś definiuje funkcję celu, ktoś decyduje, co dokładnie ma być optymalizowane: efektywność, obniżanie kosztów, szybkość. To nie są neutralne ustawienia techniczne, lecz decyzje normatywne, które wpływają na to, kto zostanie odrzucony, zakwalifikowany jako ryzykowny albo uznany za niewiarygodnego. Po trzecie, problem pojawia się na wyjściu. Nawet jeśli system formalnie ma jedynie wspierać decyzję człowieka, w praktyce jego rekomendacja może działać jak silna sugestia, której nikt realnie nie kwestionuje (problem nadmiernego polegania na AI).
Dobrym przykładem są systemy scoringu kredytowego. Dwie osoby mogą mieć bardzo zbliżony profil finansowy, ale jeśli system wykorzystuje lokalizację jako zmienną zastępczą, może wygenerować odmienne wyniki wyłącznie ze względu na miejsce zamieszkania. W efekcie dochodzi do dyskryminacji pośredniej. Podobne mechanizmy obserwowaliśmy w rekrutacji, gdzie systemy trenowane na historycznych danych uczyły się faworyzować męskich kandydatów, ponieważ odtwarzały wcześniejsze wzorce zatrudniania. W ochronie zdrowia stosowano z kolei systemy, które traktowały koszt jako przybliżenie potrzeby medycznej. Ponieważ niektóre grupy historycznie miały gorszy dostęp do opieki zdrowotnej, generowały niższe koszty, a więc system wnioskował, że potrzebują mniej opieki. To pokazuje bardzo wyraźnie, że tzw. bias nie jest wyłącznie błędem technicznym. Najczęściej jest odbiciem historycznie ukształtowanej rzeczywistości społecznej.
Problem dowodowy i dostęp do ochrony prawnej
Z perspektywy prawnej wykazanie takiej dyskryminacji bywa szczególnie trudne. Tradycyjne instrumenty prawa antydyskryminacyjnego opierają się na porównaniu sytuacji, wskazaniu wyraźnego kryterium różnicowania i ustaleniu związku przyczynowego. Tymczasem w systemach AI logika decyzji bywa rozproszona, nieprzejrzysta i trudna do odtworzenia. Bez dostępu do danych, dokumentacji, logiki systemu i sposobu jego wdrożenia, prawo do skutecznej ochrony prawnej może być iluzoryczne.
Potrzebujemy zatem nie tylko narzędzi takich jak audyty algorytmiczne lub testowanie wyników pod kątem efektów dyskryminacyjnych, ale również praw, które czynią te narzędzia realnie użytecznymi. Oznacza to przede wszystkim dostęp do istotnych zbiorów danych, obowiązki przejrzystości i wyjaśnialności, a w pewnych sytuacjach także przesunięcie ciężaru dowodu. Unia Europejska próbowała odpowiedzieć na część tych problemów przez projekt dyrektywy o odpowiedzialności pozaumownej za systemy AI (AI Liability Directive). Dyrektywa ta nie była idealna, w wielu miejscach stanowiła daleko idący kompromis, ale była próbą stworzenia instrumentów procesowych lepiej dostosowanych do sporów dotyczących AI. W momencie zwrotu deregulacyjnego projekt ten jednak został wycofany. W rezultacie musimy nadal opierać się głównie na krajowych systemach prawnych państw UE, które są zróżnicowane i często niedostosowane do spraw związanych z systemami AI.
Na tym tle szczególnie ważne staje się pytanie o odpowiedzialność. Kto właściwie powinien ponosić odpowiedzialność za zapobieganie dyskryminacji w AI? Tradycyjne podejście do odpowiedzialności nie pasuje do architektury tych systemów. AI nie działa linearnie. To ekosystem. Mamy deweloperów projektujących model, dostawców danych, dostawców systemów AI integrujących różne modele i dostosowujących je do określonego kontekstu, organizacje wdrażające system oraz osoby posługujące się nim w praktyce. Odpowiedzialność jest więc rozproszona. AI Act częściowo rozwiązuje ten problem wskazując za co odpowiada dostawca systemu AI wysokiego ryzyka i że jego rola w zapewnieniu zgodności jest kluczowa. Wiele najważniejszych decyzji zapada przecież na długo przed uruchomieniem systemu w środowisku użytkowym. Jeżeli system AI od początku ma maksymalizować efektywność lub redukować koszty, może systematycznie pogarszać sytuację określonych grup. Kontrowersje dotyczą często nie tylko samych wyników, ale już samego sposobu zdefiniowania „ryzyka” i metod jego pomiaru. W kwestii odpowiedzialności bardziej zatem powinniśmy raczej pytać o to, kto miał kontrolę, kto mógł przewidzieć ryzyko i kto miał realną możliwość zapobieżenia szkodzie.
„Ethics by design” – hasło marketingowe czy realny obowiązek?
Podobną operacjonalizację trzeba zastosować wobec pojęć takich jak „ethics by design” czy „fundamental rights by design”. Są one dziś bardzo popularne, ale jeśli nie przełoży się ich na mierzalne obowiązki, pozostaną hasłami marketingowymi. Etyka nie może być dodatkiem do gotowego produktu. Problemy etyczne pojawiają się od samego początku: przy definiowaniu celu, wyborze danych, ustalaniu metryk oceny i progów decyzyjnych. To nie są decyzje wyłącznie techniczne, lecz decyzje odzwierciedlające określone wartości i priorytety.
Przykłady systemów rozpoznawania twarzy, które osiągały wyraźnie gorsze wyniki wobec kobiet oraz osób o ciemniejszym kolorze skóry, nie pokazują po prostu „usterki technologicznej”. Pokazują skutki konkretnych decyzji dotyczących danych i systemu. Jeśli więc traktujemy etykę poważnie, musimy przełożyć ją na obowiązki takie jak obowiązkowe oceny skutków – dla praw podstawowych, dla ochrony danych, systematyczne testowanie na różnych grupach, rzetelne dokumentowanie ograniczeń systemu czy zapewnienie rzeczywistego, a nie pozornego nadzoru człowieka.
Równość ≠ identyczność
W tym miejscu trzeba dodać jeszcze jedno ważne zastrzeżenie: równość nie oznacza identyczności. Nie każde zróżnicowanie wyników jest automatycznie bezprawną dyskryminacją. Prawo nie zakazuje wszelkiego różnicowania ludzi ani wszystkich różnic w rezultatach decyzji. Zakazuje przede wszystkim takiego różnicowania, które jest arbitralne, nieproporcjonalne albo oparte na przesłankach niedozwolonych.
To istotne, ponieważ w debacie o AI bardzo łatwo popaść w uproszczenie, zgodnie z którym każda nierówność statystyczna musi oznaczać niedozwoloną dyskryminację. Oczywiście tak nie jest. Kluczowe jest, na jakiej podstawie dochodzi do zróżnicowania, jakiemu służy celowi i czy można je obiektywnie uzasadnić. Czasem różnicowanie jest nie tylko dopuszczalne, ale wręcz konieczne. Rzeczywista równość nie polega przecież na mechanicznym traktowaniu wszystkich identycznie, bez względu na ich sytuację. Taki automatyzm bywa wygodny dla systemu, ale nie zawsze jest sprawiedliwy dla człowieka.
W wielu przypadkach właśnie sensowne różnicowanie lepiej chroni prawa jednostki i lepiej odpowiada na realne potrzeby. Dotyczy to zarówno osób znajdujących się w trudniejszej sytuacji, wymagających dodatkowego wsparcia czy ochrony, jak i tych, których kompetencje, zdolności czy predyspozycje uzasadniają odmienne potraktowanie. Osoba z niepełnosprawnością, osoba wykluczona cyfrowo czy osoba w szczególnie wrażliwej sytuacji społecznej albo ekonomicznej może potrzebować odmiennego podejścia po to, aby rezultat był rzeczywiście sprawiedliwy.
Technologia AI bardzo dobrze radzi sobie z klasyfikowaniem, segmentowaniem i przewidywaniem. Znacznie gorzej radzi sobie natomiast z rozumieniem, które różnice między ludźmi mają znaczenie prawne i moralne, a które nie powinny wpływać na decyzję w ogóle. Właśnie dlatego pozorna neutralność systemu może utrudniać zauważenie niesprawiedliwości. Nie każda różnica w rezultacie jest problemem, ale problem pojawia się wtedy, gdy system różnicuje ludzi według kryteriów nieuprawnionych, ukrytych lub nieproporcjonalnych, a jego techniczna forma maskuje ten fakt.
Problem asymetrii
Środki ochrony prawnej, którymi dysponujemy są dla osoby dotkniętej decyzją systemu AI niewystarczające. Głównym problemem jest asymetria. Osoba, której dotyczy decyzja, często nawet nie wie, że wykorzystano wobec niej system AI, nie rozumie, jak podjęto decyzję, i nie ma realnej możliwości jej zakwestionowania. Przejrzystość stosowania AI przez użytkowników instytucjonalnych i biznesowych jest zatem kluczowa. Składa się na nią nie tylko wiedza o użyciu systemu AI, ale odpowiedni stopień wyjaśnialności i efektywne mechanizmy egzekwowania prawa.
Potrzebujemy w związku z tym lepszej ekspertyzy wśród dostawców i podmiotów stosujących systemy AI oraz bardziej krytycznego namysłu nad projektowaniem technologii z jednej strony oraz dobrze przygotowanych i kompetentnych organów nadzoru z drugiej, aby nasze systemy prawne, organizacje i społeczeństwo były zdolne odpowiedzieć na ogromną skalę reprodukcji nierówności.