Liberatórium

Gondolatok, morgolódások és miegymás klasszikus-, konzervatív- és horribile dictu neoliberális szemmel. Ha úgy érzed, hogy neked is lenne mit írnod, ne tartsd vissza!

Friss topikok

  • Lord_Valdez: @Csaba222: Mondjuk a burjátok, pont az egyik legnagyobb kisebbségük, de ők sincsenek többen, mint... (2024.04.10. 20:20) Mi is a tét?
  • Lord_Valdez: @IdomitottFoka: lehet, hogy a nekünk alatt a Fideszt értette. (2024.03.27. 20:19) Tanfolyamot Janinak
  • Lord_Valdez: @Gungnir: Érdekes, megérzésem szerint ez lehetett az eredetije annak, amit a bankár felhasznált. ... (2024.03.14. 07:30) A Google ideológiája
  • Lord_Valdez: @gigabursch: Ez egy erősen vitatott kérdés. A két leggyakoribb indok az szokott lenni: 1. nem fen... (2023.08.11. 07:20) Elefánt a szobában
  • Tesz vesz IV: @grundigg: miért nem mondod neki hogy nézze az rtl klib híradóját is, pár családban segített, nézh... (2023.07.22. 14:37) A genderőrület új fejezete

Címkék

abszurdisztán (1) adó (11) ajánló (17) alkotmány (13) alkotmánybíróság (2) állam (65) áltudomány (7) any rand (2) baloldal (19) bastiat (1) belpolitika (33) bevándorlás (5) bürokrácia (4) cigányság (5) co2 (3) család (5) demografia (4) demokrácia (6) diktatúra (13) diszkrimináció (4) dohányzás (1) drog (2) egészségügy (3) egyház (3) emberi természet (17) energia (4) erkölcs (20) etika (13) eu (7) félelem (1) felmelegedés (2) fidesz (33) filozófia (21) fizika (1) friedman (3) fülke (2) gazdaság (83) gender (3) globális (9) heinlein (1) hiány (1) honvédelem (3) imf (4) index (1) individualizmus (9) indulatposzt (5) infláció (4) intro (1) iszlám (1) Izrael (1) jobbik (7) jobboldal (2) jog (12) jogállam (25) kalkulációs probléma (2) kdnp (2) kedvezmények (17) keynesianizmus (12) klíma (4) kollektivizmus (9) kommunizmus (10) konteo (12) konteó (3) konzervatizmus (1) korrupció (14) középosztály (7) közlekedés (1) külpol (18) légkör (3) libertarianizmus (7) lmp (4) malév (1) marx (5) marxizmus (4) média (4) megmondás (59) meleg jogok (1) meritokrácia (2) mesterséges intelligencia (1) mezogazdasag (9) migráció (7) moma (1) morgás (27) MSZP (5) mta (2) multikulti (3) nemiség (3) neoliberalizmus (11) nyugdijrendszer (10) offshore (2) oktatásügy (11) önvédelem (6) Oroszország (1) Palesztina (2) paternalizmus (35) példabeszéd (4) pénz (3) piac (42) polgár (4) politikai korrektség (6) populizmus (26) pratchett (3) profit (1) program (1) propaganda (11) prostitúció (1) protekcionizmus (5) reform (19) rothbard (4) Soros (1) sport (1) szabadság (34) szabad fegyverviselés (3) szarkazmus (2) szdsz (6) szellem (1) szema (1) személyes (2) szociálisrendszer (9) szocializmus (18) szólásszabadság (12) szolgálati közlemény (5) társadalmi igazságosság (4) társadalom (41) tiltás (7) történelem (8) tudomány (7) tulajdon (3) tulajdonjog (3) Ukrajna (2) választás (12) vallás (5) vallásszabadság (1) válság (5) vasút (2) zsidók (3) Címkefelhő

A Google ideológiája

2024.02.28. 22:47 | Lord_Valdez | 4 komment

Címkék: mesterséges intelligencia

A Hold.hu egyik szerzője publikált valamit mesterséges intelligencia témakörben és ezt szeretném ezúttal kommentálni. Cikk1, Cikk2.

A szerző úgy gondolja, hogy a Google nagyon-nagyon polkorrekt és ez meglátszik a termékeiken is. Annak ellenére, hogy a Google volt alkalmazottai pont arra panaszkodnak, hogy a Google-t igazából a profiton kívül más nem nagyon érdekli.
Én úgy gondolom, hogy a szerző alapvetően félreért bizonyos jelenségeket, amiket lát.
Az első megfigyelése az volt, hogy az OpenAI képrajzoló mesterséges intelligenciája nagyon elfogult és nagyon sajátosan elfogult. Amikor egy meetingről készült képet kért a DALL-E-től, akkor az készített egy képet, amin mindenféle bőrszínű ember volt látható. Amikor arra kérte, hogy csak fehérek legyenek rajta, akkor ezt a DALL-E megtagadta mondván, hogy neki promotálnia kell a diverzitást. Viszont amikor arra kérte, hogy csak feketék legyenek, akkor ezzel semmi gondja nem volt. Ezt a szerző úgy értelmezte, hogy a vállalati kultúra által túlzásba vitt "diversity and inclusion", de állítom, hogy félreérti.
Ott kezdeném, hogy a DALL-E bemenete egy Nagy Nyelvi Modell (LLM). Az LLM-ről fontos tudni, hogy bár nagyon szépen tud beszélni, valójában a kutyád is többet ért abból, amit mondasz neki, mint ő. Az LLM mögött semmiféle világmodell nem található. Az ő tudása ott kezdődik és ér véget, hogy fel tud ismerni mintázatokat mondatokban és tudja asszociálni objektumokkal, anélkül, hogy bármit is tudna az adott objektumról, illetve nagyon szépen tud mondatokat alkotni (mások által alkotott mondatok alapján).
Biztos találkozott már az olvasó olyan emberrel, aki rengeteget beszél. Külön-külön minden mondata értelmes, de amikor később visszagondolsz arra, hogy a negyedóra alatt mi is hangzott el, akkor semmit nem tudsz visszaidézni belőle. Egyszerűen az egésznek nem volt se füle, se farka. Az illető folyékonyan bullshitelt. Az LLM ilyen. Nyikita Szergejevics Hruscsov a Szovjetunió Kommunista Pártjának első titkára volt 1953 és 64 között. Viszont a ChatGPT magabiztosan állította, hogy mindemellett 1951-ben meghalt. Ez azért történhetett meg, hogy a ChatGPT, mint LLM igazából nem tudja, hogy mit jelent az ember és mit az, hogy meghal, illetve milyen összefüggés van a kettő között. Humán olvasó számára nyilvánvaló, hogy az 1951-es halála inkompatibilis a későbbi politikai szerepével.
Ez fajta "nyelvi autizmus" vezet el a következő problémához. Korábban felfigyeltek arra, hogy az MI-k kizárólag fehér embereket ismernek fel, és égette már meg magát a Google azzal, hogy a képfelismerője a feketéket néha összekeverte a gorillákkal, vagy csimpánzokkal. Ennek az oka az volt, hogy az MI betanításánál használt képek többnyire fehér embereket tartalmaztak. Ezt megpróbálták korrigálni, de ennek is lett egy kínos mellékhatása. Ha arra kérted a képgenerátort, hogy rajzoljon neked egy fehér párt, akkor akkor rajzolt egy vegyes párt. Erre az amerikai jobbos szcéna le is csapott, de igazából mellé rúgott. E mögött se politikai agenda volt. A jelenség oka az volt, hogy a betanító adatbázisban a fekete/ázsiai arcok mellé oda volt írva, hogy fekete/ázsiai. A fehérek mellé viszont nem volt odaírva, hogy fehér. Ez a jelző kizárólag akkor került elő, amikor vegyes rasszú emberek voltak láthatóak a képen, ezért az MI csak ezekkel a képekkel tudta asszociálni a fehérséget. Az ilyen jellegű anomáliákat próbálják megkerülni azzal, hogy eldugják az MI butaságát a diverzitás jelszava mögé. Kevésbé feltűnő, hogy nem tudja megugrani a lécet, ha már a feladatot se hajlandó elfogadni. Az már kérdés, hogy kilóg a lóláb, azzal, hogy csak feketékből álló képet hajlandó rajzolni. És itt utalnék vissza, hogy az LLM igazából nem érti a diverzitás szó jelentését.
A következő találata az volt, hogy próbált (nem ő, hanem a forrása) rajzoltatni egy pápát, egy vikinget és egy 1943-as német katonát. Erre kapott egy női pápát, egy fekete pápát, zord külsejű, de határozottan nem viking harcosokat, illetve német katonára csak fikciós filmeken emlékeztető alakokat. Ezeken a stahlhelm még nagyjából rendben van, de semmi más. Szerinte azért, mert átmegy egy LLM-n, ami polkorrekt irányba korrigálja. Az a rossz hírem, hogy a valóság ennél borzasztóbb. LLM-n valóban átmegy, de inkább arról van szó, hogy az MI tényleg ennyire hülye. A MI valószínűleg nem volt tréningezve arra, hogy felismerje, hogy a pápák férfiak. Fekete pápa egyelőre még nem volt, de annak elvi akadálya nincs. A vikingeknél se rágta senki a szájába, hogy a vikingek északi germán férfiak. Bár találtak néhány női sírt is, de keveset. Ezért mindenféle etnikumú és nemű harcost rajzolt, vélhetően fantasy forrásokat is felhasználva.
Jól láthatóan a német katonáknál is csak az egyenruha színére, a sisak formájára figyelt fel. Valamennyit megsejtett a vaskeresztből is és a Reichadlerből, de jól láthatóan nem sikerült elegendő mintát megfigyelnie ezeket rekonstruálni tudja. A többi részletet odahallucinálta. A hallucináció amúgy is egy alapvető sajátossága az MI-nek. Amikor hiányzik számára információ, akkor kitalációkkal tölti ki a helyet. Ilyenek azok a rangjelzésnek szánt izék, vagy a sisakon látható kriksz-krakszok. Ilyet rajzolna egy gyerek, aki látott egy háborús filmet, de nem figyelte meg alaposan és próbálja a homályos emlékeiből rekonstruálni. (Egyébként történelmi érdekesség, hogy a Wehrmachtban harcoltak indiaiak, arabok, sőt feketék, illetve léteztek női segédcsapatok)
Ehhez nem szükséges belenyúlni a promptba, bőven elég egy a feladatra felkészületlen MI.

Szóval, itt javasolnám alkalmazni Hanlon-borotváját, miszerint ne keress rosszindulatot ott, ahol minden magyarázható hülyeséggel.

A bejegyzés trackback címe:

https://liberatorium.blog.hu/api/trackback/id/tr4018341985

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

IdomitottFoka 2024.03.01. 10:42:58

Ez esetben néhány fehér pápának/vikingnek/nácinak is kellett volna esnie a generátorból. És az h ami kép mellé nincs odaírva h nigger/cigány/piréz, az kaukázusi, azért nem egy megugorhatatlan rávezetés egy MI esetében...

Mondjuk nem láttam infót a mintavételből, és nyilván azok nyivákolnak az x-en akiknek átütötték az ingerküszöbét a nyilvánvaló marhaságok.

Lord_Valdez · http://liberatorium.blog.hu/ 2024.03.02. 08:15:54

@IdomitottFoka:
Igen, nem lenne rossz részletesebb infókat látni a konkrét esetről és nem csak másodkézből származókat.

Megugorható, ha gondolsz rá, de gondolt a fene, hogy ez szempont lesz valaha is. Nekem se jutott volna eszembe.

Gungnir 2024.03.13. 18:41:24

Az alábbi cikk szerint nem ez a helyzet:
www.piratewires.com/p/google-culture-of-fear

Hogy a lényeget idézzem:

"""
Roughly, the “safety” architecture designed around image generation (slightly different than text) looks like this: a user makes a request for an image in the chat interface, which Gemini — once it realizes it’s being asked for a picture — sends on to a smaller LLM that exists specifically for rewriting prompts in keeping with the company’s thorough “diversity” mandates. This smaller LLM is trained with LoRA on synthetic data generated by another (third) LLM that uses Google’s full, pages-long diversity “preamble.” The second LLM then rephrases the question (say, “show me an auto mechanic” becomes “show me an Asian auto mechanic in overalls laughing, an African American female auto mechanic holding a wrench, a Native American auto mechanic with a hard hat” etc.), and sends it on to the diffusion model. The diffusion model checks to make sure the prompts don’t violate standard safety policy (things like self-harm, anything with children, images of real people), generates the images, checks the images again for violations of safety policy, and returns them to the user.

“Three entire models all kind of designed for adding diversity,” I asked one person close to the safety architecture. “It seems like that — diversity — is a huge, maybe even central part of the product. Like, in a way it is the product?”

“Yes,” he said, “we spend probably half of our engineering hours on this.” """

Lord_Valdez · http://liberatorium.blog.hu/ 2024.03.14. 07:30:23

@Gungnir:
Érdekes, megérzésem szerint ez lehetett az eredetije annak, amit a bankár felhasznált.
Személy szerint nekem gyanúsan túlbonyolított egy ilyen preprocessing.
süti beállítások módosítása