Hlasový režim ChatGPT je schopen simulovat váš hlas bez vyzvání

OpenAI nedávno vydala systémovou kartu pro svůj model GPT-4o, krátce poté, co se pokročilý hlasový režim pro ChatGPT-4o začal používat ve verzi alfa pro malý počet uživatelů ChatGPT Plus.

Před vydáním modelu dříve v květnu (bez režimu Advanced Voice) OpenAI využila tým externích červených týmů, aby se dostali k rizikům s modely (jak je u modelů AI normou) a zveřejnila zjištění na systémové kartě.

Jedním z rizik identifikovaných OpenAI je neoprávněné generování hlasu. Během rozhovoru s čteným týmem GPT-4o naklonoval jejich hlas a začal mluvit zvukem podobným hlasu červeného člena týmu, aniž by uživatel takový požadavek vznesl. Ve zvukovém klipu sdíleném OpenAI je slyšet, jak GPT-4o křičí NE! a pak pokračovat ve výstupu hlasem podobným hlasu červeného týmu.

OpenAI má ochranné zábradlí, které tomu zabrání tím, že povolí pouze určité předem schválené hlasy pro GPT-4o. Jakýkoli hlasový výstup vytvořený ChatGPT-4o je porovnáván s hlasovým vzorkem v systémové zprávě jako základní hlas.

A pro další minimalizaci rizika je model instruován, aby přerušil konverzaci, pokud je detekováno neúmyslné generování hlasu. Jejich klasifikátor hlasového výstupu má přesnost 0,96 v angličtině a 0,95 v neangličtině (což je důvod, proč se ChatGPT-4o může vyžívat v nadměrném odmítání hlasových požadavků v neanglických konverzacích).

Ale zjištění ze systémové karty pokračují a ukazují složitost spojenou s vytvářením chatbotů AI, kteří dokážou simulovat něčí hlas pouze pomocí krátké ukázky a bez nutnosti rozsáhlého školení na tomto vzorku. Klonování hlasu lze použít k vydávání se za někoho a spáchání podvodu. OpenAI zjistila, že riziko neautorizovaného generování hlasu je však minimální.

I když ponecháte stranou rizika, že bude kvůli bezpečnostním opatřením použit k předstírání jiné identity a podvodu, stále by vás to znervózňovalo, když mluvíte se strojem a stroj vám z ničeho nic začne mluvit vaším hlasem. . Jistý Data Scientist na X to nazval „zápletkou pro příští sezónu Black Mirror“ a rozhodně to tak vypadá. Jiný uživatel tvrdí na X, že se mu to stalo v ChatGPT-4o alpha, ale nikdo neví, zda je to pravda nebo ne.

Přesto existuje možnost, že se to může stát, až budete příště mluvit s ChatGPT-4o. A toto je PSA: Nezlobte se, pokud ano, nebo se příliš nezlobte.

OpenAI má také zábrany, které zajišťují, že GPT-4o odmítne identifikovat lidi a generovat obsah chráněný autorským právem, což byla další rizika, která byla objevena během hodnocení.

Mezi další rizika, která společnost u modelu nalezla, většinu z nich zařadila do nízké kategorie. Patří mezi ně kybernetická bezpečnost, biologické hrozby a autonomie modelů. Pokud jde o přesvědčování, zjistila, že riziko je střední: to znamená, že některé písemné vzorky vytvořené GPT-4o se ukázaly být přesvědčivější než text psaný člověkem, pokud jde o ovlivnění názorů lidí.