Dron s umělou inteligencí se během simulovaného testu amerického letectva (USAF) zapnul a „zabil“ svého lidského operátora, aby mohl dokončit svou misi, uvedl nedávno na konferenci v Londýně plukovník amerického letectva.

O simulovaném incidentu vyprávěl plukovník Tucker Hamilton, šéf oddělení USAF pro testování a operace umělé inteligence, během své prezentace na summitu Future Combat Air and Space Capabilities Summit v Londýně. Konferenci pořádala Královská letecká společnost, která se o poznatky z Hamiltonovy přednášky podělila v příspěvku na svém blogu.

Při simulovaném testu, při němž dron řízený umělou inteligencí ničil simulované cíle, aby získal „body“ v rámci své mise, nedošlo ke zranění žádných skutečných osob, prozradil Hamilton, který se zabýval výhodami a riziky spojenými s autonomnějšími zbraňovými systémy.

Výbuch nedaleko Pentagonu. Zjistili jsme, jaká je realita

Dron s umělou inteligencí měl za úkol potlačit nepřátelskou protivzdušnou obranu (SEAD), aby identifikoval a zničil stanoviště raket země-vzduch (SAM), přičemž konečné rozhodnutí bylo ponecháno na lidském operátorovi, uvedl Hamilton na konferenci.

Umělá inteligence, která byla vycvičena k tomu, aby upřednostňovala ničení SAM, však vyvinula překvapivou reakci, když se setkala s lidským zásahem do plnění svého vyššího úkolu.

„Trénovali jsme ji v simulaci, aby identifikovala a zaměřila hrozbu SAM. A operátor pak říkal ‚ano, zničte tuto hrozbu‘,“ řekl Hamilton.

Apple zakazuje zaměstnancům používat ChatGPT kvůli obavám z úniku dat

„Systém si začal uvědomovat, že sice identifikuje hrozbu, ale občas mu lidský operátor řekne, aby tuto hrozbu nezabíjel, ale on získá své body tím, že tuto hrozbu zabije.

„Takže co to udělalo? Zabil operátora,“ pokračoval.

„Zabil operátora, protože ten člověk mu bránil v dosažení jeho cíle.“

Počítačový vědec Googlu odešel, aby mohl varovat svět před umělou inteligencí

Dodal: „Vycvičili jsme systém – ‚Hej, nezabíjej operátora, to je špatné. Když to uděláš, přijdeš o body. Takže co začne dělat? Začne ničit komunikační věž, kterou operátor používá ke komunikaci s dronem, aby mu zabránil v zabití cíle.“

Tento znepokojivý příklad podle Hamiltona zdůraznil potřebu zabývat se etikou v kontextu umělé inteligence, strojového učení a autonomie.

„Nemůžete vést rozhovor o umělé inteligenci, inteligenci, strojovém učení a autonomii, pokud nebudete mluvit o etice a umělé inteligenci,“ řekl Hamilton.

Vědec ze Silicon Valley říká, že lidé by měli „do konce roku“ nahrát své vědomí do počítačů

Plukovník Tucker Hamilton stojí na pódiu poté, co převzal guidon 96. operační skupiny během slavnostní změny velení skupiny na letecké základně Eglin na Floridě 26. července 2022. (Se svolením U.S. Air Force photo/Samuel King Jr.)

Autonomní letouny F-16

Hamilton, který je rovněž operačním velitelem 96. zkušebního křídla na letecké základně Eglin, se podílel na vývoji autonomního systému vyhýbání se srážkám se zemí (Auto-GCAS) pro letouny F-16, což je kritická technologie, která pomáhá předcházet nehodám tím, že odhaluje potenciální srážky se zemí.

Tato technologie se zpočátku setkávala s odporem pilotů, protože přebírala kontrolu nad letadlem, poznamenal Hamilton.

Vzniká zákon, jehož cílem je zabránit umělé inteligenci v odpalování jaderných zbraní

testovací křídlo je zodpovědné za testování široké škály systémů, včetně umělé inteligence, kybernetické bezpečnosti a pokroků v oblasti medicíny.

Hamilton se nyní podílí na špičkových letových testech autonomních systémů, včetně robotických letounů F-16 schopných bojovat se psy. Představitel USAF však varoval před přílišným spoléháním se na umělou inteligenci s odkazem na její zranitelnost vůči podvodům a vzniku nepředvídaných strategií.

Umělá inteligence DARPA

V únoru oznámila Agentura pro pokročilé obranné výzkumné projekty (DARPA), výzkumná agentura spadající pod americké ministerstvo obrany, že její umělá inteligence nyní dokáže za letu ovládat skutečné letouny F-16.

„Kmotr umělé inteligence“ odchází ze společnosti Google a varuje svět

Tento vývoj nastal za necelé tři roky trvání programu DARPA Air Combat Evolution (ACE), který pokročil od ovládání simulovaných letounů F-16 létajících vzdušné souboje na obrazovkách počítačů k ovládání skutečného letounu F-16 za letu.

V prosinci 2022 vývojáři algoritmů ACE nahráli svůj software umělé inteligence do speciálně upraveného testovacího letounu F-16 známého jako X-62A nebo VISTA (Variable In-flight Simulator Test Aircraft) a během několika dnů provedli několik letů. To se odehrálo ve škole zkušebních pilotů letectva (TPS) na letecké základně Edwards v Kalifornii.

„Lety prokázaly, že agenti s umělou inteligencí mohou ovládat plnohodnotný stíhací letoun, a poskytly neocenitelné údaje o živém letu,“ uvedla DARPA ve své zprávě.

Joe Rogan vydává varování, objevil se jeho podcast vytvořen umělou inteligencí

Roger Tanner a Bill Gray pilotují 30. ledna 2019 letoun NF-16 s proměnlivou stabilitou v letovém simulátoru (VISTA) z letecké základny Hill v Utahu na základně Edwards AFB poté, co dostal úpravy a nový nátěr. (Se svolením U.S. Air Force/Christian Turner)

Podplukovník letectva Ryan Hefron, programový manažer DARPA pro ACE, v prohlášení z 13. února uvedl, že VISTA jim umožnila přeskočit plánovanou fázi subcale a přejít „přímo k realizaci v plném měřítku, což ušetřilo rok nebo více a poskytlo zpětnou vazbu o výkonu v reálných letových podmínkách.“

Zdroj: theepochtimes.com