Fremveksten av kunstig intelligens (KI) har ført til økende bekymring for potensielle trusler mot menneskeheten. En undersøkelse blant KI-forskere indikerer en 5% sjanse for at avansert KI kan føre til menneskehetens utryddelse.

For å adressere disse bekymringene har EU vedtatt AI Act, verdens første omfattende lovgivning for KI. Loven klassifiserer KI-systemer etter risiko og stiller strengere krav jo høyere risiko systemet utgjør. Norge planlegger å implementere denne loven gjennom EØS-avtalen.

I oktober 2025 signerte over 800 globale ledere, inkludert nobelprisvinnere og KI-pionerer, en uttalelse som krever en global stans i utviklingen av superintelligens. De peker på risikoer som spenner fra menneskelig foreldelse til direkte utryddelse.

KI kan også misbrukes til cyberangrep og desinformasjon. Eksperter advarer om at KI gjør det enklere enn noensinne å misbruke data med minimal innsats, noe som kan true nasjonal sikkerhet.

For å fremme trygg bruk av KI har norske myndigheter satt av 30 millioner kroner i statsbudsjettet for 2026. Midlene skal hjelpe virksomheter med å utvikle og ta i bruk KI-løsninger på en sikker måte.

Disse tiltakene reflekterer en global innsats for å balansere KI-utviklingens potensial med nødvendige sikkerhetstiltak for å beskytte menneskeheten.