Deloitte refunderer delvis honorar etter AI-feil i rapport

Hovedpunkter:

  • Deloitte Australia refunderer en del av honoraret for en rapport til den australske regjeringen.
  • Rapporten inneholdt flere feil, inkludert fabrikerte sitater og referanser til ikke-eksisterende akademiske artikler.
  • Feilene ble oppdaget av forsker Chris Rudge ved University of Sydney.
  • Deloitte brukte generativ AI, spesifikt Azure OpenAI, i utarbeidelsen av rapporten.
  • Til tross for feilene hevder Deloitte at rapportens hovedfunn og anbefalinger forblir uendret.

Deloitte Australia har gått med på å refundere en del av honoraret for en rapport levert til den australske regjeringen, etter at det ble oppdaget flere feil forårsaket av kunstig intelligens. Rapporten, som kostet 440 000 australske dollar (omtrent 290 000 amerikanske dollar), ble bestilt av Department of Employment and Workplace Relations for å evaluere IT-systemene i landets velferdssystem.

Feilene i rapporten inkluderte fabrikerte sitater, feilaktige kilder og referanser til ikke-eksisterende akademiske artikler. Disse problemene ble først oppdaget av Chris Rudge, en forsker ved University of Sydney, som bemerket at rapporten var "full av fabrikerte referanser".

Deloitte innrømmet senere at de hadde brukt generativ AI, spesifikt Azure OpenAI, i utarbeidelsen av rapporten. Selv om de har korrigert feilene og fjernet de fabrikerte sitatene, hevder Deloitte at rapportens hovedfunn og anbefalinger forblir uendret.

Som et resultat av disse feilene har Deloitte gått med på å refundere den siste delen av honoraret under kontrakten. Beløpet vil bli offentliggjort etter at refusjonen er gjennomført.

Denne hendelsen har reist spørsmål om påliteligheten til AI-genererte rapporter og viktigheten av menneskelig tilsyn i slike prosesser. Senator Barbara Pocock kritiserte Deloitte for deres bruk av AI og sammenlignet feilene med upassende akademisk oppførsel.