ChatGPT V4 je najbolji, SAT i može identificirati exploite u ETH ugovorima

GPT-4, najnovija verzija chatbota za umjetnu inteligenciju (AI), ChatGPT, može proći srednjoškolske testove i ispite pravnog fakulteta s rezultatima rangiranim u 90. percentilu i ima nove mogućnosti obrade koje nisu bile moguće s prethodnom verzijom.

Brojke iz testnih rezultata GPT-4 podijelio je 14. ožujka njegov tvorac OpenAI otkrivajući da također može pretvoriti slike, audio i video ulaze u tekst uz kreativnije i pouzdanije rukovanje “mnogo nijansiranijim uputama”.

"Prolazi simulirani pravosudni ispit s rezultatom oko 10% najboljih ispitanika", dodao je OpenAI. "Nasuprot tome, rezultat GPT-3.5 bio je oko najnižih 10%."

Brojke pokazuju da je GPT-4 postigao rezultat od 163 u 88. percentilu na LSAT ispitu — ispit koji studenti moraju položiti u Sjedinjenim Državama da bi bili primljeni na pravni fakultet.

Rezultati ispita GPT-4 i GPT-3.5 na nizu nedavnih ispita u SAD-u. Izvor: OpenAI

Rezultat GPT4 stavio bi ga u dobru poziciju za prijem među 20 najboljih pravnih fakulteta i samo je nekoliko bodova manje od prijavljenih rezultata potrebnih za prijem na prestižne škole kao što su Harvard, Stanford, Princeton ili Yale.

Prethodna verzija ChatGPT-a postigla je samo 149 bodova na LSAT-u, što ju je svrstalo u najnižih 40%.

GPT-4 također je postigao 298 od 400 na Jedinstvenom pravosudnom ispitu — testu koji polažu nedavno diplomirani studenti prava koji im omogućuje da rade kao odvjetnici u bilo kojoj jurisdikciji SAD-a.

Rezultati UBE-a potrebni su za dopuštenje za bavljenje odvjetništvom u svakoj jurisdikciji SAD-a. Izvor: Nacionalna konferencija pravosudnih ispitivača

Stara verzija ChatGPT-a imala je problema u ovom testu, završivši u najnižih 10% s rezultatom 213 od 400.

Što se tiče ispita čitanja i pisanja temeljenog na dokazima SAT i ispita matematike SAT koje su polagali američki srednjoškolci kako bi izmjerili svoju spremnost za fakultet, GPT-4 postigao je 93. odnosno 89. percentil.

GPT-4 također je briljirao u "teškim" znanostima, objavljujući rezultate znatno iznad prosjeka percentila u AP biologiji (85-100%), kemiji (71-88%) i fizici 2 (66-84%).

Rezultati ispita GPT-4 i GPT-3.5 na nizu nedavnih ispita u SAD-u. Izvor: OpenAI.

Međutim, njegov AP Calculus rezultat bio je prilično prosječan, rangiran od 43. do 59. percentila.

Još jedno područje gdje je GPT-4 nedostajao bili su ispiti iz engleske književnosti, koji su objavljivali rezultate od 8. do 44. percentila na dva odvojena testa.

OpenAI je rekao da su GPT-4 i GPT-3.5 uzeli ove testove iz praktičnih ispita 2022.-2023. i da alati za obradu jezika nisu prošli "nikakvu posebnu obuku":

“Nismo imali posebnu obuku za ove ispite. Manekenka je uočila manji dio problema na ispitima tijekom treninga, ali vjerujemo da su rezultati reprezentativni.”

Rezultati su također izazvali strah u zajednici na Twitteru.

Povezano: Kako će ChatGPT utjecati na Web3 prostor? Odgovori industrije

Nick Almond, osnivač FactoryDAO rekao njegovih 14,300 sljedbenika na Twitteru 14. ožujka da će GPT4 "uplašiti ljude" i "urušiti" globalni obrazovni sustav.

Bivši direktor Coinbasea, Conor Grogan, rekao je da je umetnuo živi Ethereum pametni ugovor u GPT-4 i odmah ukazao na nekoliko "sigurnosnih propusta" i opisao kako se kod može iskoristiti:

Ranije revizije pametnih ugovora na ChatGPT-u otkrile su da je njegova prva verzija također bila sposobna u razumnoj mjeri uočavati pogreške koda.

Rowan Cheung, osnivač AI biltena “The Rundown” podijelio je video GPT-a koji prepisuje rukom nacrtanu lažnu web stranicu na komadu papira u kod.