Täällä seurataan AI-ripuligeneraattoreiden maailmanvalloitusta

[pigra senlaborulo]

yle.fi
Nuori lahjakas nainen loi tekoälyfirman kulissit Piilaaksoon – jäljet johtavat Putinin lähipiiriin
8–10 minutes

SAN FRANCISCO Ženja Kuyda muutti Venäjältä Yhdysvaltoihin 28-vuotiaana ja vaihtoi nimensä.

Hänen etunimensä olisi tästä lähin amerikkalaisille helpommin lausuttava Eugenia.

Uuden nimen lisäksi hän alkoi luoda itselleen San Franciscossa uutta henkilöbrändiä. Kuyda olisi miesvaltaisessa Piilaaksossa naisjohtajien esitaistelija.

Elettiin vuotta 2015, ja Kuydalla oli myös toinen suunnitelma. Hänen myisi Moskovassa kehitetyn tekoälyteknologian länsimarkkinoille.

Kyseisen teknologian taustalla oli Venäjän presidentin Vladimir Putinin sisäpiiriin kuuluva oligarkki, joka on nykyään Yhdysvaltain pakotelistalla.

Kuyda onnistui suunnitelmassaan. Hänen luomansa tekoälykumppanit keskustelevat nykyään miljoonien ihmisten kanssa.

Tämä juttu kertoo siitä, miten häikäilemättömästi teknologiayhtiöt keräävät käyttäjien dataa.

Kuydan johtama yhtiö Luka on siitä varoittava esimerkki: yritys toimii paperilla Piilaaksossa, mutta todellinen toiminta on hämärän peitossa.

Yle sai selville, että firma toimii hyvin todennäköisesti Venäjältä käsin. Asiantuntijan mukaan tekoälykumppanille kerrotut yksityiset asiat voivat päätyä jopa Venäjän tiedustelupalvelulle asti.

Eugenia Kuyda, 37, on venäläisen pankkiiriperheen lapsi.

Koulutuksen hän sai maineikkaassa London Business School -kauppakorkeakoulussa 2010-luvun taitteessa.

Valmistumisensa jälkeen Kuyda palasi Moskovaan ja pääsi oligarkki Sergei Adonjevin siipien alle.

Miljardööri Adonjev omisti Yota-puhelinoperaattorin, joka laajensi palveluitaan pankkialalle. Kuydan tehtävänä oli kehittää yhtiölle chattibottia, jonka avulla voisi hoitaa omia pankkiasioita.

Adonjevista tuli Kuydan oppi-isä, joka kehotti häntä lähtemään mukaan tekoälybisnekseen.

Kun Kuyda muutti San Franciscoon, hän antoi yritykselleen nimeksi Luka, oligarkki Adonjevin pojan Luka Adonjevin mukaan.

Piilaaksossa Kuyda ei hiiskaissut länsimedioille taustastaan Adonjevin kanssa.

Sen sijaan Kuyda alkoi markkinoida ideaansa tekoälykumppanista, Replikasta. Se olisi niin ikään chattibotti, mutta pankkipalvelujen sijaan se tarjoaisi seuraa aivan kuin oikea ihminen.

Oligarkki Adonjev pysyi poissa markkinapuheista, mutta yhtäkkiä Kuyda lisäsi yhtiön syntytarinaan kuolleen ystävän traagisen tarinan.

Tässä on Kuydan mukaan hänen ystävänsä Roman Mazurenko.

Mazurenko kuoli liikenne-onnettomuudessa Moskovassa vuonna 2015.

Kuyda on sanonut luoneensa Romanista tekoälyversion, koska hän halusi jatkaa ystävänsä kanssa viestittelyä.

Tämän syntytarinan Replikasta hän on kertonut kymmenille länsimedioille kuten The New York Timesille. (Kuvat: Michael Macor/Getty Images)

Kuydan markkinointipuheet upposivat. Luka-yritys alkoi kerätä Piilaakson pääomasijoittajilta miljoonaluokan rahoitusta.

Kuyda hyödynsi taitavasti mediahuomiota, jota hän sai teknologia-alan harvinaisena naisjohtajana.

The Guardianille antamassaan haastattelussa Kuyda sanoi, että miehet kehittävät tekoälykumppaneita stereotyyppinen nainen mielessään.

Replikan takana ovat puolestaan naiset, hän mainosti.

– On todella tärkeää, että naiset kehittävät näitä tuotteita, Kuyda sanoi lehdelle.

Oligarkki Adonjev ilmestyi yhtiön syntytarinaan vain, jos haastattelu annettiin venäläiselle medialle. Silloin Kuyda muisti kiittää mentoriaan.

– Ilman häntä [Adonjevia] olisin aivan eri ihminen. Hän opetti minulle kaiken ja kertoi minulle tarkalleen mitä tehdä, Kuyda sanoi Tatler Russia -lehdelle vuonna 2017.

Tekoälyn kehitys jatkui huimaa vauhtia. Lukan uusimmassa sovelluksessa Blushissa käyttäjä voi keskustella jo hyvin realistisen näköisten tekoälyhahmojen kanssa.

Yle kirjoitti aiemmin, kuinka sovelluksessa tekoälydeitit muuttuvat hetkessä käyttäjää mielyttäviksi, seksinhimoisiksi seuralaisiksi. Tutkijan mukaan tällaiset palvelut saattavat vain lisätä yksinäisten ihmisten syrjäytymistä.

Näin siitä huolimatta, että Kuyda lupasi yrityksensä kehittävän tekoälyhahmoja eri arvoilla kuin Piilaakson mieskoodarit.

Kuydan luomus joutui myös murskakritiikin kohteeksi.

Sovellusten tietosuojaa tutkivan Mozilla-säätiön mukaan Replika-sovellus ei täytä edes minimivaatimuksia käyttäjien yksityisyyden osalta. Säätiö totesi, että Replika on tietosuojaltaan huonoin sovellus, jonka he ovat koskaan arvioineet.

Luka saa haltuunsa kaikki tekoälykumppanille kerrotut intiimitkin asiat. Käyttäjä ei voi olla varma, poistaako yritys pyydettäessä sovellukselle jaetut tiedot, säätiö totesi.

Kuydan kytkökset kotimaahansa joutuivat aiempaa tarkempaan syyniin, kun Venäjä hyökkäsi Ukrainaan.

Ukrainalainen avointen lähteiden tiedustelun ryhmä Molfar esitti vuonna 2022 syytöksen, että yritys saattaa pestä rahaa Venäjälle.

Ryhmä ei kuitenkaan esittänyt todisteita syytökselle. Luka on myös ilmoittanut vastustavansa Venäjän sotaa Ukrainassa.

Kuydan käytös silti muuttui. Viime vuosina hän ei ole esiintynyt länsimediassa enää vanhaan tahtiin Piilaakson lupaavana naisjohtajana.

Kuyda tai Luka-yritys eivät myöskään vastanneet Ylen lukuisiin haastattelupyyntöihin.

Tarina alkoi saada yhä oudompia piirteitä, kun Yle selvitti yhtiön toimintaa San Franciscossa.

Tässä kuvassa Eugenia Kuyda poseeraa Luka-yhtiönsä toimistossa San Franciscossa vuonna 2017. (Kuvat: Michael Macor/Getty Images)

Yhtiön ilmoittaa pääkonttorinsa sijainniksi yhä saman osoitteen, mutta rakennus on typötyhjä.

Ikkunalla on suuri vuokrattavana-ilmoitus. Sisäänkäynnin ovikello on poltettu.

Luka-yhtiöllä on myös toinen osoite lähistöllä.

Oven avaa nainen, joka ei tiedä mitään yhtiöstä. Hän sanoo, että firman postia tulee edelleen välillä osoitteeseen.

Useiden yritysten jälkeen Luka-yhtiön puhelinnumeroon vastaa naisääni, joka kertoo toimistolle vielä kolmannen osoitteen.

Kohde on kotitalo, jossa oven avaa kodinhoitaja. Hänen mukaansa talon asukas ei ole paikalla, mutta tämä voi puhua lyhyesti puhelimen välityksellä.

Puhelimessa on Eugenia Kuyda.

Alla oleva video näyttää, miten Kuyda muuttaa tarinaansa jälleen. Kuyda sanoo Ylelle, että yhtiöllä ei ole työntekijöitä San Franciscossa. Hän myös väittää, että ei tunne oppi-isäänsä oligarkki Adonjevia.

Kuydan yrityksen toiminta on Ylen haastattelemien asiantuntijoiden mukaan erittäin epäilyttävää.

Yritys kertoo Blushin ja Replikan tietosuojaselosteissa keräävänsä haltuunsa kaikki tekoälykumppaneille lähetetyt viestit, kuvat ja videot.

Luka-yhtiö ei kerro lainkaan, missä se säilöö tätä dataa ja missä sitä käsitellään.

F-Securen kyberuhkatiedustelupäällikkö Laura Kankaala pitää tätä varoittavana merkkinä.

– Lähtökohtaisesti yritykset, jotka toimivat sääntöjen mukaisesti, noudattavat läpinäkyvyyttä datan käsittelyn osalta, Kankaala sanoo.

Ylen hankkimien tietojen mukaan Luka-yhtiön tuotekehitys tapahtuu todennäköisimmin Venäjällä.

Alla olevalla videolla näkyy, miten yritys kertoo, että sen työntekijöillä on kokemusta maineikkaista venäläisistä yrityksistä ja yliopistoista. Yle käänsi suomeksi otteita Lukan venäjänkielisestä työpaikkailmoituksesta.

Teknologia-alalla on yleistä, että yrityksen tuotekehitys ja markkinointi tapahtuvat eri maissa.

Vaikka käyttäjien tietoja säilytettäisiin esimeriksi amerikkalaisella palvelimella, yrityksen koodareilla on pääsy dataan, sanoo tietotekniikkaan keskittyvä tietokirjailija Petteri Järvinen.

– Voi sanoa, että tiedot ovat venäläisten käytettävissä, hän arvioi.

Järvinen varoittaa, että käyttäjien henkilötiedot tai tekoälykumppanille kerrotut intiimit yksityiskohdat saattavat Lukan tapauksessa vuotaa koodareilta myös heidän verkostoilleen.

– Koodareiden tausta saattaa liittyä Venäjän tiedusteluun tai armeijaan, joten olisin erityisen varovainen.

EU:n alueella ainoastaan Italian tietosuojaviranomainen on kieltänyt Replikan toiminnan sen puutteellisen tietosuojan takia.

F-Securen Kankaala on samoilla linjoilla Järvisen kanssa.

– En kertoisi sille henkilökohtaisia asioita, joita en olisi valmis paljastamaan koko maailmalle, Kankaala sanoo.

Eugenia Kuyda ei vastannut Ylen lähettämään sähköpostiin San Franciscossa käydyn puhelinkeskustelun jälkeen. Yle lähetti Kuydalle tarkentavia kysymyksiä yrityksen yhteyksistä oligarkki Adonjeviin sekä mahdollisista yhteyksistä Venäjän hallintoon.

https://yle.fi/a/74-20069654?origin=rss

[Henkkamaukka Perusjätkä]

Hitsi, että kaikenlainen tekoäly tulee korvistakin. Ainakin tuolla julkisen sektorin maailmassa se on nyt SE sana. Tekoäly sitä, tekoäly tätä. Kehitän itse multimedia-CD-romeja, digiloikkaolympialaiset ja koronamaskitehtaan. Miksi heittää hyvät menneet toistosanat pois ja hokea vain
10000000000000 * TEKOÄLY AI

[Roskapanda]

Hitsi, että kaikenlainen tekoäly tulee korvistakin. Ainakin tuolla julkisen sektorin maailmassa se on nyt SE sana. Tekoäly sitä, tekoäly tätä. Kehitän itse multimedia-CD-romeja, digiloikkaolympialaiset ja koronamaskitehtaan. Miksi heittää hyvät menneet toistosanat pois ja hokea vain
10000000000000 * TEKOÄLY AI

Joo, mulla on tullut jo inhoreaktio

[Ilmestyskirjan soturi]

Vaimolle linkattiin eilen itsestään ripuligeneroitu "net worth" -sivu, jossa tätä tituleerataan näyttelijäksi ja kerrotaan nettovarallisuutensa olevan 12 miljoonaa dollaria. Onhan sillä tosielämässä yksi imdb-krediitti juuh. Nyt mietitään että missä ne rahat on

Onnea rikastumisen johdosta

Kiitos. Naurattaahaan se, mutta toisaalta vähän paska jos vaikka joku pahantahtoisempi ihminen googlailee että jaaha noilla olisi varmaan esim. kämpillä murtautumisen arvoisesti omaisuutta.

No toi on ihan totta. Ei tullut mieleenkään

[pigra senlaborulo]

Study Featuring AI-Generated Giant Rat Penis Retracted, Journal Apologizes
A peer-reviewed study featured nonsensical AI images including a giant rat penis in the latest example of how generative AI has seeped into academia.

A peer-reviewed scientific journal that this week published a study containing nonsensical AI-generated images including a gigantic rat penis has retracted the article and apologized.

The paper was authored by three scientists in China, edited by a researcher in India, reviewed by two people from the U.S. and India, and published in the open access journal Frontiers in Cell Development and Biology on Monday. Despite undergoing multiple checks, the paper was published with AI-generated figures that went viral on social media because of their absurdity. One figure featured a rat with a massive dissected dick and balls and garbled labels such as “iollotte sserotgomar cell” and “testtomcels.” The authors said they used the generative AI tool Midjourney to create the images.

On Thursday afternoon, Frontiers added a notice saying that the paper had been corrected and a new version would be published soon. The journal later updated the notice to say that it was retracting the study entirely because “the article does not meet [Frontiers’] standards of editorial and scientific rigor.”

Reached for comment, a spokesperson for Frontiers directed Motherboard to a statement posted to the journal’s web page on Thursday apologizing to the scientific community and explaining that, in fact, a reviewer of the paper had raised concerns about the AI-generated images that were ignored.

“Our investigation revealed that one of the reviewers raised valid concerns about the figures and requested author revisions,” Frontiers’ statement reads. “The authors failed to respond to these requests. We are investigating how our processes failed to act on the lack of author compliance with the reviewers' requirements. We sincerely apologize to the scientific community for this mistake and thank our readers who quickly brought this to our attention.”

The paper had two reviewers, one in India and one based in the U.S. Motherboard contacted the U.S.-based reviewer who said that they evaluated the study based solely on its scientific merits and that it was up to Frontiers whether or not to publish the AI-generated images since the authors disclosed that they used Midjourney. Frontiers’ policies allow the use of generative AI as long as it is disclosed but, crucially, the images must also be accurate.

The embarrassing incident is an example of how the issues surrounding generative AI more broadly have seeped into academia, in ways that are sometimes concerning to scientists. Science integrity consultant Elisabeth Bik wrote on her personal blog that it was “a sad example of how scientific journals, editors, and peer reviewers can be naive—or possibly even in the loop—in terms of accepting and publishing AI-generated crap.”

https://www.vice.com/en/article/4a389b/ ... -frontiers

[38911 BASIC BYTES FREE]

Joo kyllä ihan kauhee tekoälypöhinä on nyt joka puolella. Vähän sama kuin lohkoketjuhommat muutama vuosi sitten, mutta oikeestaan vielä paljon kattavammin.

Joo johonkin automaattilitterointiin jne. saattaa LLM:tkin oikeasti sopia, mutta hemmetti näitä yritetään tunkea mm. päätöksenteon apuvälineiksi.

[Spandau Mullet]

Joo kyllä ihan kauhee tekoälypöhinä on nyt joka puolella. Vähän sama kuin lohkoketjuhommat muutama vuosi sitten, mutta oikeestaan vielä paljon kattavammin.

Joo johonkin automaattilitterointiin jne. saattaa LLM:tkin oikeasti sopia, mutta hemmetti näitä yritetään tunkea mm. päätöksenteon apuvälineiksi.

Kyllähän noille ihan käyttökohteita on, jopa spämmäyksen ja scammauksen ulkopuolella. Sehän tässä hajottaa kun epämääräistä ja epäluotettavaa puppua ulostavia mustia laatikoita yritetään änkeä kaikkeen mahdolliseen vain koska $$$.

[Henkkamaukka Perusjätkä]

Näillä myydään nyt kaikenlaista hanketta, esitelmää, messua, kirjaa, kurssia yms.. Sitten niitä lyödään organisaatioiden strategioihin, visioihin yms. sillä ajatuksella, että "tekoäly on nykypäivää, se on pakko mainita, koska se mullistaa asiat". Pitää olla cutting edge visiota, edelläkävijöiden joukossa ja tulevaisuuspöhinää. Ongelmana vaan on, että helposti ne kaikista maalailevimmat korkealentoiset visiot saa eniten tilaa. Eikä sinänsä ole mitään syytä kiistää, etteikö vaikuttaisi jo nyt jollain tasolla meidän kaikkien elämään ja työhön.

[kantasolu]

ton lisäksi vielä hauskaa kun vastustajissakin on samanlaisia helppoheikkejä puhumassa "ethics of AI:sta" nollakompetenssilla

sakea soppa

[pigra senlaborulo]

9to5mac.com
Reddit user content being sold to AI company in $60M/year deal - 9to5Mac
Ben Lovejoy
3 - 4 minutes
Reddit user content being sold | App icon on iPhone

It’s being reported that a deal has been struck to allow an unnamed large AI company to use Reddit user content for training purposes …

The deal is said to be worth around $60M per year, and comes at a time when the company is seeking to maximize its value in the run-up to an IPO.

Bloomberg reports.

Reddit has signed a contract allowing an Artificial Intelligence (AI) company to train its models on the social media platform’s content, Bloomberg News reported, citing people familiar with the matter.

The company is said to have disclosed the deal to prospective investors in its initial public offering (IPO).

AI companies like OpenAI have so far been training their large language models by scraping data from the web without seeking permission from either websites or users. That practice is being increasingly questioned, so we’re now starting to see companies seek to enter into deals with websites, paying an annual fee for the right to use their content to train new models.

Apple, for example, was last year reported to be negotiating for the right to train its own AI models using news articles with a number of media companies.

The technology giant has floated multiyear deals worth at least $50 million to license the archives of news articles, said the people with knowledge of talks, who spoke on the condition of anonymity to discuss sensitive negotiations. The news organizations contacted by Apple include Condé Nast, publisher of Vogue and The New Yorker; NBC News; and IAC, which owns People, The Daily Beast and Better Homes and Gardens.

But training models on user-generated content is more controversial. Reddit’s terms and conditions may make this legal, but it doesn’t mean that users will be happy about it

It follows Reddit’s most controversial move to date: restricting access to the API which powered popular client apps like Apollo. That too was motivated by maximizing revenue prior to the planned IPO, and sparked extremely widespread protests.

Reddit got itself into a mess when it decided to charge unrealistic amounts for access to the API that powered third-party (former) apps like Apollo. That resulted in wide-scale protests by moderators and users alike, with the company threatening them in response.

One specific concern was the impact on disabled moderators, who had relied on the accessibility features of third-party apps.

While many subreddits went dark, limiting access to existing members, some others came up with a clever alternative: applying a NFSW label, which prevented Reddit from selling ads in them. Subreddits that adopted this tactic include r/HomeKit and r/HomePod.

Reddit staff subsequently removed moderators who declined to end their protests.


https://9to5mac.com/2024/02/19/reddit-u ... eing-sold/

[renesanssi-kari (punk)]

lueskelin tossa hiljattain korkean profiilin tiedelehdestä artikkelin, jossa tekoälyä hyödynnettiin automatisoidussa uusien kemiallisen yhdisteiden synteesissä. pian perään tuli vastaan ihmiskemistien artikkeli, jossa todettiin tekoälyn analysoineen reaktiotuotteiden karakterisointidatat vähän niin ja näin ja osumatarkkuus oli lopulta aika huono. tossa yhteydessä tosin on musta ihan selvää, että potentiaalia on paljon ja kahtoo nyt sitten mitä tulevina vuosina saadaan aikaan.

[Spandau Mullet]

lueskelin tossa hiljattain korkean profiilin tiedelehdestä artikkelin, jossa tekoälyä hyödynnettiin automatisoidussa uusien kemiallisen yhdisteiden synteesissä. pian perään tuli vastaan ihmiskemistien artikkeli, jossa todettiin tekoälyn analysoineen reaktiotuotteiden karakterisointidatat vähän niin ja näin ja osumatarkkuus oli lopulta aika huono. tossa yhteydessä tosin on musta ihan selvää, että potentiaalia on paljon ja kahtoo nyt sitten mitä tulevina vuosina saadaan aikaan.

Joitain kymmeniä sivuja sitten postasin tänne uutisen, miten LLM:illä oli saatu paranneltua algoritmejä joihin ei hetkeen oltu ihmistutkijoiden toimesta saatu kehitettyä parempia ratkaisuja. Potentiaalia tosiaan on, mutta ei ne tulokset tyhjästä synny.

Sama meillä duunissa. Tutkijakollegat on koestelleet näiden käyttöä ja suurimmassa osassa tapauksia todenneet, että perinteiset metodit vaan toimii paljon paremmin, ainakin vielä tällä hetkellä. Oli vähän tuskaista kuunnella yhtä taannoista seminaaria kun näitä kokeiluja esiteltiin ja tiimin pari puppugeneraattoriuskovaista väänsi kiven kovaan vastaan esityksen pitäjälle, että pakkohan niiden on olla best kaikessa

[renesanssi-kari (punk)]

hypemanit ja seuraajansa voisivat kyllä painua vittuun vaikkapa kaikkialta, mutta tämmönen tämä maailma nyt on.

[Spandau Mullet]

Ja potentiaaleista takaisin ripulitodellisuuteen.

https://www.wsj.com/tech/ai/ai-is-tutor ... h-694e76d3

We Tested an AI Tutor for Kids. It Struggled With Basic Math.

Just a few months after ChatGPT was launched publicly, educator Sal Khan made a provocative claim during a widely viewed TED Talk: “We’re at the cusp of using AI for probably the biggest positive transformation that education has ever seen.”

That would happen, he said, “by giving every student on the planet an artificially intelligent but amazing personal tutor.”

Khan’s education nonprofit, Khan Academy, has developed an AI-powered tutoring bot known as Khanmigo. But a significant barrier could limit Khanmigo and similar tools from being used as a successful tutor at the moment: AI that is based on large language models struggles with math.

“Asking ChatGPT to do math is sort of like asking a goldfish to ride a bicycle—it’s just not what ChatGPT is for,” said Tom McCoy, a professor at Yale University who studies AI. “We shouldn’t really be surprised that it often makes mistakes.”

This challenge was apparent when a Wall Street Journal reporter tested Khanmigo, which is powered by ChatGPT. Khanmigo frequently made basic arithmetic errors, miscalculating subtraction problems such as 343 minus 17. It also didn’t consistently know how to round answers or calculate square roots. Khanmigo typically didn’t correct mistakes when asked to double-check solutions.

The technology is still evolving and a spokesperson for Khan Academy said the group made upgrades this week to improve Khanmigo’s accuracy.

But some errors are likely to persist, and as Khanmigo expands, the organization will continue to emphasize to students and teachers that it is imperfect. “We’re going to make that a lot more front and center,” Sal Khan said in an interview.

A spokesperson for OpenAI, which developed ChatGPT, declined an interview request and didn’t respond to a detailed list of questions.

Khan Academy is known to many teachers and students for its educational videos that are viewed by millions each year. Khanmigo is now being piloted by about 65,000 students in 44 school districts.

Khan said he expects “a million or two million” students to be using it by next school year at a price to schools of $35 a student. Other companies are promoting AI as a tutor in schools, too, and some policymakers and tech executives are enthusiastic about its potential. This push to expand comes as school officials are seeking low-cost ways to address persistent pandemic-era learning loss.

Like ChatGPT, Khanmigo works by responding to prompts in a chat format. Unlike ChatGPT, it is trained not to give students the right answer but to guide them through problems. It offers tutoring in third grade and up in math, language arts, history and science. It can give feedback on student essays, engage in simulated dialogue as famous literary characters and debate contemporary issues.

In testing the product, the Journal asked Khanmigo for help finding the length of the third side of a right triangle, a problem that students would likely encounter in eighth-grade math.

Khanmigo correctly identified the Pythagorean theorem, a2 + b2 = c2, as crucial to finding the answer. When asked for the solution the bot offered responses such as: “I’m here to help you learn, not just give answers!”

But Khanmigo struggled with math operations. When trying to solve a right triangle with a hypotenuse of 27 units and a side of 17, a reporter offered the wrong answer (430 rather than 440) to 272 minus 172. “Excellent!” Khanmigo responded. Later, it accepted the incorrect answer to the square root of 440.

In another instance, Khanmigo constructed its own triangle problem with a hypotenuse of 15 units and a leg of nine. But when a reporter correctly said that 152 minus 92 equals 144, Khanmigo suggested the response was wrong. “I see where you’re coming from, but let’s take another look at the subtraction,” it said.

Khanmigo’s struggles don’t surprise researchers in AI. Math is a well-known challenge for large language models, which use vast sums of data and a complex statistical model to craft text-based responses to prompts.

Its responses to math problems are comparable to memorizing answers via flashcards, not learning the math processes, said Paulo Shakarian, a computer scientist at Arizona State University. That makes it fallible, particularly for novel problems.

“It hasn’t learned how to solve a math problem like me and you,” Shakarian said.

Caleb Hicks, the chief executive and co-founder of SchoolAI, which recently signed a contract with a Utah school district to support AI-based tutoring and other efforts, said the product sometimes flubs math answers. “This is an area of work across the industry,” he said. Hicks said the technology is still useful for helping students learn math concepts and will get better.

Researchers say it is likely that AI will improve in math. But progress might not be linear because trying to improve one dimension can cause challenges in other areas.

Khan said even as Khanmigo struggles with math, it offers broad benefits to teachers and students. “We don’t want the perfect to be the enemy of the good,” he said.

Ina Rosenthal, a high-school teacher in Palm Beach County, Fla., one of the pilot districts, says she has found a variety of uses for Khanmigo. It helps her plan math lessons and she uses its debate feature in a critical-thinking course.

In her Algebra 2 classes, Rosenthal has students use Khanmigo if they are struggling to understand a concept and she isn’t able to help them one on one. She said that accuracy hasn’t prevented the tool from being useful, but she does warn students that Khanmigo sometimes gets things wrong.

“It’s still learning, is what we’ve been told,” she said.

[Spandau Mullet]

Olis kyllä ollu vitun siistiä, jos omina kouluaikoina taskulaskin olisi antanut satunnaisesti vääriä vastauksia ja kaikki olis ollut vaan että kyllä se siitä joskus vielä paranee.