Punk in Finland

nytimes.com
Reddit Wants to Get Paid for Helping to Teach Big A.I. Systems
Mike Isaac
6–8 minutes

The internet site has long been a forum for discussion on a huge variety of topics, and companies like Google and OpenAI have been using it in their A.I. projects.
Steve Huffman leans back against a table and looks out an office window.
“The Reddit corpus of data is really valuable,” Steve Huffman, founder and chief executive of Reddit, said in an interview. “But we don’t need to give all of that value to some of the largest companies in the world for free.”Credit...Jason Henry for The New York Times
Steve Huffman leans back against a table and looks out an office window.

Mike Isaac

Mike Isaac, based in San Francisco, writes about social media and the technology industry.

Reddit has long been a hot spot for conversation on the internet. About 57 million people visit the site every day to chat about topics as varied as makeup, video games and pointers for power washing driveways.

In recent years, Reddit’s array of chats also have been a free teaching aid for companies like Google, OpenAI and Microsoft. Those companies are using Reddit’s conversations in the development of giant artificial intelligence systems that many in Silicon Valley think are on their way to becoming the tech industry’s next big thing.

Now Reddit wants to be paid for it. The company said on Tuesday that it planned to begin charging companies for access to its application programming interface, or A.P.I., the method through which outside entities can download and process the social network’s vast selection of person-to-person conversations.

“The Reddit corpus of data is really valuable,” Steve Huffman, founder and chief executive of Reddit, said in an interview. “But we don’t need to give all of that value to some of the largest companies in the world for free.”

The move is one of the first significant examples of a social network’s charging for access to the conversations it hosts for the purpose of developing A.I. systems like ChatGPT, OpenAI’s popular program. Those new A.I. systems could one day lead to big businesses, but they aren’t likely to help companies like Reddit very much. In fact, they could be used to create competitors — automated duplicates to Reddit’s conversations.

Reddit is also acting as it prepares for a possible initial public offering on Wall Street this year. The company, which was founded in 2005, makes most of its money through advertising and e-commerce transactions on its platform. Reddit said it was still ironing out the details of what it would charge for A.P.I. access and would announce prices in the coming weeks.

Reddit’s conversation forums have become valuable commodities as large language models, or L.L.M.s, have become an essential part of creating new A.I. technology.

L.L.M.s are essentially sophisticated algorithms developed by companies like Google and OpenAI, which is a close partner of Microsoft. To the algorithms, the Reddit conversations are data, and they are among the vast pool of material being fed into the L.L.M.s. to develop them.

The underlying algorithm that helped to build Bard, Google’s conversational A.I. service, is partly trained on Reddit data. OpenAI’s Chat GPT cites Reddit data as one of the sources of information it has been trained on.

Other companies are also beginning to see value in the conversations and images they host. Shutterstock, the image hosting service, also sold image data to OpenAI to help create DALL-E, the A.I. program that creates vivid graphical imagery with only a text-based prompt required.

Last month, Elon Musk, the owner of Twitter, said he was cracking down on the use of Twitter’s A.P.I., which thousands of companies and independent developers use to track the millions of conversations across the network. Though he did not cite L.L.M.s as a reason for the change, the new fees could go well into the tens or even hundreds of thousands of dollars.

To keep improving their models, artificial intelligence makers need two significant things: an enormous amount of computing power and an enormous amount of data. Some of the biggest A.I. developers have plenty of computing power but still look outside their own networks for the data needed to improve their algorithms. That has included sources like Wikipedia, millions of digitized books, academic articles and Reddit.

Representatives from Google, Open AI and Microsoft did not immediately respond to a request for comment.

Reddit has long had a symbiotic relationship with the search engines of companies like Google and Microsoft. The search engines “crawl” Reddit’s web pages in order to index information and make it available for search results. That crawling, or “scraping,” isn’t always welcome by every site on the internet. But Reddit has benefited by appearing higher in search results.

The dynamic is different with L.L.M.s — they gobble as much data as they can to create new A.I. systems like the chatbots.

Reddit believes its data is particularly valuable because it is continuously updated. That newness and relevance, Mr. Huffman said, is what large language modeling algorithms need to produce the best results.

“More than any other place on the internet, Reddit is a home for authentic conversation,” Mr. Huffman said. “There’s a lot of stuff on the site that you’d only ever say in therapy, or A.A., or never at all.”

Mr. Huffman said Reddit’s A.P.I. would still be free to developers who wanted to build applications that helped people use Reddit. They could use the tools to build a bot that automatically tracks whether users’ comments adhere to rules for posting, for instance. Researchers who want to study Reddit data for academic or noncommercial purposes will continue to have free access to it.

Reddit also hopes to incorporate more so-called machine learning into how the site itself operates. It could be used, for instance, to identify the use of A.I.-generated text on Reddit, and add a label that notifies users that the comment came from a bot.

The company also promised to improve software tools that can be used by moderators — the users who volunteer their time to keep the site’s forums operating smoothly and improve conversations between users. And third-party bots that help moderators monitor the forums will continue to be supported.

But for the A.I. makers, it’s time to pay up.

“Crawling Reddit, generating value and not returning any of that value to our users is something we have a problem with,” Mr. Huffman said. “It’s a good time for us to tighten things up.”

“We think that’s fair,” he added.

https://www.nytimes.com/2023/04/18/tech ... oogle.html

motorisoitu keino wrote: ↑

18 Apr 2023, 17:54

Mikki Hiiri -kuvista tuli mieleen jotkut omat vastaavat kokeilut, tämä taisi olla "Eric Clapton sitting on the toilet, surrounded by large frogs". Vähän oudosti tuossa näyttää olevan tuollainen pienempi pönttö isommassa pöntössä.

Sony backs maker of tiny Raspberry Pi computers with fresh funding, access to A.I. chips

Chat GPT:n taustalta löytyy organisaatio, joka on erikoinen viritelmä. Sen tavoitteena on koko talousjärjestelmän mullistaminen yleisellä tekoälyllä.

Unelmatiimi oli kasassa, Piilaakson nimekkäimpiä yrittäjiä ja sijoittajia. Elon Musk, Greg Brockman, Reid Hoffman, Jessica Livingston, Peter Thiel ja Sam Altman perustivat voittoa tavoittelemattoman Open AI -tutkimussäätiön tekoälyn kehitykseen vuonna 2015.

Siihen saakka tekoälytutkimus oli keskittynyt yliopistojen ohella muutamalle suuryritykselle, kuten Googlelle, Microsoftille, Facebookille ja IBM:lle. Open AI:n oli tarkoitus olla poikkeus. Se havitteli heti alkuun maailman parhaita tekoälytutkijoita. Sellaisia, joiden palkkakehitys muistutti huippu-urheilijoita.

Myös Open AI:n tavoitteet olivat ylevät. Ne kumpusivat suoraan Piilaakson eetoksen ytimestä. Olihan Altman johtanut vuosia yhtä nimekkäimmistä startup-kiihdyttämöistä, Y Combinatoria. Nyt hän oli Muskin rinnalla tekoälysäätiön kasvot.

Kaikki tuskin ottivat Altmanin puheita aluksi todesta. Hänen oppi-isänsä ja idolinsa Elon Musk tunnetaan suurista visoista, avaruudenvalloituksesta ja koko autoteollisuuden suunnan muuttamisesta Teslalla. Altmanin puheissa on kuultavissa sävel, jota voisi nimittää efektiiviseksi altruismiksi. Se on kalifornialaisille tuttu ajatussuunta, jossa ideana on tehdä voittoa ja ohjata se johonkin hyvään.

Mitä Altman sitten puhui? Hän näki, että 1950-luvulta lähtien kehitetyssä tekoälyssä on tapahtumassa murros. Hän myös pelkäsi, että murros jäisi muutaman yhtiön, kuten Googlen ja Facebookin, sisäiseen käyttöön. Se antaisi tajuttomia määriä valtaa muutamille yhtiöille maailmassa. Altman puhuu AGI:sta, artificial general intelligencestä, eli vapaasti käännettynä yleisestä tekoälystä – koneesta, joka kykenee kaikkeen, mihin ihmisaivotkin kykenevät.

Kaikkitietävä kone, joka on yhtä hyvä kuin ihminen lähes missä tahansa tehtävässä. Se muuttaisi maailmanjärjestystä, yhteiskuntia ja markkinataloutta kokonaan uuteen uskoon.

Sam Altman antaa ymmärtää New York Timesin tuoreessa artikkelissa, että Open AI:n tavoitteena on luoda kokonaan uudenlainen talousjärjestelmä – tai ainakin sellaiseen yleinen tekoäly maailman veisi. Hänen lennokkaassa, kovin Muskin isoja ideoita muistuttavassa visiossaan markkinatalous jää toiseksi tekoälylle.

Tekoäly alkaa hoitaa suurta osaa ihmiskunnan tekemistä töistä. Se tarkoittaa, että Open AI tekee voittoa satoja miljardeja, ehkä tuhansia miljardeja tai jopa vielä tähtitieteellisempiä määriä, satoja biljoonia. Sitä Altman ei tiedä, miten vauraus ohjataan takaisin ihmisille, mutta hän uskoo, ettei hänen edes tarvitse tietää. Tekoäly ratkaisee ongelman.

Aloittaessaan vuonna 2015 Open AI onnistui palkkaamaan yhdeksän huippututkijaa. Rahaa nimekäs Piilaakson joukko ja muutama yritys sijoittivat tutkimusorganisaatioon liki miljardin euron verran.

Lupaukset olivat yleviä. Kehitetty tekoäly ei jää yhden yhtiön iloksi, vaan se valjastetaan tuottamaan hyvää, annetaan vastikkeetta maailmalle käyttöön.

Ensimmäiset vuodet Open AI:n kehittäjät saivat tehdä työtään suhteellisen rauhassa. Välillä Altman antoi haastatteluja mediaan. Välillä organisaatio teki pieniä julkaisuja, kuten koneoppimisalusta Open AI Gymin vuonna 2016.

Tekoälyn kehitystä oli 2010-luvulla vauhdittanut koneoppimisen ja laskentatehon kasvu. Koneoppimisessa tietokoneelle syötetään aineistoa, joiden pohjalta se luo matemaattisia malleja, algoritmeja. Tyypillisesti koneoppiminen vaatii paljon tietokonetehoa.


Vuonna 2017 Open AI osti tietokoneiden laskentaa noin seitsemällä miljoonalla eurolla. Summa on verrattain pieni. Esimerkiksi Googlen Deepmind-tekoälyn laskennan hinta oli samana vuonna noin 400 miljoonan euron tietämillä.

Open AI:ssa alkoi käydä selväksi, että miljardi ei riitä tekoälykehityksessä vielä kovinkaan pitkälle. Open AI tarvitsisi lisää rahaa. Piilaakson hyväntekijöiltä ei kuitenkaan heltiäisi loputtomasti miljardeja spekulatiivisiin hankkeisiin. Elon Musk olisi voinut olla ässä hihassa, mutta hän oli jättänyt säätiön vuonna 2018, koska myös Tesla kehitti tekoälyä. Oli keksittävä jotain muuta.

Sam Altman johti vuosia maineikasta Y Combinator -yrityskiihdyttämöä, jonka hän jätti vuonna 2019. Kuva: Kyodonews, Kuvankäsittely: HS

Vuonna 2019 Open AI teki erikoisen manööverin ratkaistakseen rahaongelman. Voittoa tavoittelemattoman yhdistyksen rinnalle perustettiin perinteinen voittoa tavoitteleva yhtiö, Open AI LP. Samalla Altman aloitti täysipäiväisenä toimitusjohtajana.

Voittoa tavoitteleva Open AI LP toimii tutkimussäätiön alaisuudessa.

Kyseessä ei silti ole aivan perinteinen yritys. Sam Altman on kuvannut mallia capped profit -yhtiöksi, jonka voisi muotoilla rajatun voiton yritykseksi. Mitä se todellisuudessa tarkoittaa, on toinen asia. Toistaiseksi voittokattoa voi pitää teoreettisena viritelmänä, joka pitää jotenkuten yhtiön hyväntekijämainetta yllä.

Open AI:n voittoa tavoitteleva yhtiö saa tehdä 100-kertaisesti voittoa siihen sijoitettuun pääomaan nähden. Kun Open AI:hin sijoitettu pääoma tuottaa yli 10 000 prosenttia, ylimenevä osuus ohjataan voittoa tavoittelemattomaan organisaatioon.

Käytännössä järjestely tarkoittaa, että sijoittajan 10 000 euron panos saa tuottaa Open AI:lle miljoonan ennen kuin rahaa päätyy tutkimusorganisaatiolle.

Miljardin euron sijoituksella Open AI voi tehdä kymmeniä miljardeja voittoa kuin mikä tahansa yhtiö. Ja toki Open AI voi aina ottaa lisää sijoitusrahaa sisään. Silloin voittokatto kohoaa aina vain korkeammalle.

Open AI oikeuttaa mallinsa sillä, että sen graalinmaljan, AGI:n, kehitys maksaa tajuttoman paljon.

Tammikuussa Microsoftin kerrottiin neuvotelleen lähes kymmenen miljardin euron sijoituksesta Open AI:hin. Yhtiö tarjoaa Open AI:lle laskentatehoa. Samalla kielimalli lisättiin osaksi Microsoftin Bing-hakukonetta.

Ensimmäiset viisi vuotta näyttää olleen Open AI:lle vasta alkukiitoa. Vuonna 2020 organisaatio alkoi toden teolla saada nostetta. Syynä oli GPT-kielimalli, joka vaikutti toimivan erinomaisesti. Se pystyi tuottamaan ihmismäisesti tekstiä.

Seuraavana vuonna Open AI julkaisi Dall-e:n, kuvia tuottavan tekoälymallin.

Joulukuussa 2022 Open AI lunasti paikkansa tekoälymaailman huipulla. GPT:sta paranneltu versio oli kytketty chat-käyttöliittymään. Chat GPT sai monen tajuamaan, että olemme valtavan teknologisen murroksen keskellä.

Vaikka yhtiön nimestä voisi muuta päätellä, niin kuka tahansa ei ole päässyt käyttämään Open AI:n teknologiaa. Yhtiö julkaisee hyvin niukasti mitään avoimena lähdekoodina. Kumppanit ovat olleet tarkoin Open AI:n valikoimia. Ne yritykset, jotka ovat päässeet kumppaneiksi, esimerkiksi hyödyntämään GPT-kielimallia, ovat saattaneet saada merkittävää etumatkaa kilpailijoihin nähden.

Flowrite on ensimmäisiä ja pisimpään Open AI:n kanssa yhteistyötä tehneitä suomalaisia startupeja. Flowrite sai pääsyn GPT 3 -kielimalliin vuonna 2020.

Flowriten perustajiin lukeutuva Karolus Sariola kertoo, että he olivat todennäköisesti jopa ensimmäisiä eurooppalaisia, jotka saivat kielimallin käyttöönsä.

Hän kuvailee Open AI:ta sisäänpäin kääntyneeksi.

Viestintäsovellusta kehittävä Flowrite on ensimmäisiä eurooppalaisia yrityksiä, jotka saivat Open AI:n GPT 3 -kielimallin käyttöönsä. Kuvassa vasemmalla Flowriten perustajat Aaro Isosaari ja Karolus Sariola. Kuva: Emilia Anundi / HS

Yhteiskumppanit eivät voi käyttää tekoälymalleja miten tahtovat, vaan palveluiden julkistaminen vaatii Open AI:n siunauksen. Open AI ei panosta tukipalveluiden myyntiin kumppaneilleen eli toimii päinvastoin kuin monet muut ohjelmistoalan yritykset. Niin sanottuja ratkaisuarkkitehtejä ei juuri ole tarjolla. Tai jos on, he ovat verrattain kokemattomia.

Sariolan mukaan Open AI:n kurssi muuttui viime kesän lopulla. Se alkoi keskittyä selkeästi suuriin yrityksiin. Aikaisemmin kumppaneiksi saatettiin valita sellaisia, joiden kanssa tekoälymalleja on mielekästä testata. Nyt kumppanuuksissa painottuvat kaupalliset intressit.

Vaikka Chat GPT näyttää tavalliselle kotikäyttäjälle avoimelta, toinen puoli Open AI:n toiminnasta ei ole yhtä avointa. Sariola kuvailee, että tekoälymarkkinoilla on meneillään leiriytyminen. Yritysten on päätettävä, keiden kanssa ne tekevät yhteistyötä: onko se Microsoft, Amazon vai Google? Tekoälyn tarvitsema laskentateho on ostettava jostain.

Keväällä Open AI esitteli Chat GPT:n lisäosat. Käytännössä kyseessä on sovelluskaupan kaltainen alusta. Yritykset voivat tulevaisuudessa kehittää omia lisäosia Open AI:lle. Open AI siis pyrkii juurruttamaan paikkansa tekoälykehityksen ytimeen.

Nykyisin Open AI myös rahoittaa lupaavia kasvuyrityksiä Open AI Startup Fundin kautta.

Jo aivan Open AI:n alkuvaiheessa Altman esitti huolen. Tekoälyn kyetessä hyviin tekoihin se kykenee myös äärimmäisen pahoihin tekoihin. Ja juuri keinoälyn riskeistä tuli osa Open AI:n tarinaa.

Yleistä tekoälyä ei vielä ole olemassa, eikä sellaista ole tiettävästi edes kehitteillä. Siksi puheet yleisen, ihmisenkaltaisen tekoälyn ongelmista voi nähdä viestinnällisenä silmänkääntötemppuna.

”Kuulostaa markkinointihötöltä. AGI-termi viittaa yleiseen tekoälyyn, joka on kaikissa tehtävissä ihmisen veroinen. Tällä hetkellä siinä ei olla, ja on epäselvää, tullaanko koskaan sinne pääsemäänkään. Puheet yleisestä tekoälystä ja sen riskeistä ovat kovin liioiteltuja”, sanoo Helsingin yliopiston tietojenkäsittelytieteen professori Hannu Toivonen.

Hänen mukaansa AGI:n riskien sijaan pitäisi puhua enemmän nykyisten tekoälyohjelmien kuten kielimallien ongelmista. Tällä hetkellä ei esimerkiksi ole tarpeeksi tietoa siitä, miten Open AI:n mallit toimivat tai miten ja millä aineistoilla ne on koulutettu. Lisäksi Open AI:n käyttöehdot sysäävät oikeudellisen vastuun kielimallien käyttäjille, oli sitten kyseessä yksityishenkilö tai yritys.

”On vaikea käyttää turvallisesti järjestelmää, jonka toiminnasta ei ole tietoa ja takeita.”

Helsingin yliopiston professori Hannu Toivonen toteaa, että kielimallit ovat huono ajattelun korvike mutta hyvä apuväline ajattelun tueksi. Kuva: Veikko Somerpuro

Toivonen kuitenkin kiittelee Open AI:ta siitä, miten se on onnistunut tekemään tekoälyn tuottamasta sisällöstä turvallisempaa. Huhtikuussa Financial Times kertoi, miten Open AI:ssa toimii punainen ryhmä, joka pyrkii estämään tekoälyn hakkeroinnin vaaralliseen käyttöön. Ilman rajoituksia sillä voisi esimerkiksi hakea ohjeita biologisten aseiden valmistukseen. Se voisi tarkoittaa, että tekoäly ei ainoastaan osaa summata tutkimusten havaintoja vaan myös tarjota kemianteollisuuden yrityksiä, joiden tuotteilla bioaseiden valmistus voisi olla mahdollista.

Sam Altman on myöntänyt, että hän elää etuoikeutettua, ehkä jopa todellisuudesta vieraantunutta elämää Piilaaksossa. Sen vuoksi hän on viime aikoina halunnut matkustaa ja tavata ihmisiä eri puolilta maapalloa, hankkia näkemyksiä.

Jos tavoitteena on luoda järjestelmä, joka muuttaa nykyisen maailmanjärjestyksen, ehkä silloin hyvä tuntea maailmaa Piilaakson kasvuyrityspiirejä laajemmin.

Kulttuurisista kysymyksistä Open AI:n edustajat ovat silti puhuneet yllättävän vähän. Sen tekoälyt on koulutettu pääasiassa länsimaisella internetsisällöllä, joten malleihin on sisäänrakennettu kaikki vinoumat ja rasismi, joka internetistä löytyy. Käytännössä GPT-mallit siis heijastelevat juuri niitä ennakkoluuloja ja vinoumia, joita ihmisillä on. Sopimattoman ja häiritsevän sisällön perkaamiseen Open AI on käyttänyt afrikkalaista matalapalkkaista työvoimaa.

”Nykyiset kielimallit ovat muutaman valtion hupi. Niitä ei ole edes saatavilla maantieteellisesti kaikkialla”, Hannu Toivonen sanoo.

Open AI:n GPT-kielimalli osaa sujuvaa suomea. Välillä malli kuitenkin sortuu anglismeihin eli englannin kielestä peräisin oleviin ilmaisutapoihin.

Viime vuonna julkaistu Chat GPT on ollut ehkä tekoälymurroksen näkyvin tuote. Se on saanut valtavia määriä uusia ihmisiä työskentelemään tekoälyn parissa. Osa tekee kehitystä jopa vapaaehtoisesti.

Huhtikuun puolessa välissä Chat GPT:n kanssa kilpaileva täysin avoin Open Assistant näki päivänvalon. Avoimeen lähdekoodin perustuva keskusteleva tekoäly sai niin paljon kiinnostusta osakseen, että palvelu kaatui heti julkistuksen jälkeen. Myös suomalainen Silo AI on kehittämässä kumppaneidensa kanssa eurooppalaista ja avoimempaa vastinetta GPT:lle.

Open AI:lla on silti etumatkaa. GPT on Stanfordin yliopiston mukaan edelleen kaikkein paras kielimalli. Mutta tekninen etumatkaa tuntuu silti jatkuvasti kaventuvan, kun tekoälymalleista onnistutaan kehittämään kevyempiä. Nykyisin suuri kielimalli saadaan toimimaan palvelinkeskuksen sijaan tavallisella Applen kannettavalla tietokoneella.

”Mikä Open AI:n erottaa muista kilpailijoista? Ei enää oikeastaan juuri mikään”, Sariola toteaa.

Lupaamalla hyvää ja avoimuutta saatiin ainakin nousujohteinen alkupyrähdys. Nykyisin Open AI on kuin mikä tahansa Piilaakson suljettu yritys.

”Nimi on silti ironisesti Open AI”, Sariola sanoo.

https://www.hs.fi/visio/art-2000009520008.html

motorisoitu keino wrote: ↑

18 Apr 2023, 17:54

Mikki Hiiri -kuvista tuli mieleen jotkut omat vastaavat kokeilut, tämä taisi olla "Eric Clapton sitting on the toilet, surrounded by large frogs". Vähän oudosti tuossa näyttää olevan tuollainen pienempi pönttö isommassa pöntössä.

Jesse Python wrote: ↑

28 Feb 2023, 13:16

Alkaa vähän kyllästyttää.

Sinikeltainen Kipinä Kuutio wrote: ↑

20 Apr 2023, 08:25

Tuli myös mieleen että eikö se hemmetin chat GPT voisi vaan sanoa, että en tiedä silloin kun se selvästikään ei tiedä.

Spandau Mullet wrote: ↑

20 Apr 2023, 08:27

Monestiko oot nähnyt jonkun myöntävän netissä ettei tiedä jostain asiasta hevov vittua?

Artist Wins Photography Contest After Submitting AI-Generated Image, Then Forfeits Prize