Tietoja
Uutishaku-API agenteja ja sovelluksia varten, ilmaisella suunnitelmalla ja koko artikkelin tekstillä.
Ongelma
Agentin, joka tarvitsee ajankohtaista tietoa, tarvitsee enemmän kuin otsikoita. Siltä vaaditaan itse artikkeli, ja sen on tiedettävä, mitkä kentät on havaittu ja mitkä on päätelty. Useimmat uutisAPI:t myyvät artikkelin sisällön maksullisella tasolla, eivätkä kerro mistä niiden metadata on peräisin. Vertailu sisältää tarkemmat tiedot.
Mitä olemme rakentaneet
Koko tekstin haku satojatuhansista uutisartikkeleista päivässä yli 25,000 julkaisijalta 90 maassa ja 50 kielellä jatkuvasti päivittyvällä 90 päivän ikkunalla. Neljä GET-päätepistettä ja yksi avain.
Miten palvelu rahoitetaan
Rehellisesti sanottuna: se ei juuri maksa mitään.
Data tulee laajamittaisista julkisista uutisarkistoista — massiivisista jo kaivetun uutissivuston sisällön kokoelmista, jotka julkaistaan jatkuvasti. Emme ota sisältöä kustantajilta lisenssillä emmekä hae sivuja heidän palvelimiltaan; käsittelemme jo julkisia kokoelmia.
Noin 3% Elasticsearch-klastereistamme, jota käytämme muihin tehtäviin, menee tähän 90 päivän ajan indeksöityyn ja kolminkertaisesti replikoituun dataan. Hakukyselyn palvelu vaatii vain ylimääräistä suorituskykyä. Mitattu kapasiteetti on 1,247 pyyntöä sekunnissa; yksittäinen käyttäjä on rajoitettu 20 pyyntöön.
Pysyykö palvelu ilmaisena
Ilmainen taso pysyy ennallaan. Aiemmin lupasimme, että haku pysyisi avoimena ilman avainta; tämä päättyi 2026, ja muutosloki kertoo miksi. Kaikki muutokset julkaistaan siinä ennen kuin ne toteutuvat.
Kuka ylläpitää palvelua
Pieni itsenäinen tiimi, joka hoitaa hakujen ja datan infrastruktuurin — Elasticsearch-klastereiden, keräimien ja putkistojen — päivittäisenä työnään. Tämä palvelu toimii samassa infrastruktuurissa, mikä on juuri syy sille, miksi se voidaan antaa ilmaiseksi.
Ota yhteyttä
- Julkaisijat, jotka haluavat sulkea pois: katso julkaisijat. Pyyntöjä noudatetaan ilman vastaväitteitä.
- Jatkuva data: jos aiot tehdä kymmeniä tuhansia pyyntöjä, ota yhteyttä etukäteen — datan toimittamiseen on olemassa tehokkaampi tapa kuin HTTP.
- Viat ja virheelliset tiedot: kerro meille, mikä artikkeli ja mikä siinä on viallista. Yleisimpiä ja hyödyllisimpiä ovat väärät maa- tai päivämäärämerkinnät.
Sähköposti [email protected].
Mitä emme tee
- Emme isännöi artikkelien sisältöä. Jokaisessa vastauksessa on alkuperäinen
url— attribuutti ja linkki takaisin siihen. - Emme myy tietojasi tai näytä mainoksia. Katso yksityisyys.
- Emme luokittele uutistoimistoja luotettavuuden mukaan tai käytä poliittista suodatinta. Se, mihin Common Crawl pääsi, on se, mitä saat, ja sillä on seurauksia.
