Over
Een nieuwszoek-API voor agents en apps, met een gratis plan en volledige artikeltekst.
Het probleem
Een agent die actuele informatie nodig heeft, heeft meer dan koppen nodig. Hij heeft het artikel zelf nodig, en hij moet weten welke velden zijn waargenomen en welke zijn geraden. De meeste nieuws-API's verkopen de volledige tekst op een betaald abonnement en zeggen niets over waar hun metadata vandaan komt. De vergelijking bevat de details.
Wat we hebben gebouwd
Volledige-tekstzoekopdracht over honderdduizenden nieuwsartikelen per dag van meer dan 25,000 uitgevers in meer dan 90 landen en 50 talen, binnen een rollende 90-dagen periode, continu ververst. Vier GET-eindpunten en één sleutel.
Hoe het wordt betaald
Eerlijk gezegd kost het bijna niets.
De data komt uit grootschalige publieke nieuwsarchieven — bulksets van reeds gecrawld nieuws, continu uitgebracht. We licentiëren geen content van uitgevers en we halen geen pagina's van hun servers; we verwerken datasets die al publiek beschikbaar zijn.
Negenentwintig dagen ervan, geïndexeerd en driemaal gerepliceerd, neemt ongeveer 3% in van een Elasticsearch-cluster dat we al voor ander werk draaien. Het bedienen van een zoekopdracht kost CPU-tijd die we over hebben. Gemeten capaciteit is 1,247 verzoeken per seconde; een enkele gebruiker is beperkt tot 20.
Blijft het gratis
Het gratis abonnement blijft bestaan. We beloofden eerder dat de zoekfunctie zonder sleutel open zou blijven; dat is per 2026 geëindigd, en de changelog legt uit waarom. Eventuele verdere wijzigingen worden daarvoor aangekondigd.
Wie beheert het
Een klein, onafhankelijk team dat search- en data-infrastructuur beheert — Elasticsearch-clusters, crawlers en pipelines — als zijn dagbaan. Deze dienst draait op dezelfde infrastructuur, precies daarom kunnen we hem gratis aanbieden.
Contact
- Nieuwsuitgevers die uitsluiting aanvragen: zie uitgevers. Verzoeken worden ingewilligd, geen discussie.
- Bulkgegevens: als je tienduizenden verzoeken plant, neem dan eerst contact op — er is een betere manier om de gegevens aan je over te dragen dan via HTTP.
- Bugs en onjuiste gegevens: vertel ons welk artikel en wat er mis is. Verkeerde land- of datumlabels komen het meest voor en zijn het meest nuttig om te melden.
Stuur een e-mail naar [email protected].
Wat we niet doen
- Wij hosten geen artikelinhoud. Elke response bevat de originele
url— vermelding en link terug ernaar. - Wij verkopen je data niet en tonen geen advertenties. Zie privacy.
- Wij rangschikken uitgevers niet op geloofwaardigheid en passen geen politieke filter toe. Wat Common Crawl heeft bereikt, is wat je krijgt, en dat heeft consequenties.
