Despre

Un API de căutare în știri pentru agenți și aplicații, cu un plan gratuit și text complet al articolelor.

Problema

Un agent care are nevoie de informații actuale are nevoie de mai mult decât de titluri. Are nevoie de articolul însuși și trebuie să știe care câmpuri au fost observate și care au fost ghicite. Majoritatea API-urilor de știri vând corpul articolului pe un plan plătit și nu menționează de unde provin metadatele lor. Comparația conține detaliile.

Ce am construit

Căutare în textul integral peste sute de mii de articole de știri zilnic, de la peste 25,000 editori din peste 90 țări și 50 limbi, pe o fereastră glisantă de 90 zile, actualizat continuu. Patru endpoint-uri GET și o singură cheie API.

Cum este finanțat

Onest: Practic nu costă aproape nimic.

Datele provin din arhive mari de știri publice — seturi de date masive de pagini de știri deja analizate, publicate continuu. Nu licențiem conținut de la editori și nu preluăm pagini de pe serverele lor; procesăm seturi de date care sunt deja publice.

Nouăzeci de zile de date, indexate și replicate de trei ori, ocupă aproximativ 3% dintr-un cluster Elasticsearch pe care îl rulăm deja pentru alte sarcini. Servirea unei interogări de căutare consumă timp de CPU pe care îl avem disponibil. Capacitatea măsurată este de 1,247 cereri pe secundă; un singur apelant este limitat la 20.

Va rămâne gratuit

Planul gratuit rămâne. Înainte promiteam că căutarea va rămâne deschisă fără o cheie; acest lucru s-a încheiat în 2026, iar jurnalul de modificări explică de ce. Orice altă modificare este anunțată acolo înainte de a avea loc.

Cine îl administrează

O echipă mică independentă care operează infrastructura de căutare și date — clusteruri Elasticsearch, crawler-e și pipeline-uri — ca activitate principală. Acest serviciu rulează pe aceeași infrastructură, ceea ce explică de ce poate fi oferit gratuit.

Contact

• Editoare care solicită excluderea: consultați editoarele. Solicitățile sunt onorate, fără discuții.
• Date în volum mare: dacă intenționați să efectuați zeci de mii de solicitări, contactați-ne înainte — există o modalitate mai bună de a vă livra datele decât prin HTTP.
• Buguri și date greșite: spuneți-ne care articol este afectat și ce anume nu este corect. Etichetele greșite de țară sau dată sunt cele mai frecvente și cele mai utile să le raportăm.

Trimite un email la [email protected].

Ce nu facem

• Nu găzduim conținutul articolelor. Fiecare răspuns include url original — atribuiți și reveniți la sursă.
• Nu vindem datele dvs. și nu afișăm reclame. Consultați confidențialitatea.
• Nu clasăm editorii după credibilitate și nu aplicăm un filtru politic. Ceea ce a atins Common Crawl este ceea ce primiți, iar acest lucru are consecințe.