Névjegy

Hírkereső API ügynököknek és alkalmazásoknak, ingyenes csomaggal és teljes cikk szöveggel.

A probléma

Egy olyan ügynöknek, amelynek aktuális információra van szüksége, több kell a címsoroknál. Szüksége van magára a cikkre, és tudnia kell, mely mezőket figyelték meg és melyeket becsülték. A legtöbb hír API a cikkszöveget fizetős csomagban kínálja, és nem árulja el, honnan származnak a metaadatok. Az összehasonlítás részleteket tartalmaz.

Mit építettünk

Teljes szövegű keresés több százezer hír között naponta 25,000+ kiadótól 90+ országban és 50+ nyelvben, egy folyamatosan frissülő, 90 napos ablakban. Négy GET végpont és egy API kulcs.

Hogyan finanszírozzák a szolgáltatást

Őszintén: alig kerül semmibe.

Az adatok nagy léptékű nyilvános hírtárakból származnak – már előzetesen bejárt híroldalak tömeges adattárolói, folyamatosan közzétéve. Nem licencelünk tartalmat kiadóktól, és nem kérünk le oldalakat a szervereikről; már nyilvános adattárolókat dolgozunk fel.

A kilencven napnyi adat, indexelve és háromszor másolva, körülbelül 3% helyet foglal egy Elasticsearch klaszteren, amelyet már üzemeltetünk más munkákra. Egy keresési lekérdezés kiszolgálása olyan CPU-időt igényel, amely rendelkezésre áll. A mért kapacitás 1,247 lekérdezés másodpercenként; egyetlen hívó 20-vel van korlátozva.

Megmarad-e ingyenes

Az ingyenes csáp megmarad. Korábban azt ígértük, hogy a keresés kulcs nélkül is elérhető marad; ez 2026-ban megszűnt, és az változásnapló megmagyarázza az okot. Bármely további változást ott jelentünk be a megvalósítás előtt.

Ki üzemelteti

Egy kis, független csapat, amely keresési és adatalapú infrastruktúrát üzemeltet — Elasticsearch klasztereket, crawlereket és adatcsatornákat — mint fő tevékenységét. Ez a szolgáltatás ugyanazon az infrastruktúrán fut, ami pontosan azért teszi lehetővé, hogy ingyenesen kínálhassuk.

Kapcsolat

• Kiadók kizárási kérelme: lásd kiadók. A kéréseket teljesítjük, vita nélkül.
• Tömeges adatok: ha tízezrekben mérhető kérések tervezése előtt áll, lépjen velünk kapcsolatba először — adatai kézbesítésére hatékonyabb módszer áll rendelkezésre, mint az HTTP.
• Hibák és helytelen adatok: jelezze, melyik cikkben mi a hiba. A leggyakoribb és legértékesebb visszajelzések a helytelen ország- vagy dátumcímkék.

Írj emailt ide: [email protected].

Mit nem csinálunk

• Nem tároljuk a cikk tartalmát. Minden válasz tartalmazza az eredeti url – attribútumot és hivatkozást.
• Nem adjuk el az adataidat, és nem futtatunk hirdetéseket. Lásd az adatvédelmet.
• Nem rangsoroljuk a kiadókat hitelesség szerint, és nem alkalmazunk politikai szűrőt. Amit a Common Crawl elér, azt kapod, és ennek következményei vannak.