Informazioni

Un'API di ricerca news per agent e app, con un piano gratuito e il testo completo degli articoli.

Il problema

Un agente che ha bisogno di informazioni attuali ha bisogno di più dei titoli. Ha bisogno dell'articolo stesso e deve sapere quali campi sono stati osservati e quali sono stati indovinati. La maggior parte delle API di notizie offre il corpo dell'articolo in un piano a pagamento e non dice nulla su dove provengano i loro metadati. Il confronto contiene i dettagli.

Cosa abbiamo costruito

Ricerca full-text su centinaia di migliaia di articoli giornalistici al giorno provenienti da oltre 25,000 editori in 90 paesi e 50 lingue, su una finestra scorrevole di 90 giorni, aggiornata continuamente. Quattro endpoint GET e una chiave API.

Come viene finanziato

Sinceramente: costa quasi zero.

I dati provengono da archivi di notizie pubblici su larga scala: dataset bulk di pagine web già indicizzate, rilasciati in modo continuo. Non licenziamo contenuti dagli editori né effettuiamo fetch dalle loro server; elaboriamo dataset già pubblici.

Novanta giorni di dati, indicizzati e replicati tre volte, occupano circa il 3% di un cluster Elasticsearch che gestiamo già per altri scopi. Servire una query di ricerca richiede tempo CPU che abbiamo a disposizione. La capacità misurata è di 1,247 richieste al secondo; un singolo chiamante è limitato a 20.

Resterà gratuito

Il piano gratuito rimane invariato. In passato promettevamo che la ricerca sarebbe rimasta aperta senza chiave; questa garanzia è terminata nel 2026, come spiegato nel changelog. Eventuali ulteriori modifiche verranno annunciate lì prima di essere attuate.

Chi lo gestisce

Un piccolo team indipendente che gestisce come attività principale infrastrutture di ricerca e dati — cluster Elasticsearch, crawler e pipeline — Questo servizio gira sulla stessa infrastruttura, ed è proprio per questo che può essere offerto gratuitamente.

Contatti

• Publisher che richiedono l'esclusione: vedi publisher. Le richieste vengono esaudite, senza discutere.
• Dati in bulk: se prevedi di effettuare decine di migliaia di richieste, contattaci prima: esiste un metodo più efficiente per fornirti i dati rispetto all'HTTP.
• Bug e dati errati: indicaci l'articolo e cosa non va. Etichette di paese o data errate sono i problemi più comuni e quelli più utili segnalare.

Scrivi a [email protected].

Cosa non facciamo

• Non ospitiamo il contenuto degli articoli. Ogni risposta include il url originale: attribuzione e link al sito di origine.
• Non vendiamo i tuoi dati né inseriamo pubblicità. Consulta la privacy.
• Non classifichiamo gli editori in base alla credibilità né applichiamo filtri politici. Ciò che Common Crawl ha indicizzato è ciò che ottieni, e questo ha delle conseguenze.