Hakkında
Ajanlar ve uygulamalar için bir haber arama API'si, ücretsiz planı ve tam makale metni ile.
Sorun
Güncel bilgiye ihtiyaç duyan bir agent'a sadece manşetler yetmez. Kendi makalesine ve hangi alanların gözlemlendiğinin, hangilerinin tahmin edildiğinin bilinmesine ihtiyaç duyar. Çoğu haber API'si makale gövdesini ücretli bir katmanda sunar ve meta verilerinin kaynağı hakkında hiçbir şey söylemez. Karşılaştırma detayları içerir.
Ne inşa ettik
25,000+ yayıncıdan 90+ ülkede ve 50+ dilde, günümüzde yüz binlerce haber makinesi üzerinden gün bazında kayan 90-günlük pencerede, sürekli yenilenen tam metin araması. Dört GET uç noktası ve tek bir anahtar.
Hizmetin finansman modeli
Dürüst olmak gerekirse: neredeyse hiçbir maliyeti yok.
Veriler, büyük ölçekli halka açık haber arşivlerinden gelir — zaten taranmış haber sayfalarının toplu veri setleri olup sürekli olarak yayımlanmaktadır. İçerikleri yayıncılardan lisanslamıyoruz ve sunucularından sayfaları çekmiyoruz; zaten halka açık olan veri setlerini işliyoruz.
Bunun doksan günü, indekslenmiş ve üç kez çoğaltılmış, başka işler için zaten çalıştırdığımız bir Elasticsearch kümesinin yaklaşık %3'ini kaplar. Bir arama sorgusu sunmak, fazladan olan CPU süresi maliyetine sahiptir. Ölçülen kapasite saniyede 1,247 istektir; tek bir çağrı yapan kişi 20 ile sınırlıdır.
Ücretsiz kalacak mı
Ücretsiz plan devam ediyor. Daha önce anahtarsız arama hizmetinin açık kalacağını vaat etmiştik; bu 2026 tarihinde sona erdi ve değişiklik günlüğü bunun nedenini açıklıyor. Herhangi bir başka değişiklik de gerçekleşmeden önce burada duyurulur.
Kim yönetiyor
Elasticsearch kümeleri, tarayıcılar ve veri boruhatları gibi arama ve veri altyapısını günlük işi olarak yöneten küçük, bağımsız bir ekip. Bu hizmet aynı altyapı üzerinde çalışır; bu nedenle ücretsiz olarak sunulabilir.
İletişim
- Yayıncılar hariç tutma talebi için: yayıncılar sayfasına bakın. Talepler kabul edilir, tartışma yoktur.
- Toplu veri: Eğer on binlerce istek planlıyorsanız, önce iletişime geçin — veriyi size HTTP üzerinden aktarmaktan daha iyi bir yol vardır.
- Hatalar ve yanlış veriler: Hangi makalede neyin yanlış olduğunu bize bildirin. Yanlış ülke veya tarih etiketleri en yaygın hatalardır ve bildirmeniz en faydalı olanlardır.
[email protected] adresine e-posta gönderin.
Ne yapmıyoruz
- Makale içeriğini barındırmıyoruz. Her yanıt orijinal
url— atıf ve geri bağlantı içerir. - Verilerinizi satmıyoruz veya reklam çalıştırmıyoruz. Gizlilik bölümüne bakın.
- Yayıncıları güvenilirliğe göre sıralamıyoruz veya siyasi bir filtre uygulamıyoruz. Common Crawl'ın erişebildiği her şeyi alırsınız ve bunun sonuçları vardır.
