Tentang
API carian berita untuk agen dan aplikasi, dengan pelan percuma dan teks artikel penuh.
Masalah
Agen yang memerlukan maklumat terkini memerlukan lebih daripada tajuk berita. Ia memerlukan artikel itu sendiri, dan ia perlu mengetahui medan mana yang diperhatikan dan mana yang dianggarkan. Kebanyakan API berita menjual isi artikel pada tier berbayar dan tidak menyatakan sumber metadata mereka. Perbandingan mempunyai butiran.
Apa yang kami bina
Pencarian teks penuh merangkumi ratusan ribu artikel berita setiap hari dari 25,000+ penerbit di 90+ negara dan 50+ bahasa, dalam tetingkap bergerak 90-hari, disegarkan secara berterusan. Empat hujung GET dan satu kunci.
Bagaimana ia dibiayai
Jujur: kosnya hampir tidak ada.
Data berasal daripada arkib berita awam berskala besar — set data besar halaman berita yang telah dipapah, dikeluarkan secara berterusan. Kami tidak mendapatkan lesen kandungan daripada penerbit dan kami tidak memapah halaman dari pelayan mereka; kami memproses set data yang sudah sedia ada secara awam.
Sembilan puluh hari data, diindeks dan disalin tiga kali, menduduki kira-kira 3% kluster Elasticsearch yang kami sudah jalankan untuk kerja lain. Menyediakan pertanyaan carian memerlukan masa CPU yang kami ada lebih. Kapasiti yang diukur ialah 1,247 permintaan sesaat; seorang pemanggil tunggal dihadkan kepada 20.
Adakah ia akan kekal percuma
Pelan Percuma kekal. Kami pernah berjanji bahawa carian akan kekal terbuka tanpa kunci; janji itu tamat pada 2026, dan log perubahan menjelaskan sebabnya. Sebarang perubahan lanjut diumumkan di sana sebelum ia berlaku.
Siapa yang menjalankannya
Pasukan kecil bebas yang mengendalikan infrastruktur carian dan data — kluster Elasticsearch, perayap dan saluran pemprosesan — sebagai pekerjaan harian mereka. Perkhidmatan ini berjalan pada infrastruktur yang sama, yang tepat sebabnya ia boleh diberikan secara percuma.
Hubungi
- Penerbit yang memohon pengecualian: lihat penerbit. Permohonan dipatuhi, tiada perdebatan.
- Data pukal: jika anda merancang puluhan ribu permintaan, hubungi kami terlebih dahulu — terdapat cara yang lebih baik untuk memberikan data kepada anda berbanding HTTP.
- Kepincang dan data salah: beritahu kami artikel mana dan apa yang salah. Label negara atau tarikh yang salah adalah yang paling biasa, dan paling berguna untuk dimaklumkan.
E-mel [email protected].
Apa yang tidak kami lakukan
- Kami tidak menempatkan kandungan artikel. Setiap respons membawa
urlasal — atribut dan kaitkan kembali kepadanya. - Kami tidak menjual data anda atau menjalankan iklan. Lihat privasi.
- Kami tidak mengelaskan penerbit mengikut kredibiliti atau menggunakan penapis politik. Apa yang dicapai oleh Common Crawl itulah yang anda dapat, dan itu mempunyai akibat.
