Tentang
API pencarian berita untuk agen dan aplikasi, dengan paket gratis dan teks artikel lengkap.
Masalah
Agen yang membutuhkan informasi terkini memerlukan lebih dari sekadar judul berita. Ia membutuhkan isi artikel itu sendiri, dan ia perlu mengetahui bidang mana yang diamati dan mana yang hanya ditebak. Sebagian besar API berita menjual isi artikel pada tier berbayar dan tidak menjelaskan dari mana metadata mereka berasal. Perbandingan memuat detailnya.
Apa yang kami bangun
Pencarian teks lengkap atas ratusan ribu artikel berita harian dari lebih dari 25,000 penerbit di lebih dari 90 negara dan 50 bahasa, dengan jendela geser 90-hari, diperbarui secara terus-menerus. Empat endpoint GET dan satu kunci.
Bagaimana layanan ini didanai
Jujur saja: biayanya hampir tidak ada.
Data berasal dari arsip berita publik skala besar — kumpulan data besar dari halaman berita yang sudah di-crawl, dirilis secara terus-menerus. Kami tidak melisensikan konten dari penerbit dan kami tidak mengambil halaman dari server mereka; kami memproses kumpulan data yang sudah bersifat publik.
Sembilan puluh hari data, yang diindeks dan direplikasi tiga kali, menempati sekitar 3% dari klaster Elasticsearch yang sudah kami jalankan untuk pekerjaan lain. Menjalankan kueri pencarian membutuhkan waktu CPU yang masih tersedia. Kapasitas terukur adalah 1,247 permintaan per detik; setiap pengirim dibatasi hingga 20.
Apakah akan tetap gratis
Paket Gratis tetap ada. Kami dulu berjanji bahwa pencarian akan tetap terbuka tanpa kunci; itu berakhir pada 2026, dan changelog menjelaskan alasannya. Perubahan lebih lanjut akan diumumkan di sana sebelum terjadi.
Siapa yang menjalankannya
Tim independen kecil yang menjalankan infrastruktur pencarian dan data — klaster Elasticsearch, crawler, dan pipa — sebagai pekerjaan utama mereka. Layanan ini berjalan di infrastruktur yang sama, yang justru menjadi alasan mengapa layanan ini dapat diberikan secara gratis.
Kontak
- Penerbit yang meminta pengecualian: lihat penerbit. Permintaan dipatuhi, tanpa debat.
- Data massal: jika Anda berencana melakukan puluhan ribu permintaan, hubungi kami terlebih dahulu — ada cara yang lebih baik untuk memberikan data daripada melalui HTTP.
- Bug dan data salah: beri tahu kami artikel mana yang bermasalah dan apa yang salah. Label negara atau tanggal yang salah adalah yang paling umum, dan paling berguna untuk dilaporkan.
Kirim email ke [email protected].
Apa yang tidak kami lakukan
- Kami tidak menyimpan konten artikel. Setiap respons menyertakan
urlasli — atribusi dan tautkan kembali ke sumbernya. - Kami tidak menjual data Anda atau menjalankan iklan. Lihat privasi.
- Kami tidak memberi peringkat penerbit berdasarkan kredibilitas atau menerapkan filter politik. Apa yang dapat dijangkau oleh Common Crawl adalah apa yang Anda dapatkan, dan hal itu memiliki konsekuensi.
