درباره
یک API جستجوی خبری برای عامل‌ها و برنامه‌ها، با طرح رایگان و متن کامل مقالات.
مشکل
عاملی که به اطلاعات به‌روز نیاز دارد، بیش از تیترها نیاز دارد. او به متن کامل مقاله نیاز دارد و باید بداند کدام فیلدها مشاهده شده و کدام‌ها حدس زده شده‌اند. بیشتر APIهای خبری متن کامل را در پلن‌های پولی می‌فروشند و درباره منبع متادیتای خود چیزی نمی‌گویند. مقایسه جزئیات را دارد.
آنچه ساختیم
جستجوی متن کامل در روزانه صدها هزار مقاله خبری از بیش از 25,000 ناشر در بیش از 90 کشور و بیش از 50 زبان، در یک پنجره لغزنده 90-روزه، به‌طور پیوسته به‌روز می‌شود. چهار نقطه پایانی GET و یک کلید.
نحوه تأمین مالی
راستش را بخواهید، هزینه‌اش ناچیز است.
داده‌ها از آرشیوهای خبری عمومی بزرگ‌مقیاس — مجموعه‌های حجیم از صفحات خبری که قبلاً خزیده شده‌اند و به صورت پیوسته منتشر می‌شوند — دریافت می‌شود. ما محتوایی را از ناشران لایسنس نمی‌کنیم و صفحاتی را از سرورهای آن‌ها دریافت نمی‌کنیم؛ ما مجموعه‌داده‌هایی را پردازش می‌کنیم که از قبل عمومی هستند.
نود روز از آن، نمایه‌سازی شده و سه بار بازتولید شده، حدود 3% از یک خوشه Elasticsearch که برای کارهای دیگر اجرا می‌کنیم را اشغال می‌کند. ارائه یک کوئری جستجو زمان CPU اضافی ما را مصرف می‌کند. ظرفیت اندازه‌گیری شده 1,247 درخواست در ثانیه است؛ یک فراخوان‌دهنده به 20 محدود است.
آیا رایگان باقی خواهد ماند
پلن رایگان ثابت می‌ماند. قبلاً قول داده بودیم که جستجو بدون کلید باز خواهد ماند؛ این موضوع در 2026 به پایان رسید و تغییرات دلیل آن را توضیح می‌دهد. هر تغییر دیگری پیش از وقوع در آنجا اعلام می‌شود.
چه کسی آن را اداره می‌کند
یک تیم کوچک مستقل که زیرساخت جستجو و داده — خوشه‌های الستیک‌سرچ، خزنده‌ها و پایپ‌لاین‌ها — را به عنوان شغل روزانه خود مدیریت می‌کند. این سرویس بر همان زیرساخت اجرا می‌شود، به همین دلیل می‌توان آن را رایگان ارائه داد.
تماس
- ناشران درخواست‌کننده حذف: به ناشران مراجعه کنید. درخواست‌ها پذیرفته می‌شوند و بحثی نیست.
- داده‌های انبوه: اگر قصد ارسال ده‌ها هزار درخواست را دارید، پیش از آن با ما تماس بگیرید — راه بهتری برای تحویل داده‌ها وجود دارد.
- باگ‌ها و داده‌های نادرست: به ما بگویید کدام مقاله و چه چیزی نادرست است. برچسب‌های کشور یا تاریخ نادرست رایج‌ترین موارد هستند و شنیدن آن‌ها بیشترین کمک را می‌کند.
ایمیل بزنید به [email protected].
آنچه انجام نمی‌دهیم
- ما محتوای مقالات را میزبانی نمی‌کنیم. هر پاسخی حاوی
urlاصلی است — نسبت دهید و به آن لینک دهید. - ما داده‌های شما را نمی‌فروشیم و تبلیغاتی نمایش نمی‌دهیم. به حریم خصوصی مراجعه کنید.
- ما ناشران را بر اساس اعتبار رتبه‌بندی نمی‌کنیم یا فیلتر سیاسی اعمال نمی‌کنیم. آنچه که Common Crawl به آن دسترسی داشته است، همان چیزی است که شما دریافت می‌کنید، و این پیامدهایی دارد.
