אודות
API לחיפוש חדשות עבור סוכנים ואפליקציות, עם תוכנית חינמית וטקסט מלא של הכתבות.
הבעיה
אגנט שזקוק למידע עדכני צריך יותר מכותרות. הוא צריך את גוף המאמר עצמו, ואת הידיעה אילו שדות נצפו ואילו הושערו. רוב ממשקי ה-API לחדשות מוכרים את גוף המאמר רק בתוכנית בתשלום, ולא מסבירים מאין נלקחו המטא-נתונים. ההשוואה מכילה את הפרטים.
מה בנינו
חיפוש טקסט מלא על פני מאות אלפי מאמרי חדשות ביום מ-25,000+ מפרסמים ב-90+ מדינות ו-50+ שפות, בחלון גלגל של 90 ימים, מתעדכן ברציפות. ארבעה נקודות קצה GET ומפתח אחד.
כיצד השירות ממומן
בכנות: זה כמעט לא עולה כלום.
הנתונים מגיעים מארכיוני חדשות ציבוריים בקנה מידה גדול — ערכות נתונים גדולות של דפי חדשות שכבר נסרקו, המשוחררות ברציפות. אנו לא מרשים תוכן ממוצאים לאור ואנו לא מושכים דפים משרתי המוציאים לאור; אנו מעבדים ערכות נתונים שכבר ציבוריות.
תשעים ימים של נתונים, המסווגים ומשוכפלים שלוש פעמים, תופסים כ-3% מאשכול Elasticsearch שכבר מריצים עבור עבודות אחרות. הגשת שאילתת חיפוש עולה בזמן מעבד שיש לנו עודף. הקיבולת הנמדדת היא 1,247 בקשות בשנייה; קורא בודד מוגבל ל-20.
האם השירות יישאר חינם
תוכנית חינם נשארת. בעבר הבטחנו שחיפוש יישאר פתוח ללא מפתח; זה הסתיים ב-2026, ו-יומן השינויים מסביר מדוע. כל שינוי נוסף יוכרז שם לפני יישומו.
מי מנהל את השירות
צוות עצמאי קטן המפעיל תשתיות חיפוש ונתונים — אשכולות Elasticsearch, קרוולרים וצינורות נתונים — כעבודתו היומיומית. שירות זה פועל על אותה תשתית בדיוק, וזו הסיבה המדויקת לכך שהוא יכול להינתן בחינם.
צור קשר
- מוציאים לאור המבקשים החרה: ראו מוציאים לאור. הבקשות מתבצעות, ללא ויכוח.
- נתונים בכמות גדולה: אם אתם מתכננים עשרות אלפי בקשות, צרו קשר מראש — יש דרך טובה יותר להעביר אליכם את הנתונים מאשר באמצעות HTTP.
- באגים ונתונים שגויים: ספרו לנו איזו כתבה ומה לא בסדר בה. תוויות שגויות של מדינה או תאריך הן הנפוצות ביותר, וגם החשובות ביותר לדיווח עליהן.
שלחו מייל ל-[email protected].
מה אנחנו לא עושים
- אנחנו לא מאחסנים תוכן של מאמרים. כל תגובה כוללת את
urlהמקורי — תייגו וקשרו חזרה אליו. - אנחנו לא מוכרים את הנתונים שלך או להריץ פרסומות. ראה פרטיות.
- אנחנו לא מדורגים מושיטים לפי אמינות או ליישם סינון פוליטי. מה ש-Crawl המשותף הגיע אליו הוא מה שאתה מקבל, ו-יש לכך השלכות.