Giới thiệu
API tìm kiếm tin tức dành cho agent và ứng dụng, có gói miễn phí và cung cấp đầy đủ nội dung bài báo.
Vấn đề
Một agent cần thông tin cập nhật cần hơn cả tiêu đề. Nó cần toàn bộ bài viết, và cần biết những trường nào đã được quan sát và những trường nào được suy luận. Hầu hết các API tin tức đều bán phần thân bài viết ở gói trả phí và không nói gì về nguồn gốc metadata của họ. Bảng so sánh có chi tiết.
Chúng tôi đã xây dựng gì
Tìm kiếm theo nội dung đầy đủ trên hàng trăm nghìn bài báo tin tức mỗi ngày từ hơn 25,000 nhà xuất bản tại hơn 90 quốc gia và 50 ngôn ngữ, trong khung thời gian trượt 90 ngày, được cập nhật liên tục. Bốn điểm cuối GET và một khóa API.
Cách thức tài trợ
Thật lòng mà nói: chi phí gần như bằng không.
Dữ liệu đến từ các kho lưu trữ tin tức công cộng quy mô lớn — các bộ dữ liệu lớn của các trang tin tức đã được thu thập trước đó, được phát hành liên tục. Chúng tôi không cấp phép nội dung từ các nhà xuất bản và chúng tôi không lấy trang từ máy chủ của họ; chúng tôi xử lý các bộ dữ liệu đã được công khai.
Chín mươi ngày dữ liệu, đã được lập chỉ mục và sao chép ba lần, chiếm khoảng 3% của một cụm Elasticsearch mà chúng tôi đang vận hành cho các công việc khác. Việc xử lý một truy vấn tìm kiếm tốn thời gian CPU mà chúng tôi đang có sẵn. Công suất đo được là 1,247 yêu cầu mỗi giây; một người gọi duy nhất bị giới hạn ở 20.
Dịch vụ có duy trì miễn phí không
Gói miễn phí vẫn giữ nguyên. Chúng tôi từng hứa rằng tìm kiếm sẽ mở mà không cần khóa; điều đó đã kết thúc vào tháng 2026, và nhật ký thay đổi giải thích lý do. Mọi thay đổi khác sẽ được thông báo tại đó trước khi xảy ra.
Ai vận hành dịch vụ
Một nhóm nhỏ độc lập chuyên vận hành hạ tầng tìm kiếm và dữ liệu — các cụm Elasticsearch, trình thu thập dữ liệu và đường ống xử lý — như công việc chính. Dịch vụ này chạy trên cùng hạ tầng đó, đó chính là lý do tại sao nó có thể được cung cấp miễn phí.
Liên hệ
- Nhà xuất bản yêu cầu loại trừ: xem nhà xuất bản. Các yêu cầu được chấp nhận, không tranh cãi.
- Dữ liệu khối: nếu bạn dự định thực hiện hàng chục nghìn yêu cầu, hãy liên hệ trước — có cách tốt hơn để cung cấp dữ liệu cho bạn thay vì qua HTTP.
- Báo lỗi và dữ liệu sai: hãy cho chúng tôi biết bài báo nào và lỗi ở đâu. Nhãn quốc gia hoặc ngày tháng sai là phổ biến nhất và cũng là thông tin hữu ích nhất.
Gửi email đến [email protected].
Chúng tôi không làm gì
- Chúng tôi không lưu trữ nội dung bài viết. Mọi phản hồi đều kèm theo
urlgốc — ghi công và liên kết ngược lại nguồn. - Chúng tôi không bán dữ liệu của bạn hay chạy quảng cáo. Xem quyền riêng tư.
- Chúng tôi không xếp hạng nhà xuất bản theo độ uy tín hay áp dụng bộ lọc chính trị. Những gì Common Crawl tiếp cận được là những gì bạn nhận được, và điều đó có hệ quả.
