概要
エージェントやアプリ向けのニュース検索API。無料プランと記事全文あり。
問題
現在の情報が必要なエージェントには、見出しだけでなく記事そのものが必要です。また、どのフィールドが実際に確認されたか、どのフィールドが推測されたかを把握する必要があります。多くのニュースAPIは記事本文を有料プランで提供し、メタデータの出元について何も明記していません。比較には詳細が記載されています。
私たちが構築したもの
25,000以上の出版社、90以上の国、50以上の言語から、毎日数十万件のニュース記事を90日間のローリングウィンドウで継続的に更新しながら全文検索。4つのGETエンドポイントと1つのキー。
資金源
正直に言って、ほとんどコストはかかりません。
データは大規模な公共ニュースアーカイブ由来です。すでにクロールされたニュースページのバルクデータセットが継続的にリリースされています。私たちは出版社からコンテンツをライセンスしておらず、出版社のサーバーからページを取得することもありません。すでに公開されているデータセットを処理しています。
90日分のデータをインデックス化し3回複製すると、既存の他の業務で運用しているElasticsearchクラスターの約3%を占めます。検索クエリの提供には、余剰なCPU時間がかかります。測定済みの処理能力は1秒あたり1,247リクエストで、単一クライアントは20に制限されています。
ずっと無料ですか？
無料プランは維持されます。以前はキーなしで検索が公開されることを約束していましたが、それは2026年に終了しました。その理由は変更履歴に記載されています。それ以降の変更も、発生する前にそこで告知されます。
運営主体
Elasticsearchクラスター、クローラー、パイプラインなどの検索およびデータインフラストラクチャを日常業務として運用する小規模な独立チームです。このサービスは同じインフラストラクチャ上で稼働しており、だからこそ無償で提供できるのです。
お問い合わせ
- 除外を希望するニュース出版社：出版社をご覧ください。リクエストは尊重され、異論は認めません。
- 大量データ：数万回のリクエストを予定している場合は、まずご連絡ください。HTTPよりも適したデータ提供方法があります。
- バグと誤データ：どの記事に、どのような誤りがあるかをお知らせください。国や日付のラベルの誤りは最も多く、また最も有用なフィードバックです。
私たちがやらないこと
- 当社は記事コンテンツをホストしていません。すべてのレスポンスには元の
urlが含まれており、それに属性を付与しリンクを戻す必要があります。 - 当社はあなたのデータを販売せず、広告も表示しません。プライバシーをご覧ください。
- 当社は出版社を信頼性順にランク付けしたり、政治的なフィルターを適用したりしません。Common Crawlが到達可能なものがそのままあなたに提供され、それには影響があります。
