さて、明日の午前にレンズの引き取りが終わったらfediversesearchのクローラー部分の再実装をするかにゃあ。
にゃお、今DBに格納しているデータをクロールする際にrobot.txtを参照しにゃかったので、noindex設定をしているサーバーの/api/v1/instanceを呼び出しているケースがあるため、再実装ではrobot.txtのチェック並びにnoindexの場合のDBからのuri以外のデータを削除する処理を追加する予定。

今、うちの鯖で管理画面での「デフォルトインデックス拒否」を有効にしてみたが、mastodonのrobots.txtには変更は入らにゃいようだにゃあ。
noindexディレクティブがapiにも影響するのかはiPad Proのブラウザでは確認できにゃいので、windowsのwebブラウザで見てみるしかにゃいか。apiに影響しにゃいとすると動作チェックが面倒だにゃあ。他のサーバーソフトでも確認してみるしかにゃいか。

mastodonの場合、ユーザーの検索インデックス化に対する設定でしかにゃいのかにゃ?サーバー情報自身を収集するかどうか設定できにゃいかも知れにゃい。peersについては設定できそうだ。

さて困った。Windowsで確認してみたが、インデックス拒否設定を有効にしてもそれはユーザーのプロファイル画面とかにしか影響しにゃい。実際、プロファイル画面ではmetaタグでnoindexが設定されているがAPIの/api/v1/instanceではそもそもjsonデータだからheadタグがあるわけでもにゃい。googleの検索関係の情報を見て、metaタグ以外のデータを見たほうが良いのか確認しにゃいと。もしかしたら、少にゃくともmastodonにおいては改造していにゃければ/api/v1/instanceの情報を取れた時点で「検索拒否」という情報は付加されにゃいのかもしれにゃい。

Follow

peers APIについてはmastodonに関しては簡単で、設定で出力しにゃいようにするとapi自身が存在しにゃいことににゃる。

· · Web · 0 · 0 · 0
Sign in to participate in the conversation
popon.pptdn

AWSで運用している鯖です。