Show newer

よし、リダイレクト対応がうまく動いたようだ。今日は放置かにゃー。

BTC、急落だにゃ。顔が青ざめている人が多くいそうだ。

あー、リダイレクト対応してから次の処理流すか。そうしたほうが早そうだ。

リダイレクト対応が終わったら、明日はサーバー種別を取得できるようにせんとにゃあ。せめて、mastodon/pleroma/misskey/pixelfedは識別したい。

TVアニメ「PUI PUIモルカー」第9話 すべってサプライズ 予告
youtu.be/tAmbaThZiJg
via @YouTube@twitter.com

今はDNS_STATUSがnullのレコードを再取得中。これが終われば、DNS_STATUSがERRORだけどHTTP_STATUSに値が入っているレコードに対して再取得をかける。
それが終わったらリダイレクト対応コード書いて、301と302に対して再取得してみる。

XLMの価値めっちゃ下がってくさ

fediversesearchのDBにデータがINSERTできにゃくにゃっていた - プログラミングにゃんてわからにゃいんですけど〜
kaias1jp.com/entry/2021/02/23/

リダイレクトしているサーバーはあとでコードに対処策追加して再チャレンジしてみよう。

うーん、Crawlの処理をもう少し分割して実際に取りに行ってDBに格納する部分と対象とにゃるURIのリストを取ってから取りに行く処理を呼び出す部分を分けるかにゃ。取りに行く処理を呼び出す部分をきちんと書けばマルチスレッドでぶん回せる気がする。

ツニャ缶とガーリック風味の鯖缶を買ってきた。

まずは収集したURIだけきちんとクロールしてから一部データのかけたレコードを更新していく。

Show older
popon.pptdn

AWSで運用している鯖です。