#show tech >>log

【楽天市場】macbookの通販

楽天市場-「macbook」206,387件 人気の商品を価格比較・ランキング･レビュー・口コミで検討できます。ご購入でポイント取得がお得。セール商品・送料無料商品も多数。「あす楽」なら翌日お届けも可能です。

https://hb.afl.rakuten.co.jp

前回の続き

API に対応していないのでスクレイピングでと思ったのだが

• そもそも認証はどうクリアする
• 通常のHTTP requestではjavascript処理結果を受け取れない

これをクリアしないとそもそもデータ自体を参照出来ません.

ということで,まずは認証のところですが、以下のパスワード認証であっさりと解決.

APIだけでなく通常のサイトでも利用出来る模様.

認証

kintone REST APIの認証について説明します。

https://cybozu.dev

次は、HTTP処理.

javascriptで処理されるサイトなどは単なるhttp処理だとjavascriptを有効にしてくださいと言われてデータが取得出来ません.これはブラウザがjavascriptの処理を行ってデータを取得しているからです.

これの解決はヘッドレスブラウザを使うことで解決出来そう.

ヘッドレスブラウザ - Wikipedia

https://ja.wikipedia.org

n8nにはCommunity nodesと呼ばれる外部アプリのようなものが追加出来るみたい.

調べると以下で実現出来そう. → 以下にもあるようにchromeなどをインストールすることでヘッドレスブラウザの動作が出来るようです.

GitHub - Yann-J/n8n-nodes-browser

Contribute to Yann-J/n8n-nodes-browser development by creating an account on GitHub.

https://github.com

インストールは,設定から名前を指定すると以下のように追加されます.　※別途chromeなどのインストールはサーバ自身に必要です

実際のフローではこんな感じに見えて使えます.

このBrowserノードで認証情報も付加して実行すると… 出来ました!

あとは、いろいろとゴニョゴニョして…

こんな感じで出来ました.

初めから下に分岐しているのは,ほぼ同じ内容で修正が入ったものに関してアップデートする流れです.取得ページを編集順に表示するようにしたもので処理しています.

こんな感じでデータの取得が可能です.

更新に関しては、更新日付チェックとかのチェックは出来ていないのでデータ更新が多いようなものは少し厳しいかもしれません. → 現状は,上位数件は強引にアップデート!しています…