ボットとはの基礎知識１、最新動向と基礎技術

Home » Blog » ボットとはの基礎知識１、最新動向と基礎技術

Try CDNetworks For Free

Most of our products have a 14 day free trail. No credit card needed.

ボット(bot)は、ロボット(Robots)から由来した用語です。ボットとは、本来Googleのように予め指定したルールによってWebサイトをモニタリングしたり、データを収集して情報を簡単に検索・取得できるようにサポートするプログラムを言います。しかし昨今、このボットがサイバー攻撃者に悪用されています。

特定の企業サイトをスキャンして脆弱性を見つけ出し重要情報を搾取したり、スパムコメントを残したり、無作為でID/PWを入力(ブルートフォース攻撃)してログイン侵害したり、Webサーバやネットワークなどに意図的に過剰な負荷をかける攻撃(DDoS攻撃)を仕掛けたりします。

今日のボットは量だけでなく質も進化しています。Webサイトの運営者は、既知のWAF（ウェブ・アプリケーション・ファイアウォール)を導入してこれら問題に対応しようとしがちです。しかし、大抵のWAFがボットの特徴を認識することができません。なぜなら、単純にユーザエージェント文字列で区分して対応したり、レート制限などの古い技術で対応しているためです。

本ブログでは、「ボットとはの基礎知識」と題してボットの最新動向を調査してボットとブラウザを区分する新しい技術でこれに対処する方法を複数回に分けてご紹介していきます。

ボットの最新動向

Webサイトの運営者なら、訪問者数やページビューなどの統計情報を日々モニタリングしつつ、いかに訪問者数を増やしてビジネスを成功に導くかを思い悩みます。

例えば検索エンジンに広告費用を支払っている場合、広告から流入する訪問者の一人ひとりがコスト換算され、これは売上と直接つながるとても重要な情報となります。ところが、訪問者の多くが人(ブラウザ)ではなく、自動化された“ボットプログラム”だとしたらどうでしょうか？

実際にCDNetworksで一部のお客様サイトを対象に分析した結果、ブラウザを利用してアクセスした割合は60%程度で、ボットがアクセスした割合は40%にもおよぶことが判明しました。他のボット分析機関が分析したレポートでも同様の結果が示されており、これが全般的なトレンドであることが分かります。画像１：ユーザとボットの割合, Incapsula参照

興味深いポイントとして、Webサイトの規模が小さいほどボットの割合が大きくなるということです。例えば、1日の訪問者数が10万人を超える大きなWebサイトの場合、ボットは30~40%くらいの割合ですが、1,000人以下のWebサイトの場合には、ボットの割合が80%以上でした。また、深刻に受け止めなければならない事実として、Webサイトの停止や悪意のある接続、そして違法データコピーなどを目的とする悪性ボットの割合が年々増加傾向にあります。

ボットの危険性

ボットは機能によって大きく良性ボット(Good Bot)と悪性ボット(Bad Bot)に分かれます。

GoogleやYahoo, Microsoft Bing, Alexaなどの検索エンジン上で稼動しているボットは、WebサイトをPRしたり、必要とされる情報を提供するために許可された良性ボットです。一方でrobots.txtなどボット標準規則に従わないボットは、Webサイトの所有者の許可なく違法行為を犯す悪性ボットと認識されます。

悪性ボットは次のような問題を引き起こします。

‐ フェイクオーダー(偽の注文)

インターネットで予約サービスを提供する多くの会社がフェイクオーダーに困惑しています。攻撃者が悪性ボットを利用して公演チケットやスポーツ観戦チケット、航空チケットなどを先占したり買占めてしまい、売り切れや満席で購入できないばかりか、インターネット上などで高価取引される問題が発生しています。

対象 : 公演、文化・芸術、旅行、交通などインターネット予約を提供するすべてのWebサイトなど

画像２ : チケット予約のための専用ボットの例　http://ticketbots.net/

– ウェブサイトのコンテンツ盗用や複製

競合会社のWebサイトをモニタリングして良コンテンツを盗用して自社サイトに掲示したり、価格情報をモニタリングして競合会社より安く設定するなど、ケースによっては裁判にまで発展することもあります。

対象 : ECサイト、就職情報サイト、不動産情報サイトなど

画像 3: Google検索でweb scraper（Webモニタリングツール）は300万件以上が表示される

– 不要なトラフィックの増加

必要なデータのみ取得したり入力したりするブラウザに対して、ボットは出来る限りすべての情報を収集しようとします。さまざまな種類のボットが同時かつ周期的にアクセスを繰り返し大量のトラフィックを発生させていますが、Webサイトの運営者は、これらの不要なトラフィックに関わるコストも支払っているのです。

対象 : すべてのWebサイト

– 不要なウェブサーバへの負荷

ボットは自動化されたプログラムを利用して素早くデータを検索したりダウンロードするため、頻繁にアクセスを繰り返すことでサーバに負荷を与えます。そのためWebサイトの運営者は、Webサーバを増設したり冗長化しなければならず不要なコストを支払うことになります。もちろん、画像やファイルなどのキャッシュ（コピー）できる静的コンテンツはCDNで配信されるため、その負荷は軽減されます。しかし、スパムコメント（掲示板など）やキャッシュ出来ない動的コンテンツなどにボットがアクセスしてきた場合、Webサーバの負荷はひっ迫します。

対象 : すべてのWebサイト

これ以外に、次のような行為もモニタリングされています。
●　Webサイトへログイン侵害するための無作為なID/PWの入力（ブルートフォース攻撃）
●　Webサイトをクローリング（巡回）しつつ特定の競合会社の広告のみクリックして露呈頻度を減らし不要なコストを支払うように仕向ける
●　Webサイトをスキャンして脆弱性を見つけ出し悪意ある行為をしたりスパムコメントの投稿で情報搾取やデータベース破壊などWebコンテンツへ影響をおよぼす（SQLインジェンクション）
●　ターゲットのサーバやネットワークへ意図的に大量のアクセスをすることで負荷をかけてWebサービスの停止や遅延を引き起こす（DDoS攻撃）

本日はここまでです。
次の第2回では、これらボットへの対抗技術について詳しくご紹介いたします。お楽しみに。

CDNetworksでは、クラウド型セキュリティサービスを提供しています。サービスの詳細については、以下よりご覧いただけます。
・DDoS対策「フラッド・シールド」
・WAF対策「アプリケーション・シールド」
・Bot対策「Botシールド」

詳しく知りたい場合には、お気軽にお問い合わせください。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
■お問い合わせはこちら　>>お問い合わせフォーム
■その他資料のダウンロードはこちら　>> 資料ダウンロード
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

☟CDNetworksでは、ホワイトペーパーを提供中です。是非ダウンロードしてご一読ください。