Google BardはURLから内容を取得可能、実際にURLを送って検証してみた

2023-05-18Google Bard レビュー・ほか,Google Bard

Google BardはURLから内容を取得可能、実際にURLを送って検証してみた

Google BardはAIにURLを伝える事で、そのページの情報を取得可能となっています。

これはChatGPTにはない特徴になりますが、いくつかのページを検証したところ、その時にリアルタイムでページの内容を取得して解析しているのか、Google検索エンジンが保有しているデータにアクセスしているのか判断が難しいところです。

Google BardにURLを送って検証

いくつかのGoogle BardにURLを送って検証してみました。

まずは、このサイトのトップドメインを送信してみた結果です。

BardでURLからサイトやページの内容を取得する1
BardでURLからサイトやページの内容を取得する1

内容は、どうでしょう一部ゲーム開発のサンプルコードを紹介しているのは確かですが、その割合は低いです。
(全然変えていない)サイトのサブタイトル等が影響している様ですね。

個別のページでも試してみました。

JavaScript | 文字が降るアニメーションサンプル | ONE NOTES

BardでURLからサイトやページの内容を取得する2
BardでURLからサイトやページの内容を取得する2

返ってきた内容は、実際のページ内容のものと考えて良さそうです。

他のページでも試してみます。

Phaser 3 | カメラをプレイヤーに追従させる方法 | ONE NOTES

こちらも、問題なく内容を取得しているようです。

YouTube動画もいくつか試してみます。

SWEETBOX “EVERYTHING’S GONNA BE ALRIGHT", official music video (1997) – YouTube

古い名曲であれば、概ね正確な情報が得られるようです。

B’z / マジェスティック – YouTube

BardでURLからサイトやページの内容を取得する5
BardでURLからサイトやページの内容を取得する5

アーティスト名、曲名は一致しましたが、リリース日や歌詞の英語訳などは大幅に間違っています。

キャプチャを残そうとした今回のいくつかは、概ね合っている結果を返しましたが、その前に試していた際には全く違うページの内容が紹介されるケースも散見されました。
特にニュースページなど最新の情報のものは正確に取得できていない可能性がありそうです。

また、Google Bardは現在まだ日本語が未対応の状態ですので、日本語のサイトには弱い可能性もありそうです。

URLを受け取った時アクセスするのではなく、やはりGoogle検索エンジンのデータにアクセスしているのかも知れません。

加えて、URLにgoogle aiが含まれていれば「Google Bardについて記されています。」と返すように、内容がわからない場合にURLのディレクトリやパラメータから予想して返していそうです。
ChatGPTでも、例えば実際は把握していない名前などでも、その名称から予想して人物像やアカウントの情報を適当に返していたりと同じような挙動をしていましたので、そんな感じですかね。

ChatGPTの場合は、URLを直接投げてもダメで、自前で内容を取得してテキストで投げる必要がありました。
記事の文章を投げるのはAPIを使うとコスト増になっていくのですよね。

Google Bardの性能が向上し、かつAPIの提供が開始されれば、例えばURLからmetaタグに含める要約文を作成したりが低コストで出来るようになりそうです。