分析業務にジェネレーティブAIを使用する際の落とし穴と実務での実現

エンドユーザーが最終的なアウトプットに対して明確な期待を持つことが、ジェネレーティブAIプロジェクトを成功させる鍵となる。

ここ数か月、我々は、ジェネレーティブAIがデジタルマーケティングをどう変えるかについて、多くのことを耳にしてきた。多くのマーケティング企業が、ブランドと協力しながら、テクノロジーを活用して革新的なマーケティングを進めている。そして、多くの企業が、業界で最も話題性のある大規模言語モデルベースのチャットボットChatGPTの可能性について、詳細な調査を行った。そして今、我々は、ジェネレーティブAIがコードやビジュアライゼーションの初期ドラフトを生成し、改良して使用可能なマテリアル（素材）にすることで、アシスタントとして機能することを目の当たりにしている。

我々は、ジェネレーティブAIのプロジェクトを成功させる鍵は、エンドユーザーが最終的なアウトプットに明確な期待を持ち、AIが生成したマテリアルを編集して形にすることにあると考えている。ジェネレーティブAIを利用する際の第一の原則は、自分のクエリに対して、それが完全に正しい答えを出してくれると信じてはいけないということだ。

GA4に関する42問の質問のうち、ChatGPTが正解したのはわずか12問

我々は、GA4（最新版のGoogleアナリティクス4プロパティ。2020年10月にリリース）に関するクライアントからの一般的な質問に答えるということをChatGPTでテストしてみた。その結果は、あまり芳しいものではなかった。42問の質問のうち、我々が満足できる内容であるとして理解できたChatGPTの回答は12問にとどまり、成功率はわずか29%だった。

さらに、8問の回答（19%）が「半分正解」であった。これらは、質問の解釈を間違えて、質問されたことと違う答えを出してしまった（回答内容は事実としては正しいが）か、あるいは、正しい答えの中に多少誤った情報が含まれていたものである。

たとえば、ChatGPTは、一部のGA4レポートにある「Others（その他）」の行は、ローボリュームデータに関する多くの行のグループ化であると回答した（これは正しい）。そして、これが発生する事例は、「Googleの機械学習アルゴリズム」によって定義されると回答したが、これは誤っている。これを定義するための標準的なルールが存在するのだ。

ChatGPTが有する知識の限界、そして過信

残りの52%の回答は事実とは異なるもので、場合によっては積極的に誤解を招くものであった。最も多いのは、ChatGPTが2021年以降のトレーニングデータを使用していないために、最近の多くのアップデートが回答に反映されていないという理由によるものだ。

たとえば、Googleは2022年に、ユニバーサルアナリティクスの廃止について公式的に発表していたため、ChatGPTはそれがいつになるかを回答することができなかった。この例では、ボットは少なくともこうした背景を踏まえて、「私の有する情報の範囲では、廃止は2021年ですが」と付言して回答した。

しかし、残りのいくつかの質問には、心配になるほど間違った回答があった。たとえば、ボットは、「GA4は機械学習ベースのアプローチでイベントを追跡し、収集したデータに基づいて購入イベントを自動的に特定することができます」と教えてくれたのだ。

GA4には自動的に追跡を行う「拡張計測」イベントがあるが、これは通常、機械学習や統計モデルではなく、ウェブページのメタデータ内の単純なコードを用いて定義されるものだ。もっといえば、購入イベントは、明らかに拡張計測の範囲には含まれていない。

では、ChatGPTなどのジェネレーティブAIツールはどのように利用すればよいのだろうか？

我々が行ったGA4のテストで実証されたように、ChatGPT内の限られた「知識」は、事実のソースとしての信頼性は低い。しかし、それが非常に効率的なアシスタントであることに変わりはなく、専門家がタスクに必要な時間を短縮するために、分析やコードの初稿を提供することはできる。

ChatGPTは、期待されるアウトプットを理解している知識豊富なアナリストの役割に取って代わることはできない。その代わり、手間のかかるプログラミング作業を行うことなく、ChatGPTにサンプルデータから分析結果を出すように指示することで、時間を節約することはできる。そこから、数秒で近似値を求め、ChatGPTにそのアウトプットを修正するよう指示したり、自身で作業を行ったりすることができるのだ。

たとえば、我々は最近ChatGPTを使って、ある小売業者の買い物かごを分析し、最適化を行った。平均的な買い物かごのサイズを分析し、顧客が無料配送を提供するための最適なサイズを把握したかったのだ。そのためには、収益と利益の分布を定期的に分析し、経時的な変動を把握する必要があった。

我々はChatGPTに、GA4データセットを使って、14か月間で買い物かごのサイズがどのように変化したかを確認するように指示した。そして、BigQuery（Googleが提供するデータウェアハウスのサービス）でさらに分析を行うための初期SQLクエリと、得られたインサイトのデータを可視化するための選択肢を提案した。

その選択肢は完全なものではなかったが、さらなる探索を行うのに役立つ領域がChatGPTから提供された。当社アナリストは、ChatGPTから得られたクエリを使ってアウトプットを完成させた。これにより、アウトプットを作成する時間が、およそ3分の1に短縮された。

手作業の自動化と時間短縮

ChatGPT利用の他の事例としては、データテーブルや生成されたコードの品質保証チェックなど、特定のプロセス内における手作業の自動化が挙げられる。このような作業はプロジェクトの中核となるものであり、多くの場合、矛盾や異常の指摘は手間がかかるものである。

しかし、ChatGPTを使用すれば、エラーを起こすことなく、500行以上のコードを検証し、複数のデータセットを組み合わせて処理することができ、時間を大幅に節約することができる。このシナリオでは、通常、手作業で2時間かけて検証していたものを、30分以内に完成させることができたのだ。

最終的なQAチェックはやはり専門家が行う必要があるうえ、ChatGPTのアウトプットの質は、指示で設定した特定のパラメーターに大きく依存する。しかし、パラメーターが非常に明確で、アウトプットに曖昧さがない（数値が合致しているか等）タスクは、ジェネレーティブAIが面倒な作業のほとんどを処理するのに適している。

ジェネレーティブAIを専門家ではなく、アシスタントのように扱おう

ここ数か月のChatGPTの進歩は目覚ましいものがある。簡単にいえば、プログラミングやコミュニケーション、ビジュアライゼーションなど、幅広いタスクに使用できる高度な技術資料を会話形式の英語でChatGPTに依頼できるようになったのだ。

上述したように、これらのツールからのアウトプットを価値あるものにするためには、それを慎重に、専門家の判断で取り扱う必要がある。良い使用例としては、日常業務における建築解析の効率化や、通常は手作業で行われるような、時間がかかる複雑な作業のスピードアップなどが挙げられる。我々は、アウトプットに対して疑いの目をもって扱い、技術的な知識を駆使して、クライアントにとって付加価値の高い資料となるようそれに磨きをかけている。

ChatGPTに代表されるジェネレーティブAIは、我々のデジタルワークフローのさまざまな場面を革新する大きな可能性を示しているが、バランスの取れた視点でその応用にアプローチすることが不可欠である。特に最近のアップデートや微妙なディテールについては、正確性に限界がある。

しかし、テクノロジーが成熟するにつれて、AIが我々の能力を高め、日常業務の効率化を推進するツールとして利用される可能性が高まるだろう。我々は、ジェネレーティブAIが専門家に取って代わることよりも、AIが我々の生産性をいかに向上させることができるかに、より焦点を当てるべきである。

※当記事は米国メディア「MarTech」の6/2公開の記事を翻訳・補足したものです。