ここに内部リンクを貼っている記事では、大量の口コミをAIで分析しています。
この記事では、分析方法と出力の信頼性について詳しく解説します。
【結論】つまり、何やってるの？
カンタンに説明すると、やっていることは次の通りです。
一番苦労している点は、AIの調整です。
AIは間違うこともあるので、プロンプトや分析手法を調整することにより信頼性を向上させなければなりません。
つまり分析したい項目が増えるほど調整の手間も増えるので、何度も試験を重ねてAIの出力を調整しています。
実際に筆者の目で分析結果を確認することはもちろん、複数のAIでも出力の信頼性を評価しました。
こうして信頼性を95％以上まで上げたデータだけを抽出して記事化し、高い信頼性を担保しています。
では具体的に何をやっているのか解説しましょう。
Webスクレイピングで口コミを大量収集
始めて「Webスクレイピング」を聞く人に向けて簡単に説明すると・・・
つまりプログラムをポチっと実行するだけで、寝ている間に数万件の口コミを収集することもできます。
使用環境は？
| Webブラウザ | |
| 言語 | Python |
| ライブラリ | PlayWrite |
Googleを自動で制御するイメージで構いません。
筆者はC, C#, C++, Fortran, HTMLなど色々書いてきましたが、Pythonがダントツで使いやすいです。
初心者でも簡単に手が出せる上に、色んなことができるのでプログラミングの勉強に向いています。
PlayWriteはWebスクレイピングでは有名なツールだと思ってください。
難しいことは？
一度HTMLを理解すれば作るのは難しくないですが、手間がかかります。
例えばYahoo知恵袋とXを比べてみましょう。
| 項目 | Yahoo知恵袋 | X |
|---|---|---|
| とりたいデータ | 質問、ベストアンサー、回答 | ポストだけ |
| HTML構造の改訂 | ほぼなし | よくある |
当然サイトによってデータの取り方は変わるので、調べたいサイトが増えればそれだけ開発コストがかかります。
それにHTMLの構造が変わってしまうと、メンテナンスも必要です。
Yahooと同様のサイトではHTMLの改訂はあまりありませんが、XやインスタなどのSNSではHTML構造はよく変わります。
だから昨日までは動いていたのに今日は動かない、みたいなことがよくあります。
つまり結構面倒くさいし、メンテナンスも大変です。
継続するためには、それなりの時間と手間がかかるんですよ。
ローカルAIで口コミ分析
さて、口コミを収集したら次は分析です。
AIといったらChatGPTやGeminiなどを思い浮かべるかもしれませんね。
でも彼らを無制限に使うためには多額の費用がかかります。
だから無料で無制限に使える優秀なAIを使いました。
使用環境は？
| AI | Qwen 3 8B |
| 大規模言語モデル（LLM) | Ollama |
| 開発言語 | Python |
| GPU | NVIDIA GeForce RTX 4070 |
Qwenは無料＆無制限で、かつ日本語も優秀なAIとして知られています。
ローカル環境で動くので、グラボは必須です。
8Bモデルはだいたい6.4GBのGPUがあれば動くので、ゲーミングPCを持っているなら大丈夫でしょう。
8Bモデルを動かすなら、RTX4070はオーバースペックです。
14Bという1つ上のモデルも動かせますが、解析速度の理由で8Bを選択しました。
AIを動かす環境（LLM）として、複数のAIをPythonで動かせるOllamaを使用しています。
こだわっている事はある？
AIで分析している主な項目は6つあります。
これら6項目を補強するために、調査するサイト別に分析項目を適宜追加しています。
例えばYahoo知恵袋を解析するときの分析項目の数は全部で13個です。
それに、毎回数千もの口コミを分析するので1件あたりにかかる分析時間を短縮する工夫も凝らしました。
品質管理とプロンプトの調整
さて、分析ができたら結果を評価します。
つまり「分析結果」という成果物を品質管理のために検査するということです。
分析結果が正しいか確認する作業を行います。
サイト別に1000件の口コミを目視確認
1つずつ口コミを読んで分析結果と照らし合わせ、正しい出力になっていることを確認します。
口コミの性質はサイトによって変わるので、分析手法もサイトで変わります。
例えば塾ナビの口コミ、Xの口コミ、Yahoo知恵袋はそれぞれ性質が変わりますよね。
塾ナビでは「料金」や「成果」など項目別に利用者の口コミが分けられている一方で、Xは雑談のようなノイズも多いです。
だからAIの反応もサイトで変わってしまうので、サイト別の確認が欠かせません。
大体1回目で上手く動くことは無いので、こまめにプロンプトを調整しながら何度も出力を確認しています。
ここがめっちゃ疲れます
他のAIでも分析してもらう
さて、まだ満足してはいけません。
目視では見落とし、見間違いが考えられるので、AIで最終チェックを行います。
Qwen3はChatGPT3.5よりも少し優秀程度の知能です。
つまり、今のChatGPT5より格下の存在なんですね。
だから、より高度なAIを使ってQwenの分析結果を評価してもらいます。
ただ、1000件全部を突っ込むと読み取れなかったりトークン切れになるので、ランダムに抜粋した300件だけを評価しました。
ここで信頼性を数値化してもらい、目的と出力結果の一致度が95％以上であることを確認します。
記事の執筆準備
ようやく山場は超えましたが、まだまだ記事は書けません。
記事の切り口にあわせて、分析結果を深掘りしていきます。
記事の切り口を決定
実は、「何を書くか」というのはデータ収集前から決まっています。
このステップは具体的に使うデータ、解析手法を決めるために記事の構成まで決める作業です。
検索キーワードを考えながら、読者が知りたいことをリストアップします。
同時に記事の構成も考えて、解析方針を決めます。
分析結果の解析
切り口に合わせて、分析結果を解析していきます。
例えば「Z会を検討している小学生の保護者」を読者に想定しているなら・・・
解析できたらグラフ化し、記事用の画像を作成していきます。
記事では具体的な数字を使って説明するため、記事用のテーブルも作っておきます。
難しいことは？
記事の方向性に合わせて解析することは、慣れれば大して難しくはありません。
ただ、ちょっと悲しくなることはあります。
これだけ労力して集めたデータですが、ほとんどのデータが無駄になるからです。
あらかじめ記事の方針は決めていますが、例えば1000件のデータを収集分析したら、その中で使えるデータは100件あったらいい方ですね。
いらないデータも沢山あつまるので、仕方ありません。
だけど「利用者の口コミ1000件をAIで分析してみた」と「口コミ100件を分析してみた」ではタイトルにしたときにインパクトが違うのは気になっています。
ブログも誠実性が求められるものなので、数字をごまかすことはご法度。
だからここだけの話にしますが、記事タイトルに書いてあるデータの10倍以上のデータを収集して分析、取捨選択の手間がかかっていることは知っていてほしいです。
記事執筆
ここまでで2週間くらいかかっています。
専業ブロガーになりてぇ
と思いながら今日も記事を書いています。
さて、ここまでくると書く内容は決まっているので、あとは解析結果と照らし合わせながら記事を書き進めるだけです。
文字数にもよりますが、校正も含めてだいたい2～3日くらいで終わります。
最後にまとめ
どんな内容が読者に刺さるか、ためになるか。
一般的に、実際に体験したことを記事に起こす内容が読者ウケがいいと言われています。
世の中には既に実体験ベースの記事が沢山あるので、同じ土俵で戦っても読者に貢献できません。
別のアプローチで読者が気になることを書こうと思い、AI分析に着手しました。
最後に、結論を短くまとめます。