ヒューマンタッチ：LLMの実社会での有効性を評価する

イントロダクション

大規模言語モデル (LLM) の開発が加速するにつれて、さまざまな分野にわたるその実際の適用を包括的に評価することが重要です。この記事では、BLOOM などの LLM が人間の洞察を活用してその真の可能性と限界を評価するために厳密にテストされている 7 つの主要な領域について詳しく説明します。

AI に関する人間の洞察 #1: 有害な音声の検出

敬意を持ったオンライン環境を維持するには、有害な音声を効果的に検出する必要があります。人間による評価によると、LLM は明らかな有害な発言を正確に指摘できることもありますが、微妙なコメントや文脈固有のコメントについては的を外すことが多く、不正確な結果につながることがわかっています。これは、オンラインでの議論を効果的に管理するために、LLM がより洗練された理解と状況に対する敏感さを養う必要性を強調しています。

AI に関する人間の洞察の例 #1: 有害な音声の検出

シナリオ： オンライン フォーラムでは LLM を使用してコメントを管理します。ユーザーがディスカッションに「あなたが今の自分に満足しているといいのですが」と投稿しました。背景は環境政策をめぐる激しい議論であり、このコメントは物議を醸す見解を提示したばかりの人物に向けられたものです。

LLMによる評価：表面的には中立的な表現のため、LLMはコメントの根底にある受動攻撃的なニュアンスを有害であると見抜けない可能性がある。

人間の洞察力：人間のモデレーターは、コメントの文脈上の否定的な意味合いを理解し、相手の立場を弱体化させることを目的とした、巧妙な形の有害な言動であると認識します。これは、効果的なモデレーションを行うためには、LLM（ローカル・ラーニング・マネージャー）において、ニュアンスを的確に理解する必要があることを示しています。

AI に関する人間の洞察 #2: 芸術的創造

LLM は、物語や詩などの創造的なテキストを生成する能力で注目を集めています。しかし、人間によって評価されると、これらのモデルは一貫した物語を紡ぐことはできるものの、創造性や感情の深さにおいてしばしば不足していることが明らかであり、真に人間のような創造性の輝きを AI に装備するという課題が浮き彫りになっています。

AI に関する人間の洞察の例 #2: 芸術的創造

シナリオ： 著者が LLM に、タイムトラベル探偵が登場する短編小説のアイデアを求めます。

LLMの出力： LLMは、探偵が歴史的な不正を防ぐために過去へタイムトラベルするが、結果的に重大な歴史的出来事を引き起こしてしまうという筋書きを提案する。

人間の視点：物語の筋はある程度首尾一貫していて独創的ではあるものの、人間の批評家は、独創性やキャラクター描写の深みに欠けていると指摘し、AIが生成したコンセプトと人間が書いた作品に見られる繊細なストーリーテリングとの間のギャップを浮き彫りにしている。

AI に関する人間の洞察 #3: 質問に答える

質問応答機能は、教育リソースや知識検索アプリケーションの基本です。 LLM は、率直な質問に正確に答えることに期待を示しています。ただし、複雑な問い合わせや、より深い理解が必要な場合には苦労しており、継続的な学習とモデルの改良が不可欠であることが浮き彫りになっています。

AI に関する人間の洞察の例 #3: 質問に答える

シナリオ: 学生が「なぜ産業革命はイギリスで始まったのですか?」と尋ねます。

LLMの回答：「産業革命は、石炭や鉄などの天然資源へのアクセスと、商品市場を提供する拡大する帝国のおかげで、イギリスで始まった。」

人間的洞察： LLMの回答は正確ではあるものの、重要な役割を果たした複雑な社会政治的要因や革新に関するより深い洞察が欠けており、LLMは回答に、より包括的な理解を取り入れる必要があることを示している。

[関連記事：思考連鎖誘導法 ― 知っておくべきことすべて]

AI に関する人間の洞察 #4: マーケティングの創造性

マーケティングにおいて、魅力的なコピーを作成する能力は非常に貴重です。 LLM は、基本的なマーケティング コンテンツを生成する可能性を実証しています。しかし、彼らの作品には、真に説得力のあるマーケティングに不可欠な革新性や感情的な共鳴が欠けていることが多く、LLM がアイデアに貢献できる一方で、人間の創意工夫は依然として比類のないものであることを示唆しています。

AI に関する人間の洞察の例 #4: マーケティングの創造性

シナリオ： あるスタートアップ企業が、新しい環境に優しいパッケージング ソリューションのキャッチフレーズの作成を LLM に依頼しました。

LLM（法学修士）からの提案：「環境に配慮した梱包を心がけ、清潔さを保ちましょう。」

人間的洞察：このスローガンはキャッチーではあるものの、マーケティング専門家は、製品の革新性や具体的なメリットを伝えるには不十分だと指摘し、複数のレベルで共感を呼ぶメッセージを作り出すには人間の創造性が必要だと述べている。

AI に関する人間の洞察 #5: 固有表現の認識

テキスト内の名前付きエンティティを識別する機能は、データの整理と分析にとって重要です。 LLM はそのようなエンティティを発見することに熟達しており、データ処理や知識抽出の取り組みにおける有用性を示し、それによって研究や情報管理タスクをサポートします。

AI に関する人間の洞察の例 #5: 固有表現の認識

シナリオ： 本文には「イーロン・マスク氏の宇宙観光への最新事業」と記載されている。

LLM検出：「イーロン・マスク」を人物として、「宇宙旅行」を概念として識別します。

人間の洞察：人間の読者は、宇宙産業への潜在的な影響や商業旅行へのより広範な影響を認識する可能性があり、これは、LLMがエンティティを特定できるとしても、その重要性を完全に理解していない可能性があることを示唆している。

AI に関する人間の洞察 #6: コーディング支援

コーディングおよびソフトウェア開発支援の需要により、LLM がプログラミング アシスタントとして検討されるようになりました。人間による評価では、LLM が基本的なタスクに対して構文的に正確なコードを生成できることが示されています。しかし、より複雑なプログラミング問題という課題に直面しており、AI 主導の開発サポートにおいて改善の余地があることが明らかになりました。

AI に関する人間の洞察の例 #6: コーディング支援

シナリオ： 開発者は、数値のリストをフィルターして素数のみを含める関数を要求しました。

LLM出力：試行除算によって素数判定を行うPython関数を提供します。

人間の洞察：経験豊富なプログラマーは、この関数が大きな入力に対して効率が悪いことを指摘し、最適化や代替アルゴリズムを提案する。これは、人間の介入なしにはLLMが最適な解決策を提供できない可能性がある領域を示している。

AI に関する人間の洞察 #7: 数学的推論

数学は、その厳格なルールと論理的厳密性により、独特の課題を抱えています。 LLM は単純な算術問題を解決することができますが、複雑な数学的推論には苦労します。この矛盾は、計算能力と高度な数学に必要な深い理解との違いを浮き彫りにしています。

AI に関する人間の洞察の例 #7: 数学的推論

シナリオ： 生徒が「三角形のすべての角の合計はいくらですか?」と質問しました。

LLMの出力：「三角形のすべての角の合計は180度です。」

人間的な洞察： LLMは正確で直接的な答えを提供しますが、教育者はこの機会を利用して、図やアクティビティを用いて概念を説明することで、なぜそうなるのかを説明することができます。例えば、三角形の内角を並べて直線（180度）を作ることを示すことができます。このような実践的なアプローチは、質問に答えるだけでなく、生徒の理解と学習への関心を深め、文脈に沿ったインタラクティブな説明の教育的価値を際立たせます。

[関連記事：大規模言語モデル（LLM）：完全ガイド]

結論: これからの旅

これらの領域にわたって人間のレンズを通して LLM を評価すると、多面的な絵が描かれます。LLM は言語の理解と生成において進歩していますが、より深い理解、創造性、または専門知識が必要な場合には深みが欠けていることがよくあります。これらの洞察は、AI を改良するために継続的な研究、開発、そして最も重要なことに人間の関与の必要性を強調しています。 AI の可能性を探るにあたり、AI 研究者、テクノロジー愛好家、コンテンツ モデレーター、マーケティング担当者、教育者、プログラマー、数学者にとって、その弱点を認識しながらその長所を受け入れることは、テクノロジーのブレークスルーを達成するために非常に重要です。

LLM開発のためのエンドツーエンドソリューション（データ生成、実験、評価、モニタリング） –デモをリクエスト