イントロダクション
大規模言語モデル (LLM) の開発が加速するにつれて、さまざまな分野にわたるその実際の適用を包括的に評価することが重要です。この記事では、BLOOM などの LLM が人間の洞察を活用してその真の可能性と限界を評価するために厳密にテストされている 7 つの主要な領域について詳しく説明します。
AI に関する人間の洞察 #1: 有害な音声の検出
敬意を持ったオンライン環境を維持するには、有害な音声を効果的に検出する必要があります。人間による評価によると、LLM は明らかな有害な発言を正確に指摘できることもありますが、微妙なコメントや文脈固有のコメントについては的を外すことが多く、不正確な結果につながることがわかっています。これは、オンラインでの議論を効果的に管理するために、LLM がより洗練された理解と状況に対する敏感さを養う必要性を強調しています。
AI に関する人間の洞察の例 #1: 有害な音声の検出
LLM 評価: LLM は、表面的に中立的な文言を考慮すると、コメントの根底にある受動攻撃的なトーンを有害なものとして検出できない可能性があります。
人間の洞察力: 人間のモデレーターは、コメントの文脈上の否定性を理解し、それが相手の立場を損なうことを目的とした微妙な形の有害性であると認識します。これは、効果的なモデレーションのために LLM を微妙に理解する必要があることを示しています。
AI に関する人間の洞察 #2: 芸術的創造
LLM は、物語や詩などの創造的なテキストを生成する能力で注目を集めています。しかし、人間によって評価されると、これらのモデルは一貫した物語を紡ぐことはできるものの、創造性や感情の深さにおいてしばしば不足していることが明らかであり、真に人間のような創造性の輝きを AI に装備するという課題が浮き彫りになっています。
AI に関する人間の洞察の例 #2: 芸術的創造
LLM 出力: LLM は、探偵が歴史上の不正を阻止するために過去に戻り、最終的に歴史的な大事件を引き起こすというプロットを提案します。
人間の洞察力: プロットはある程度一貫性があり創造的だが、ある人間の批評家は、キャラクター開発に独創性と深みが欠けていると指摘し、AIが生成したコンセプトと人間が書いた作品に見られる微妙なストーリーテリングとの間のギャップを強調している。
AI に関する人間の洞察 #3: 質問に答える
質問応答機能は、教育リソースや知識検索アプリケーションの基本です。 LLM は、率直な質問に正確に答えることに期待を示しています。ただし、複雑な問い合わせや、より深い理解が必要な場合には苦労しており、継続的な学習とモデルの改良が不可欠であることが浮き彫りになっています。
AI に関する人間の洞察の例 #3: 質問に答える
LLM の答え: 「産業革命は、石炭や鉄などの天然資源へのアクセスと、商品の市場を提供した帝国の拡大により英国で始まりました。」
人間の洞察力: LLM の回答は正確ではありますが、重要な役割を果たした複雑な社会政治的要因とイノベーションについてのより深い洞察が欠けており、LLM がより包括的な理解を回答に組み込む必要性を示しています。
[また読む： 思考連鎖プロンプト – 知っておくべきことすべて]
AI に関する人間の洞察 #4: マーケティングの創造性
マーケティングにおいて、魅力的なコピーを作成する能力は非常に貴重です。 LLM は、基本的なマーケティング コンテンツを生成する可能性を実証しています。しかし、彼らの作品には、真に説得力のあるマーケティングに不可欠な革新性や感情的な共鳴が欠けていることが多く、LLM がアイデアに貢献できる一方で、人間の創意工夫は依然として比類のないものであることを示唆しています。
AI に関する人間の洞察の例 #4: マーケティングの創造性
LLM の提案: 「グリーンに詰めて、清潔に保ちましょう。」
人間の洞察力: このスローガンはキャッチーではありますが、マーケティングの専門家は、このスローガンでは製品の革新的な側面やその具体的な利点を伝えられていないと示唆し、複数のレベルで共感を呼ぶメッセージを作成するには人間の創造性の必要性を指摘しています。
AI に関する人間の洞察 #5: 固有表現の認識
テキスト内の名前付きエンティティを識別する機能は、データの整理と分析にとって重要です。 LLM はそのようなエンティティを発見することに熟達しており、データ処理や知識抽出の取り組みにおける有用性を示し、それによって研究や情報管理タスクをサポートします。
AI に関する人間の洞察の例 #5: 固有表現の認識
LLM 検出: 人物としては「イーロン・マスク」、コンセプトとしては「宇宙観光」を特定。
人間の洞察力: 人間の読者も、宇宙産業への潜在的な影響や商業旅行への広範な影響を認識する可能性があり、LLM はエンティティを特定できるものの、その重要性を完全には理解していない可能性があることを示唆しています。
AI に関する人間の洞察 #6: コーディング支援
コーディングおよびソフトウェア開発支援の需要により、LLM がプログラミング アシスタントとして検討されるようになりました。人間による評価では、LLM が基本的なタスクに対して構文的に正確なコードを生成できることが示されています。しかし、より複雑なプログラミング問題という課題に直面しており、AI 主導の開発サポートにおいて改善の余地があることが明らかになりました。
AI に関する人間の洞察の例 #6: コーディング支援
LLM 出力: 試行除算によって素数性をチェックする Python 関数を提供します。
人間の洞察力: 経験豊富なプログラマーは、この関数は大規模な入力に対して効率が欠けていることに気づき、最適化または代替アルゴリズムを提案し、LLM が人間の介入なしでは最適なソリューションを提供できない可能性がある領域を示しています。
AI に関する人間の洞察 #7: 数学的推論
数学は、その厳格なルールと論理的厳密性により、独特の課題を抱えています。 LLM は単純な算術問題を解決することができますが、複雑な数学的推論には苦労します。この矛盾は、計算能力と高度な数学に必要な深い理解との違いを浮き彫りにしています。
AI に関する人間の洞察の例 #7: 数学的推論
LLM出力: 「三角形のすべての角の合計は 180 度です。」
人間の洞察力: LLM は正確かつ直接的な答えを提供しますが、教育者はこの機会を利用して、図やアクティビティで概念を説明することで、なぜそうなるのかを説明することができます。たとえば、三角形の角度を取得して並べると、180 度の直線がどのように形成されるかを示すことができます。この実践的なアプローチは、質問に答えるだけでなく、生徒の理解と教材への取り組みを深め、状況に応じたインタラクティブな説明の教育的価値を強調します。
[また読む： 大規模言語モデル (LLM): 完全ガイド]
結論: これからの旅
これらの領域にわたって人間のレンズを通して LLM を評価すると、多面的な絵が描かれます。LLM は言語の理解と生成において進歩していますが、より深い理解、創造性、または専門知識が必要な場合には深みが欠けていることがよくあります。これらの洞察は、AI を改良するために継続的な研究、開発、そして最も重要なことに人間の関与の必要性を強調しています。 AI の可能性を探るにあたり、AI 研究者、テクノロジー愛好家、コンテンツ モデレーター、マーケティング担当者、教育者、プログラマー、数学者にとって、その弱点を認識しながらその長所を受け入れることは、テクノロジーのブレークスルーを達成するために非常に重要です。
LLM開発のためのエンドツーエンドソリューション（データ生成、実験、評価、監視） – Demoリクエスト
