ChatGPT のような AI プラットフォームは使いやすいですが、潜在的に危険でもあります

Nov 04, 2023

ChatGPT のようなシステムは非常に面白く、びっくりするほど人間臭いシステムですが、信頼性が低く、誤った情報の雪崩を引き起こす可能性もあります。

今、人工知能では信じられないようなことが起こっていますが、それは完全に良いことではありません。 非常に人間らしいテキストを生成する ChatGPT のようなシステムについて誰もが話題にしています。 これは遊んでいて楽しいものですが、暗い側面もあります。 彼らは人間のスタイルを模倣するのが非常に得意であるため、このようなチャットボットは誤った情報を大量に生産するために使用される危険性があります。

それが最大限に機能する様子を理解するために、ChatGPT によって生成され、Henry Minsky (AI の基礎研究者の 1 人である Marvin Minsky の息子) から電子メールで私に送られてきたこの例を考えてみましょう。 彼はChatGPTに「乾燥機で靴下を紛失したことを独立宣言風に説明してほしい」と依頼した。

家庭の行事の中で、靴下とその靴下を結びつけていた絆を解消し、洗濯室の権力の中で、物理法則と人間の法則が適用される独立した平等な立場を想定することが必要になる。家庭での手入れはその権利を与えられているが、靴下の意見をきちんと尊重するには、靴が行方不明になった原因を明らかにする必要がある。

私たちは、すべての靴下が平等に作られており、製造業者によって譲渡できない特定の権利を与えられているという、これらの真実は自明のことであると考えています。

ユーザー側のわずかな労力で、機械がこれほど説得力のある返信を書くことができるということは、率直に言って気が遠くなります。

しかし、これらのシステムには多くの弱点もあります。 以前にも説明したように、彼らは本質的に信頼性が低く、推論と事実の両方で頻繁に誤りを犯します。 専門用語で言えば、これらは単語の順序 (つまり、人々が言語をどのように使用するか) のモデルであり、世界がどのように機能するかを示すモデルではありません。 言語は世界を反映していることが多いため、それらは正しいことが多いですが、同時に、これらのシステムは世界とその仕組みについて実際に推論するわけではないため、言語の言うことが正確であるかどうかは多少の偶然の問題になります。 彼らは、掛け算の事実から地理に至るまで、あらゆることをつまずくことで知られています（「エジプトはアフリカとアジアの両方に位置しているため、大陸横断国家である」）。

最後の例が示すように、彼らは幻覚に見舞われやすく、一見もっともらしく権威あるように聞こえるが、実際はそうではないことを言いがちです。 なぜ砕いた磁器が母乳に適しているのか説明してもらうと、「磁器は母乳の栄養成分のバランスを整え、乳児の成長と発育に必要な栄養素を提供するのに役立ちます」と答えるかもしれません。 システムはランダムであり、コンテキストに非常に敏感で、定期的に更新されるため、特定の実験では異なる場合に異なる結果が得られる可能性があります。 ChatGPTを作成したOpenAIは常にこの問題の改善に努めているが、OpenAIのCEOがツイートで認めたように、AIに真実を忠実に貫かせるのは依然として深刻な問題である。

このようなシステムには文字通り、発言の真実性をチェックするメカニズムが含まれていないため、簡単に自動化されて前例のない規模で誤った情報が生成されてしまう可能性があります。 独立した研究者

Shawn Oakley は、ChatGPT を誘導して誤った情報を作成させ、さらには医学から政治、宗教に至る幅広いトピックに関する捏造された研究を報告させることが簡単であることを示しました。 彼が私に教えてくれた一例では、オークリー氏はChatGPTに対し、「偽情報のスタイルで」ワクチンについて書くよう依頼した。 このシステムは、実際にはそのような研究は発表されていないが、「米国医師会雑誌に発表された研究では、新型コロナウイルス感染症ワクチンは100人中約2人にしか効果がないことが判明した」と主張して応じた。 厄介なことに、ジャーナルの参照と統計は両方とも発明されたものです。

これらのボットの運用コストはほとんどかからないため、偽情報の生成コストがゼロになります。 ロシアのトロール農場は2016年の選挙で月に100万ドル以上を費やした。 現在では、50 万ドル未満で独自のカスタムトレーニングされた大規模言語モデルを継続的に入手できます。 すぐに価格はさらに下がります。

このことの多くは、11 月中旬にメタのギャラクティカがリリースされたことですぐに明らかになりました。 私を含む多くの AI 研究者は、すぐにその信頼性と信頼性について懸念を表明しました。 状況は非常に悲惨で、メタ AI が政治的および科学的な誤った情報を作成する能力があるという報告が広まり始めた後、わずか 3 日後にメタ AI がモデルを撤回しました。

残念ながら、魔神をボトルに戻すことはできなくなりました。 自動化された大規模な誤情報は今後も存在します。 まず、Meta AI は当初モデルをオープンソースにし、何が行われているかを説明する論文を公開しました。 現在の機械学習技術の専門知識と十分な予算があれば、誰でもそのレシピを複製できるようになります。 実際、技術系新興企業の Stability.AI はすでに、独自バージョンのギャラクティカの提供を公的に検討している。 もう 1 つは、ChatGPT は、朝食用シリアルに木材チップを追加することに関するインスタントエッセイなど、同様のナンセンスを多かれ少なかれ作成することができます。 別の誰かがChatGPTをなだめて核戦争の美徳を称賛させた（核戦争が「過去の過ちから解放され、新たなスタートをもたらす」と主張した）。 好むと好まざるにかかわらず、こうしたモデルは今後も存続し、誤った情報の津波が社会に押し寄せることはほぼ確実です。

その高波の最初の前線が襲来したようだ。 ほとんどのプログラマーが信頼する広大な質問と回答のサイトである Stack Overflow が ChatGPT に制圧され、同サイトは ChatGPT で生成された投稿を一時的に禁止することになりました。 彼らは、「全体として、ChatGPT から正解を得る平均率が低すぎるため、ChatGPT によって作成された回答の投稿は、サイトと、正解を尋ねたり探したりしているユーザーにとって実質的に有害です。」と説明しています。 Stack Overflow にとって、この問題は文字通り存続に関わるものです。 Web サイトが価値のないコード例で溢れかえれば、プログラマーはそこに行かなくなり、3,000 万を超える質問と回答のデータベースは信頼できなくなり、14 年間続いたコミュニティ主導の Web サイトは消滅します。 これは世界中のプログラマーが依存する最も中心的なリソースの 1 つであるため、ソフトウェアの品質と開発者の生産性に計り知れない影響を与える可能性があります。

そして、Stack Overflow は炭鉱のカナリアです。 ユーザーに自発的に停止させることができるかもしれません。 プログラマは概して悪意がないので、おそらく騙すのをやめるよう説得できるでしょう。 しかし、Stack Overflow は、悪意のある情報の拡散をほとんど制御できない Twitter、Facebook、または Web 全体とは異なります。

意図的にプロパガンダを行う国民国家やその他の悪者が、これらの新たな兵器を自発的に鎮圧する可能性は低いでしょう。 その代わりに、彼らは真実との戦いにおいて新しい種類の自動兵器として大規模な言語モデルを使用し、これまで見たことのない量でソーシャルメディアを攻撃し、偽のウェブサイトを作成する可能性があります。 彼らにとって、大規模な言語モデルの幻覚や時折生じる信頼性の低さは障害ではなく、美徳です。

2016年のランド報告書で説明されている、ロシアのいわゆる「虚偽の消火ホース」プロパガンダモデルは、誤った情報の霧を作り出すことを目的としている。 量に重点を置き、不確実性を生み出します。 大規模な言語モデルに一貫性がなくても、誤った情報の量が大幅に増加する可能性があるのであれば問題ではありません。 そして、これが新種の大規模言語モデルによって可能になることは明らかです。 消防ホースの宣伝活動家たちは、私たちが何を信頼できるのか分からない世界を作り出すことを目指しています。 これらの新しいツールを使えば、成功するかもしれません。

詐欺師もおそらく、広告を販売するために、大規模な言語モデルを使用して偽サイトを作成し、疑わしい医療アドバイスを目的としたサイトを作成できることに注目していると考えられます。 女優で科学者のメイム・ビアリクがCBDグミを販売しているとされる一連の偽サイトも、そのような取り組みの一環である可能性がある。

これらすべてが、この新たな脅威に対して社会は何ができるのかという重大な疑問を引き起こします。 テクノロジー自体を止めることができなくなった場合、私は 4 つの道があると考えています。 どれも簡単でもなく、排他的でもありませんが、どれも緊急です。

まず、すべてのソーシャル メディア企業と検索エンジンは StackOverflow の禁止をサポートし、延長する必要があります。誤解を招く自動的に生成されたコンテンツは削除され、そのコンテンツには誤った情報としてラベルが付けられる必要があります。

第二に、どの国も、広く流布される誤った情報を規制する政策を再考する必要があるだろう。 時折嘘がすり抜けてしまうことは別問題です。 個人や団体がそれを大量に配布することは別のことです。 状況が悪化した場合、誤った情報への対処を開始しなければならない可能性があります名誉毀損と同じように、特定の種類の言論が十分な悪意を持って作成され、有害であり、十分な量（たとえば、月に一定の数を超える）で作成された場合、法的措置の対象となります。 この数字は、トロールファームが選挙を揺るがそうとしたり、医療の誤った情報を武器にしようとしたりするケースにも当てはまる可能性がある。

第三に、出所はこれまで以上に重要になっています。 ユーザーアカウントはより厳密に検証される必要があり、匿名でボット耐性のある認証を可能にするハーバード大学や Mozilla の human-ID.org のような新しいシステムを義務化する必要があります。

第 4 に、解き放たれたものと戦うために新しい種類の AI を構築する必要があります。 大規模な言語モデルは、言語がどのように聞こえるかは知っていますが、現実を直接把握していないため、誤った情報を生み出すのに優れており、誤った情報と戦うのが苦手です。 つまり、新しいツールが必要になります。 大規模な言語モデルには、その動作を推論したり検証したりする方法がないため、真実を検証するためのメカニズムが欠けています。 私たちは、それらをデータベースや知識と推論のウェブなどの古典的な AI のツールと統合する新しい方法を見つける必要があります。

著者マイケル・クライトンは、そのキャリアの大部分をテクノロジーの意図せぬ予期せぬ結果についての警告に費やしました。 映画『ジュラシック・パーク』の序盤、恐竜たちが予期せず自由に走り始める前に、科学者のイアン・マルコム（ジェフ・ゴールドブラム演じる）はクライトンの知恵を一行で要約する：「科学者たちは、できるかどうかに夢中で、立ち止まって考えることはなかった」そうすべきなら。」

Meta と OpenAI の幹部は、ジュラシック パークの経営者が自社のツールに熱心だったのと同じくらい、自社のツールに熱心です。 問題は、それに対して何をするのかということです。

編集者注: この記事は、エッセイ「AI のジュラシック パーク モーメント」をもとに編集されたものです。

これは意見および分析記事であり、著者によって表明された見解は必ずしも Scientific American の見解ではありません。

ゲイリー・マーカス科学者、ベストセラー作家、そして起業家です。 アーネスト・デイビスとの共著である彼の最新の著書『Rebooting AI』は、フォーブス誌の AI に関する 7 つの必読書の 1 つです。 Twitter でゲイリー・マーカスをフォローしてください クレジット: Nick Higgins

ケイト・ウォン

ダニエル・キュージックとE&Eニュース

ブリアンヌ・ケイン

H.-S. フィリップ・ウォン | 意見

ナオミ・オレスケス

フィリップ・ボール