の 人工知能 彼が創造性の領域に入ると、奇妙なパラドックスに直面するようです。私たちは彼の書くものを好むことができると同時に、機械によって書かれたということで彼を罰することもできます。で発表された新しい研究 判断と意思決定ケンブリッジ大学出版局の雑誌は、読者がこの短編小説を高く評価していることを発見しました。 チャットGPT 人間の著者が書いたものよりも高品質で、より魅力的です。ただし、テキストの実際の出所に関係なく、参加者にテキストの背後に人物がいることを告げるとスコアが向上しました。
「ボットか否か」と題されたこの研究は、ヴィラノバ大学のシドニー・シアーズ氏とディーナ・スコルニック・ワイズバーグ氏によって実施され、成人を対象に実施された3件の研究が含まれている。最初の参加者は 1,682 人でした。 2 番目は 424 です。サンプルは、年齢、性別、人種の点で人口統計的に米国を代表するように選択されました。研究者らは、以前に公開された 3 つの人間の物語と、ChatGPT 4.0 を使用して生成された 3 つの対応するテキスト (それぞれ約 1,000 語) を使用しました。
その結果、次のような考えの間に大きな隔たりが生じました。 人工的な創造性 誰が作成したかが不明な場合の結果に対する応答。研究者や参加者の言葉を借りれば、 「彼らは実際にはAIが生成したストーリーを好みますが、AIが生成したストーリーのほうがひどいと信じています。」。
人間の著作は価値を提供し続ける
最初の実験には、年齢、性別、人種の点でアメリカ国民の代表的なサンプルを形成するために集められた1,682人の成人が参加した。各参加者は、約 1,000 ワードの 6 つの物語のうち 1 つを読みました。そのうちの 3 つは、 人間の作者によって書かれた 過去に文芸雑誌や小説集に掲載された作品、および他の 3 作品は、 ChatGPT 4.0で生成 最初のものと同様の次のテーマと特徴。
しかし、2 番目の変数がありました。一部の参加者は、誰がその物語を書いたかを正確に知らされました。意図的に偽の著者名を与えられた人もいます。このようにして、研究者たちは、通常は混在しているように見える 2 つの問題を分離することができました。 知覚された品質 テキストの内容と、それが行われたことを知ることによって引き起こされる効果 AIによって生成されます。
人間によるストーリーはより高い吸収率を達成しました: AI によるストーリーの 1.10 と比較して 1.32
その結果、-3 から 3 のスケールで、ChatGPT によって生成されたストーリーの吸収力の平均評価は 1.42 に達しましたが、人間のストーリーの平均評価は 1.00 でした。知覚品質においては、その差はさらに大きく、人間のテキストの 0.97 に対して AI テキストの場合は 1.54 でした。
しかし、実際にプレイしてみると認識が変わりました 帰属される著者。 人間が書いたように提示されたストーリーの吸収率は平均 1.32 でしたが、AI によって生成されたストーリーの場合は 1.10 でした。品質では、スコアはそれぞれ 1.40 と 1.12 でした。つまり、ChatGPT によって作成されたコンテンツはより好まれましたが、人間のラベルによってどのコンテンツもより好まれました。
背後に AI がいることを知ると認識が変わる
この発見は学術文献の主張と一致しています アルゴリズム嫌悪: 特定の結果がどこから来たのかがわかっていると、評価が低くなる傾向 アルゴリズム。
研究自体は、カウンセリング、詩、視覚芸術などの分野でこの効果が観察された以前の研究を思い出させます。しかし、シアーズ氏とワイズバーグ氏の研究により、これを別の現象と併せて観察できるようになりました。それは、生成モデルが、それ自体で評価されると、一般の人々にとって特に魅力的な特定のコンテンツを生成する能力です。
研究者らによって提案された考えられる説明は次のとおりです。 加工のしやすさ。これまでの文献では、AI が生成したコンテンツはより流動的で解釈しやすい傾向にあり、人々が肯定的に評価する傾向にあることが観察されています。一方、人間の物語は、より大きな曖昧さ、複雑さ、または解釈の難しさをもたらす可能性があります。
したがって、吸収しやすい文章が必ずしも優れた文学であるとは限りません。著者自身もこう警告している 品質と吸収力 それらは異なる概念ですが、実験では実質的に同じ方法で進化しました。文学的なフィクションでは、読者がそれほど明白ではない意味に直面することが厳密に要求される場合がありますが、非常に夢中になれる物語には文学的な性質がほとんどない場合があります。
ChatGPT を認識する必要がある場合、リーダーが失敗します
研究 2 と 3 では、著者情報が削除され、より直接的なテストが行われました。つまり、人が何を書いたのか、ChatGPT が何を書いたのかを本当に知ることができるのかということです。
実験では、読者がヒューマンフィクションとChatGPTを確実に区別できるという証拠は見つからなかった
参加者は 2 つの関連するストーリーを受け取りました。 1 つは人間、もう 1 つは AI によって生成される、それぞれの著者にどれが対応しているかを特定する必要がありました。
2回目の研究には424人の成人が参加した。正解者は 40% のみで、偶然に予想される 50% よりも低い結果でした。研究者らはその後、さらに481人の参加者を対象に実験を再現した。今回は 52% の正解率で、統計的には偶然と区別がつきませんでした。
したがって、この 2 つの実験は、読者が人間のフィクションと ChatGPT によって生成されたフィクションを確実に区別できるという一般的な証拠を提供するものではありません。実際、この論文は、参加者がどの実験でも偶然を超えていなかったことを強調しています。
一方で研究者らは、過去の経験によってテキストの出所を検出する能力が向上するかどうかを研究した。そして彼らは次のような違いを発見しました 文学についても知っていて、人工知能についても知っています。
2 番目の研究では、AI システムの自己報告経験が大きいほど、ストーリーを正しく特定できる可能性が高くなることが明らかになりました。一方、フィクション文学の経験は成功とは何の関係もありませんでした。
3番目の研究では、今回は以前に検証された識字率スケールを使用して、同じパターンが再び見つかりました。 人工知能: スコアが高い人は正しく答える可能性が高くなりますが、やはり文学経験との有意な関係は見られませんでした。
読者が直感的に使用したヒントの一部でさえ、読者にとって不利に働くように思えました。 2番目の研究では、この言語に気づいたと報告した人は、それを誤解する可能性が高かった。 3番目では、言語に依存している人、または物語をどれだけ楽しんでいる人にも同じことが起こりました。一方、象徴主義は、後者の実験で正解する確率の高さとわずかに関連していました。
研究者らによって提起された結論は、AI によって生成されたテキストを認識しようとするときに、おそらく私たちは間違った信号を探しているということです。
より快適でありながら、より均質な創造性
なぜ私たちはこれらの物語をもっと好きになるのでしょうか?解釈の容易さに加えて、著者らはモデルの機能に関連する仮説を提案しています。 チャットGPT これは膨大な量の過去の素材から新しいコンテンツを構築するもので、そのプロセスはある意味で既存の傾向を平均化し、人間の作業の不規則性の一部を平滑化し、より多くの人が満足する結果を生み出す可能性があると研究は主張している。
しかし、正確には、その限界の 1 つも存在する可能性があります。この研究には、AI によって生み出される創造的な結果が相対的に優れたものになる傾向があることを示す研究が含まれています。 均質な。 人間の個々の反応は、AI によって生成される反応よりも創造性が劣る可能性がありますが、人間の一連の反応には大幅に大きなばらつきがあります。
研究者らはまた、創造性の 2 つの瞬間、つまり可能性を生み出すことと、その後開発する価値のあるものを選択することを区別しています。この研究で使用されたモデルは特に最初のものを指向していましたが、 人間のプロセスには反省と選択が組み込まれています。実際、論文で引用されている先行研究では、AIによって生成されたさまざまな結果から人が選択して介入すると、結果として得られた仕事の評価がさらに向上する可能性があることが示されています。
AIの結果を選択する際に人間が介入することで、最終的な作品の評価が向上する可能性がある
したがって、問題は誰が「より優れた文章を書くか」という競争を超えています。この研究は、それぞれの創造的なシステムがどのような種類の結果を生み出すか、そしてそれがどのようなプロセスによってそれらに到達するかの間に、より深い違いがあることを指摘しています。
著者らは、結果の限界を特に注意深く指摘している。分析されたテキストは、約 1,000 ワードの短編小説であり、現実的なフィクションに属します。このパターンが長編小説に当てはまるかどうかはわかりません。長編小説では、数万語にわたる登場人物、プロット、物語の一貫性を開発するために、まったく異なる要求が求められます。
また、他の文学ジャンルや文化でも同じことが起こるかどうかはわかりません。参加者は18歳から81歳までのアメリカ成人であり、著者らは次のことを明確に指摘している。 AIの認識 そして物語の伝統は国によって異なる場合があります。さらに、識別研究では、参加者は、テキストの一方が人間のものであり、もう一方が人工的な情報であり、研究室の外でコンテンツを読む場合には通常得られない情報であることを明示的に知らされました。そして、使用された経験の尺度は自己申告されたものであり、これも研究者によって認識された限界です。
したがって、この研究の最も適切な結論は、人工知能が人間よりも「より創造的である」ことが証明されたということではないかもしれない。問題は、私たちが特定の結果だけを判断する場合、私たちの好みが、誰がその結果を生み出すことができるかについて私たちが信じていることと直接矛盾する可能性があるということです。そして、製品と原点の間のこの距離により、新しい変数が導入されます。 創造性と人工知能に関する議論。 機械はすでに人間の創作物に似たものを生み出すことができますが、その作品の背後に誰が、あるいは何があるのかを知ることで、その作品に対する私たちの判断はどの程度変わるのでしょうか?
詳細情報: ボットかどうか
