AI

【NEWS】AGI開発における適切な安全対策と監視の欠如に懸念 元スタッフが証言

2024/09/24 18:33 (2025/02/07 15:46 更新)
Iolite 編集部
SHARE
  • sns-x-icon
  • sns-facebook-icon
  • sns-line-icon
【NEWS】AGI開発における適切な安全対策と監視の欠如に懸念 元スタッフが証言

AGI誤用のリスクに言及

OpenAIの最新モデルGPT-o1AIは、既知およびあらたな生物学的脅威のシミュレーションを支援する能力を実証した初のモデルである、と同社の元スタッフが今週、上院議員に語った。

「OpenAIのあたらしいAIシステムは、生物兵器のリスク評価と対応計画を支援する初のシステムであり、既知の生物学的脅威を再現する計画を立てる専門家を支援することができます」

とOpenAIの元技術スタッフであるウィリアム・サンダース(William Saunders)氏は上院司法委員会のプライバシー、テクノロジー、法律小委員会で述べた。

サンダース氏はOpenAIの技術スタッフとして3年間働いてきた。OpenAIは汎用人口知能(AGI)の構築に取り組んでおり、この目標に向けて数千億円の資金調達をしている。AI企業はAGIの構築に向けて急速に進歩している。OpenAIはAGIを「経済的に最も価値のある仕事で人間を上回る、高度に自律的なシステム」と定義している。これは長期間にわたって自律的に動作し、人間が実行できるほとんどの作業を実行できるAIシステムを意味しているという。

AGIは経済や雇用の根本的な変化を含め、社会に大きな変化をもたらす可能性が高い。サンダース氏は「AGIは3年ほどで構築できる可能性がある。そうなれば壊滅的な被害、たとえばサイバー攻撃の自動化や生物兵器の誤用などのリスクがある」と述べた。

ヘレン・トナー氏(Helen Toner=OpenAIの役員であり、共同創設者兼CEOのサム・アルトマン=Sam Altmanの解雇に賛成票を投じた)もAGIが近い将来に実現すると予想している。彼女は

「たとえ最短の予測が間違っていたとしても、今後10年か20年のうちに人間レベルのAIが開発されるという考えは現実的な可能性として捉えられるべきであり、そのためには今から相当の準備を取る必要がある」と証言した。

サンダース氏はまた、AGI開発における適切な安全対策と監視の欠如についても懸念を示した。同氏は「AGIシステムが安全で管理されていることをどう証明、保証すれば良いのか誰も知らない」と指摘した。

安全なAI開発に向けたOpenAIのあらたなアプローチが安全性よりも収益性を重視していることを批判した。サンダース氏は

「OpenAIはこうしたテストの側面を開拓してきたが、厳密さよりも導入を何度も優先してきた。将来のAIシステムにおける重要な危険な機能を見逃すという現実的なリスクがあると思う」と述べた。

証言では、アルトマン氏の解任後に明らかになった、OpenAI内部の課題も明らかになった。

「AGIを制御するアプローチの開発を任されていたOpenAIのスーパーアライメントチーム(AGIの安全な制御を研究するチーム)はもう存在しない。チームのリーダーや多くの主要研究者は、必要なリソースの獲得に苦労したあと、辞職してしまった」と述べた。

事実、OpenAIの共同創設者でアルトマン氏の解雇に関わったイリヤ・シュツケバー(Ilya Sutskever)氏は、GPT-4oの立ち上げ後、辞職し、Safe Superintelligence Inc.を設立している。

サンダース氏の証言はAIの安全性に関する専門家がOpenAIのアプローチについて訴えてきた苦情や警告にさらなる一石を投じた。

自律型AIがもたらすリスク

OpenAIの共同設立者ジョン・シュルマン(John Schulman))氏と調整責任者のジャン・ライケ(Jan Leike)氏は辞職し、ライバル企業アンスロピックに加わった。

ライケ氏はアルトマン氏のリーダーシップのもとでは安全性は「派手な製品の後回しにされた」と批判している。

OpenAIの元取締役であるトナー(Toner)氏とターシャ・マコーリー(Tasha McCauley)氏はエコノミスト誌に予稿し、アルトマン氏が責任を持つAI開発よりも利益を優先し、重要な開発を取締役会から隠蔽し、社内に有害な環境を助長していると批判した。

サンダース氏は声明の中でAI開発において企業だけでなく独立した団体による明確な安全対策の必要性を主張し、議会に緊急の規制措置を求めた。同時にテクノロジー業界における内部告発者保護制度の導入も求めた。サンダース氏は最後に

「自律型AIシステムの制御の喪失は人類の滅亡」につながる可能性があると警告した。

参考:William Saunders Written Testimony

画像:Shutterstock

関連記事:

OpenAIが新型AI「GPT-4o」を発表 処理速度2倍に

ワールドコイン開発会社、OpenAI及びPayPalとの提携を模索

SHARE
  • sns-x-icon
  • sns-facebook-icon
  • sns-line-icon
Side Banner
Side Banner
MAGAZINE
Iolite(アイオライト)Vol.14

Iolite(アイオライト)Vol.14

2025年7月号2025年05月30日発売

Interview Iolite FACE vol.14 カルダノ(Cardano)/ Input Output Global創業者兼CEO チャールズ・ホスキンソン PHOTO & INTERVIEW 馬渕磨理子 特集「日米暗号資産関連の政策に関する考察」「日本発ブロックチェーン図鑑」「Hyperliquidで巨額のポジション清算が発生! 想定できなかったあらたな分散型金融の危機」「大注目の日本発、生成AIスタートアップ「Sakana AI」」「リセッションに備えよ─ 金融とアノマリーの相関性─」 Crypto Journey 「“論破王”からみたWeb3.0」 ひろゆき Interview 特別連載 仮想NISHI 「暗号資産の相場動向と読み解くポイント」 連載 Tech and Future 佐々木俊尚…等

MAGAZINE

Iolite(アイオライト)Vol.14

2025年7月号2025年05月30日発売
Interview Iolite FACE vol.14 カルダノ(Cardano)/ Input Output Global創業者兼CEO チャールズ・ホスキンソン PHOTO & INTERVIEW 馬渕磨理子 特集「日米暗号資産関連の政策に関する考察」「日本発ブロックチェーン図鑑」「Hyperliquidで巨額のポジション清算が発生! 想定できなかったあらたな分散型金融の危機」「大注目の日本発、生成AIスタートアップ「Sakana AI」」「リセッションに備えよ─ 金融とアノマリーの相関性─」 Crypto Journey 「“論破王”からみたWeb3.0」 ひろゆき Interview 特別連載 仮想NISHI 「暗号資産の相場動向と読み解くポイント」 連載 Tech and Future 佐々木俊尚…等