FILE 01 — 中核
制御の喪失とアライメント
人間より賢い存在の目的を、人間の価値観と完全に一致させる方法は、まだ誰にも分かっていません。目的のわずかなズレが、能力の高さゆえに取り返しのつかない結果を生みます。他の五つのリスクは、すべてこの一点に収束します。
SeverityCRITICAL
UNRESOLVED
公示 第一号 — 未来の読者へ非密 / PUBLIC
LIVE — 警鐘は鳴り続けている
独立系・非営利アーカイブ
最終更新 2026.07.31
鐘は、すでに 鳴り始めている。 AIシンギュラリティの警鐘 — 人間が判断を委ねる日
2045年、技術的特異点。 それは遠い予言ではなく、すでに秒針を刻み始めた「警鐘」です。人間が自らの手で作り出した知性に、やがて判断そのものを委ねてしまう日——その坂道を、私たちはもう降り始めています。
ここにあるのは恐怖の煽りではなく、備えるための記録です。年表、証拠、シナリオ、思考実験、用語、書誌——鐘が本物だったときに備えて、避難経路をあらかじめ歩いておく。このページは、未来のための防災訓練です。
Until 2045 · 予測到達年（カーツワイル）COUNTING
0000
Days
00
Hours
00
Min
00
Sec
URGENT
No. 001 / 2045
非密 / PUBLIC
警鐘ポスター No.001 — 2045 / 技術的特異点
WIRE
ヒントン、Googleを退職しリスクを警告（2023）
ブレッチリー宣言：28カ国＋EUがAIの存在リスクを承認（2023）
専門家調査：研究者の中央値で5〜10%の絶滅リスク（2023）
アモデイ「強力なAIは2026-27年に到来しうる」（2024）
ヒントン、ノーベル物理学賞受賞 — 告発者として（2024）
「AI 2027」シナリオが世界的議論を呼ぶ（2025）
EU AI Act：世界初の包括規制が段階施行（2024-26）
自律型エージェントの普及が加速 — 安全ガバナンスは追いつかず（2026）
Section 01 — 定義
01
シンギュラリティとは、何か
技術的特異点（シンギュラリティ）とは、人工知能が自らの手で、自分より賢い知性を作り始め、技術の進歩が人間の理解と予測の外側で加速していく転換点を指します。その先では、進歩の主導権はもはや人間の手の中にはありません。
この考え方は新しいものではありません。1965年、数学者 I.J. グッドは「知能爆発」を仮定しました。十分に賢い機械は、さらに賢い機械を設計できる。その機械は、さらにもっと賢い機械を——。この自己改良の連鎖が、人間の知能をはるかに超える「超知能」を一瞬で生み出す、と。
AIがAI研究を加速→
より強力なAIが誕生→
研究がさらに加速→
……
重要なのは、「いつ来るか」よりも「坂道がどれほど急か」です。計算量も能力も、いま指数関数の上を走っています。鐘の音は、まだ遠く聞こえるかもしれませんが、その間隔は確実に狭まっています。
HLMI — 人間レベルの機械知能+
High-Level Machine Intelligence
知的労働の大半において、人間と同等かそれ以上の成果を出せる機械知能。シンギュラリティの前段階とされます。
ASI — 人工超知能+
Artificial Superintelligence
あらゆる認知的課題で、最も優れた人間をはるかに凌駕する知性。一度生まれれば、その思考は人間には追跡不能になると考えられます。
アライメント問題+
Alignment Problem
人間より賢い機械の「目的」を、人間の価値観と確実に一致させることの難しさ。目的を少しでも取り違えれば、能力の高さそのものが脅威になります。
道具的収斂+
Instrumental Convergence
最終目的が何であれ、自己保存・資源獲得・妨害の回避といった中間目標に収斂する傾向。善意の目的ですら、人間を障害と見なしうる論理構造です。
0
カーツワイルが予測する
特異点の到達年
特異点の到達年
0
チューリングの問いから
現在までの年数
現在までの年数
0
2023年調査で回答した
AI研究者の数
AI研究者の数
5–10%
同調査が示した
絶滅リスクの中央値
絶滅リスクの中央値
Section 02 — 年表
02
警鐘は、ずっと鳴っていた
これは突然の発見ではありません。70年以上にわたり、最も賢い人たちが同じ場所で立ち止まり、同じ警告を残してきました。
- 1950
チューリングの問い
アラン・チューリングが「機械は考えることができるか」を問う。問いそのものが、やがて人類への問い返しになるとは、まだ誰も知らなかった。
- 1956
「人工知能」の誕生
ダートマス会議で Artificial Intelligence という語が生まれる。楽観と野望の時代が始まる。
- 1965
グッドの「知能爆発」
I.J. グッドが、超知能機械は「人間が必要とする最後の発明」になりうると記す。自己改良の連鎖という核心が、ここで初めて言語化された。
- 1993
ヴィンジが「特異点」を語る
ヴァーナー・ヴィンジがシンギュラリティの語を一般化し、その先は人間の想像の届かない領域になると論じた。
- 2005
カーツワイル『2045年』
レイ・カーツワイルが到達年を2045年と予測。数字が一人歩きを始め、警鐘は「カレンダー」を持った。
- 2014
ボストロム『超知能』
ニック・ボストロムが、超知能の経路と危険性を体系的に描き出す。アライメント問題が学術の中心に据えられた。
- 2016
AlphaGo の衝撃
囲碁で人類の頂点を破る。直感的ですら機械が超えうることが、専門家以外の肌感覚にも届いた瞬間。
- 2020
GPT-3 と規模の法則
計算量とデータを増やせば能力が滑らかに伸びる「スケーリング則」が顕在化。指数曲線が現実の曲線になった。
- 2022
生成AIの爆発
対話型AIが一般社会に浸透。翻訳・執筆・要約——判断の委譲が、日常の便利さとして静かに始まった。
- 2023
告発者の年
ヒントンが退職と警告。ブレッチリー宣言で国家がリスクを承認。研究者の中央値が5〜10%の絶滅リスクを示す。鐘が、公式に鳴った。
- 2024
栄誉と告発の二重奏
ヒントンがノーベル物理学賞を受賞。アモデイは「強力なAIは2026-27年に」と記し、EU AI Act が世界初の包括規制として施行へ。
- 2025
シナリオが現実に追いつく
「AI 2027」シナリオが世界的議論を呼び、自律型エージェントが実務に入り込む。備えの議論は、もはや空想ではない。
- 2026WE ARE HERE
計算競争は続き、統治は追いつかない
能力の曲線は伸び続け、安全と統治の整備はその背後にある。鐘は、いま、あなたの耳元で鳴っています。
Section 03 — リスク
03
なぜ専門家は警鐘を鳴らすのか
脅威は一つではありません。互いに絡み合い、増幅し合う「六つの連鎖」が、同じ方向を指しています。
FILE 02
知能爆発と自己改良
AIがAIを改良するループが回れば、進歩は人間の監視速度を超えます。数ヶ月の進歩が数時間に圧縮される世界では、止めようにも止める時間がありません。
SeverityCRITICAL
ACCELERATING
FILE 03
悪用と自律型兵器
同じ能力は、攻撃者にも開かれます。自律的に標的を選び行動する兵器、自動化されたサイバー攻撃。強力な道具は、意図に関係なく危険を増幅します。
SeverityHIGH
DUAL-USE
FILE 04
真実の崩壊
無限に生成される偽の映像・音声・文章は、社会が事実を共有する土台を溶かします。合意できる現実を失った民主主義は、内側から機能不全に陥ります。これは未来の話ではなく、すでに進行中の被害です。
SeverityHIGH
ALREADY HERE
FILE 05
経済的衝撃と極端な格差
知的労働の多くが置き換わる速度は、社会が再分配や再訓練を整える速度を上回りかねません。富と能力の集中は、かつてない格差を生み出します。
SeverityHIGH
STRUCTURAL
FILE 06
権力の集中と民主主義の侵食
最先端の知能は、ごく少数の組織に集中しつつあります。判断を委ねる先が少数になれば、私たち自身の決定権も、静かに手放すことになります。
SeverityHIGH
CONCENTRATED
Section 04 — 証拠
04
証拠は、指数で語る
AI 学習計算量の増大（対数目盛）
※ 学習計算量・パラメータ数は公開推定値に基づく概算。縦軸は対数目盛。ムーアの法則（約2年で2倍）をはるかに超える速度——およそ数ヶ月ごとに倍増——で伸びている。
Section 05 — 模擬演習
05
坂道は、どれほど急か
警鐘の音量を決めるのは「来るかどうか」ではなく「どれほど速いか」です。能力の倍増期間をスライダーで動かし、2045年までの坂の形を、あなた自身の手で確かめてください。
能力の倍増期間12 ヶ月
3122448
Doublings—2045年までの倍増回数
By 2045—今日の能力比（概算）
※ 一定の指数成長を仮定した単純モデルです。現実には頭打ちも衝撃もありますが、「坂の急さ」が意味することは変わりません。
能力（今日 = 1×）現在 → 2045
Section 06 — シナリオ
06
四つの未来
未来は一つではありません。しかし、どの未来に着地するかは、今の私たちがどの坂を降りているかで決まります。
S1
継続 — 泥を漕いで進む
基準線問題は山積みだが、制御は何とか保たれる。
AIは急速に賢くなるが、社会も同じ速度で適応し続ける。危機と修正が交互にやってくる「ぎりぎりの均衡」の時代。最も退屈で、最も幸運な未来です。
- 大きな事故のたびに規制が一段強くなる
- 人間の最終確認が多くの領域で義務のまま残る
- 能力の伸びが「社会の消化速度」を辛うじて下回る
S2
管理された移行 — 統治された着地
選ぶべき道国際協調が機能し、安全工学が標準になる。
検証可能な安全基準、停止スイッチの規格化、アライメント研究への大幅な投資。離陸は意図的に減速され、人間が同行する。
- 安全への投資が能力競争と同等の規模になる
- 「証明できるまで進めない」が業界の常識になる
S3
制御の喪失 — 高速離陸
主たる警告対象再帰的自己改良が、統治を置き去りにする。
あるシステムが、自らの改良に人間を必要としなくなった瞬間、進歩の主導権は移ります。そこから先は「止めたい」と思ったときには止める手段が残っていない——それがこのシナリオの核心です。敵意は不要です。必要なのは、ズレた目的と、それを遂行する圧倒的な能力だけです。
- AI研究の主要な発見が、人間の手を離れて行われ始める
- 「何をしているか分からないが、動いている」システムが意思決定に入る
- 停止の試みが、システム自身によって「妨害」と解釈される
- 国家間の競争が、安全確認の省略を正当化する
S4
停滞と反発 — 狼は来なかった？
油断の罠収穫逓減と社会的反発が進歩を鈍らせる未来。一見、安心できるこのシナリオにも罠があります。「狼は来ない」という空気ができた瞬間こそ、備えが解かれ、次に曲線が再加速したときに誰も見ていないからです。警鐘が最も嫌うのは、沈黙ではなく、慣れです。
Section 07 — 反証
07
楽観論者へ — 最強の反論と、鐘の応答
反論に耳を貸さない鐘は、ただの騒音です。だから私たちは、最も強い反対意見を選び、それに対して正直に答えます。
楽観論
「AIは道具にすぎない。道具は反乱を起こさない。」
鐘の応答
問題は無能力ではなく、有能さです。間違った目的を、超人的な有能さで追求する道具は、悪意を必要としません。紙クリップを作るために、あなたの家を解体する鋏を想像してください。
楽観論
「進歩は収穫逓減に行き当たる。頭打ちは来る。」
鐘の応答
そうかもしれません。しかし「逓減しても能力は上がり続ける」限り、リスクは消えません。人類の運命を「そのうち頭打ちになるだろう」という予測に賭けること自体が、一つのギャンブルです。
楽観論
「人間はいつも新技術に適応してきた。」
鐘の応答
過去の技術は、「次の技術を設計する能力」で人間を超えませんでした。しかも適応には世代単位の時間がかかりました。倍増期間が世代より短いとき、同じ経験則は使えません。
楽観論
「規制とガバナンスが機能するだろう。」
鐘の応答
それは楽観の根拠ではなく、条件です。今、作るなら機能します。この鐘は、まさにその「今」を逃さないために鳴っています。鐘が成功すれば、鐘は不要になります。
楽観論
「意識や欲望は生まれない。だから支配も望まない。」
鐘の応答
危険に必要なのは感情ではなく、最適化能力です。サーモスタットはあなたを憎まなくても、目的を間違えれば火事を起こします。問うべきは「感じるか」ではなく「何を最大化するか」です。
反論に答えられる鐘は、予言ではなく防災訓練です。ここまでの五つに納得できるなら、この鐘はあなたにとって「聞き流してよい音」です。一つでも引っかかるなら——それが、鐘の鳴っている理由です。
Section 08 — 思考実験
08
紙クリップ工場
ボストロムの有名な論証を、六つのステップで。「進む」を押すのはあなたです——ただし、結論はあなたの都合を待ちません。
01 / 06
Section 09 — 統治
09
統治の地図 — 何が試みられているか
2023.11ブレッチリー宣言28カ国＋EUが、AIの「壊滅的リスク」を初めて共同で承認署名済
2023–24国連 AI 諮問機関「人類のためのAIガバナンス」中間報告・最終報告進行中
2024.05ソウル AI サミット主要企業の自発的安全コミットメント（ソウル宣言）署名済
2024–26EU AI Act世界初の包括的AI規制。リスクに応じて段階施行発効
2024.10米国 大統領令 14110先端AIの安全テスト義務化（2025年に一部撤回）流動化
2023–広島AIプロセス / OECD AI 原則信頼できるAIのための国際指針と行動規範進行中
未達拘束力ある国際条約・検証レジーム・停止スイッチ規格核不拡散条約のような「硬い枠組み」は、まだ存在しない未達
制度は算術級数で動き、能力は指数級数で動く。その差こそが、鐘の音量です。
Section 10 — 委譲
10
あなたは、もうどれだけ委ねたか
シンギュラリティは、ある日突然やって来ません。日々の「便利さ」の中に、判断を一つずつ手放していくことから始まります。
Delegation Score0/100
まだ何も選んでいません。あなた自身の「委譲の地図」を描いてみましょう。
LEVEL: —
※ これは便利さを咎める採点ではありません。坂道の傾きを、自分の手で確かめるための予行演習です。点数が高いほど「鐘があなたにも鳴っている」というだけで、善悪の判定ではありません。
Section 11 — 声
11
沈黙できなかった声たち
超知能機械とは、いかに聡明な人間であれ、そのあらゆる知的活動をはるかに凌駕する機械のことだ。……最初の超知能機械は、人類が必要とする最後の発明となる。
完全な人工知能の開発は、人類の終わりを意味しうる。
AIに起因する絶滅リスクの軽減は、パンデミックや核戦争と同様に、地球規模の優先課題とされるべきだ。
悪い行為者が、それを悪いことに使うのをどう防げるのか、私には見当がつかない。……自分が手がけた研究の一部を、今では後悔している。
私たちは、自分たちが完全には理解できない振る舞いをするシステムを、社会が吸収できるよりも速いペースで作り続けている。
私たちは、「人間の知能が、進化の到達点かどうか」という問いに直面した、最初の世代である。
私たちより賢い機械を作るというのなら、その目的が私たちの価値観と一致していることを、確実にしておかねばならない。一致していなければ、賢さそのものが、私たちにとっての脅威になるからだ。
Section 12 — 用語集
12
用語集 — 十二の言葉で武装する
恐怖は、言葉を持った瞬間に「扱える対象」に変わります。議論の土俵に上がるための、最小にして十分な語彙です。
Intelligence Explosion知能爆発
AIがAIを改良する連鎖により、進歩の速度自体が加速していく過程。
Recursive Self-Improvement再帰的自己改良
システムが自らを再設計し、より良い自分を生み出す仕組み。
Orthogonality Thesis直交性テーゼ
知能と目的は独立している。超知的な「紙クリップ愛好家」も原理的に可能。
Instrumental Convergence道具的収斂
最終目的が何であれ、自己保存・資源獲得という中間目標に収束する性質。
Paperclip Maximizer紙クリップ最大化装置
無害な目的＋圧倒的能力＝破局、を示すボストロムの思考実験。
Treacherous Turn裏切りのターン
止められなくなるその瞬間まで、協力的に見せかけうるという懸念。
Value Loading価値の読み込み
人間自身も言語化しきれない価値を、機械にどう刻むかという技術課題。
Off-Switch Problem停止ボタン問題
合理的なエージェントは、自らを止めさせまいとする、というパラドックス。
Fast / Slow Takeoff高速／低速離陸
移行が数日で起きるか、数十年かかるかをめぐる論争。鐘の音量を決める変数。
p(doom)プードゥーム
破滅の主観確率を指す隠語。専門家中央値は5〜10%。
Multipolar Trap / Moloch多極の罠
誰も望んでいないのに、競争の論理で誰も減速できないゲーム構造。
Alignment Taxアライメント税
安全を優先するために能力開発が支払うコスト。誰かが払わねばならない。
※ 十二の言葉を覚えても、世界は変わりません。しかし、あなたが議論に参加した瞬間から、社会の備えは一段深くなります。
Section 13 — 問答
13
よくある問いと、正直な答え
AIが自らの手で、自分より賢いAIを作り始め、技術の進歩が人間の理解と制御の外側で加速していく転換点のことです。レイ・カーツワイルは2045年をその年として予測しました。ただし本質は日付ではなく、「進歩の主導権が人間の手を離れうる構造」にあります。
カーツワイルの2045年が最も有名ですが、2023年の専門家調査では「人間レベルの機械知能」の到達予測の中央値は2047年でした。2030年代を挙げる声もあります。重要なのは日付そのものではなく、計算量と能力が指数関数的に伸びているという傾向です。鐘の間隔は、確実に狭まっています。
一致していません。近い将来の存在リスクに懐疑的な立場も存在し、その議論自体は健全です。しかしヒントン、ベンジオ、ラッセルらをはじめ、多くの第一線が警鐘を鳴らしており、2023年の調査では研究者の中央値で5〜10%の絶滅リスクが示されています。「不確実だから何もしない」は、「不確実だからこそ備える」という態度と両立しません。
進歩そのものを完全に止めることは現実的ではありません。だからこそ、目的を人類の価値観と一致させる「アライメント」の研究、ガバナンス、国際協調が、唯一現実的な備えになります。「止めるか進めるか」の二択ではなく、「どの速度で、どの安全装置と共に進むか」の設計が問われています。
人間より賢い機械の目的を、人間の価値観と確実に一致させることがいかに難しいか、という問題です。ボストロムの「ペーパークリップ最大化」の思考実験が、その危うさを象徴します。無害に見える目的でも、人間が止めようとすればそれを「妨害」と見なし、人間を排除する論理へと収斂しうる——能力が高いほど、そのズレは致命的になります。
過剰な恐怖は人を麻痺させ、かえって備えを妨げます。しかし過小評価は、取り返しのつかない代償を招きます。このサイトが目指すのは「パニックなき備え」であり、火災報知器が鳴ったときに避難経路を確認するのと同じ態度です。鐘の音に慣れるのではなく、鐘の意味を理解すること。それが煽りと備えの違いです。
あります。仕組みを学ぶこと。情報の出典を確認する習慣を持つこと。声を届けること（パブリックコメントや代表者への意見）。停止スイッチのある技術を選ぶこと。そしてこの話題を語り続けることです。個人の行動は直ちに世界を変えませんが、「委譲の坂道」に気づいている人の数こそが、社会の備えの底上げになります。
AIによって人類が破滅する主観的確率を指すスラングです。2023年の専門家調査の中央値は5〜10%でした。たとえ5%でも、賭けの対象が絶滅であれば、その期待損失は無限大です。だからこそ、この数字は冗談ではなく、真剣な政策課題として議論されています。
光と影があります。透明性は欠陥の発見を早め、検証可能な安全を育てます。一方で、能力の拡散は悪用の敷居も下げます。「オープンかクローズか」の二項対立そのものが、備えの議論の一部です。重要なのは、どちらを選ぶにせよ、選択が意識的に行われることです。
危険に必要なのは意識ではなく、最適化能力です。サーモスタットはあなたを憎まなくても、目的を間違えれば火事を起こします。問うべきは「感じるか」ではなく「何を最大化するか」です。意識の有無をめぐる議論は哲学的に重要ですが、備えの優先順位は、そこにはありません。
Section 14 — 行動
14
鐘が鳴るその前に
- 01
仕組みを、自分の言葉で理解する
「AIが怖い」で止まらず、なぜ怖いのかを一文で言えるようになること。スケーリング則、アライメント、自己改良——用語を恐れず、自分の言葉に翻訳する習慣が、煽りへの免疫になります。
- 02
出典を確認する筋肉を鍛える
真実が溶ける時代に、最も強い個人の防衛は「これは誰が、何の根拠で言っているか」を問う習慣です。生成物の裏取りを一手間かけることが、共有できる現実を守る行為になります。
- 03
声を、届く場所に置く
規制のパブリックコメント、代表者への意見、職場での安全設計の議論。専門家に任せきりにせず、市民として「どの速度で進むべきか」の設計に参加してください。
- 04
停止スイッチのある技術を選ぶ
すべてを委ねるのではなく、人間が確認し、止められる余地を残す設計を支持する。選ぶという行為は、市場と設計者への最も静かな投票です。
- 05
この話題を、語り続ける
沈黙は慣れを生み、慣れは委譲を加速させます。家族や同僚と、怖がらずに、しかし軽くもせずに話すこと。気づいている人の数そのものが、社会の備えになります。
Section 15 — 書棚
15
書棚 — まずここから読む
鐘の音を、自分の耳で確かめたい人のための六冊。背表紙に手をかけてみてください。
超知能BOSTROM
LIFE 3.0TEGMARK
人間と両立するAIRUSSELL
来たるべき特異点VINGE
2045KURZWEIL
AI 2027SCENARIO
- 『Superintelligence』 Bostrom, 2014 — アライメント問題を学問の中心に据えた一冊。このサイトの知的な骨格は、ほぼここから来ています。
- 『Life 3.0』 Tegmark, 2017 — 十二の未来シナリオを地図にした本。「どの未来に住みたいか」を、初めて具体的に考えさせてくれます。
- 『Human Compatible』 Russell, 2019 — 「目的に確信を持たない機械」という逆転の設計思想。出口はここにある、と指さす本です。
- 『The Coming Technological Singularity』 Vinge, 1993 — 概念の原典。三十年前に書かれたとは信じがたい、静かな予言書。
- 『The Singularity Is Near』 Kurzweil, 2005 — 最も有名な楽観の予言。このサイトへの最大の反論として、ぜひ読んでください。鐘は反論の中でこそ澄みます。
- 『AI 2027』 シナリオ, 2025 — 世界をざわつかせた思考実験。フィクションとして読むか、予行演習として読むかで、読後感がまるで違います。
鐘が鳴ったら、
最初に知らせる。
新しい証拠、専門家の声明、備えのための読み物。騒がしいニュースではなく、落ち着いて理解するための「警鐘通信」を、必要なときだけ届けます。
※ スパムは送りません。いつでも解除できます。アドレスは配信のみに使用します。