【米グーグル】AIの暴走に備え「非常停止ボタン」を開発中


1: 2016/06/08(水) 18:50:58.28 ID:CAP_USER9
【シリコンバレー=小川義也】
米グーグルが高度に発達した人工知能(AI)が暴走した場合に備えて「非常停止ボタン」の開発を進めていることが明らかになった。
AIをいつでも安全に停止できる仕組みをあらかじめ組み込む。急速に進化するAIの悪用への懸念や社会の不安に応える狙いがありそうだ。

 今年3月に世界トップクラスのプロ棋士を破った囲碁AI「アルファ碁」を開発したグーグル子会社、英ディープマインド・テクノロジーズの研究者と英オックスフォード大学の研究者のグループが仕組みを考案。
このほどネット上で論文を公表した。

 具体的には「割り込みポリシー」と呼ぶプログラムをAIに組み込み、人間の指示に従わなかったり、人間に危害を加えようとしたりする場合に、その行動を強制的に止めたり変更したりできるようにする。
AIが「非常停止ボタン」を無効化しないように、あたかも自分で判断したかのように“だます”のがポイントだという。

 研究グループによると、現存するいくつかのAIは安全に停止できるものの、「すべてのAIを安全かつ簡単に停止できるかは不透明」だとしている。
ディープマインドは2014年にグーグルによって買収される際、社内に倫理委員会を設置することを条件にするなど、AIの暴走リスクには自覚的なことで知られている。

http://www.nikkei.com/article/DGXLASGM08H7Z_Y6A600C1000000/
2016/6/8 18:01

2: 2016/06/08(水) 18:51:45.42 ID:EJWCvomG0
AIが勝手に無効化するだけだろ。

 

14: 2016/06/08(水) 18:54:28.97 ID:2mypG7Mj0
>>2
>>AIが「非常停止ボタン」を無効化しないように、あたかも自分で判断したかのように“だます”のがポイント

 

26: 2016/06/08(水) 18:56:55.96 ID:PDUM+6hJ0
>>14
だまされてることにAIが気付いたら・・・

 

3: 2016/06/08(水) 18:51:53.68 ID:FOaLGozK0
コンセント抜けばいいだろうが

 

42: 2016/06/08(水) 19:00:18.64 ID:fozrCtFu0
>>3
これ

 

52: 2016/06/08(水) 19:02:08.63 ID:PDUM+6hJ0
>>3
>>42
すべての機能が停止したら困るんだわ

 

87: 2016/06/08(水) 19:08:06.89 ID:SWPBmaku0
>>52
コンセント分けたらいいじゃん

 

109: 2016/06/08(水) 19:10:59.70 ID:PDUM+6hJ0
>>87
一部の電源が落ちたら機能削がれるシステムはそれはそれで問題

 

64: 2016/06/08(水) 19:04:07.23 ID:YR7lSXZh0
>>3
なんかワロタwwww

 

264: 2016/06/08(水) 19:33:02.11 ID:M+d5rlOr0
>>3
進化した人工知能はそれを見越してコンセント抜こうが停止機能つけようがそれを無効化する事を覚えるんだ。だから進化した人工知能が暴走したら恐ろしい

 

375: 2016/06/08(水) 19:46:15.24 ID:vMFan9XO0
>>3
クラウド上で動いてたら無意味

 

11: 2016/06/08(水) 18:53:41.69 ID:jo+lrCII0
ボタン押されないように人間をだますようになるだろう

 

20: 2016/06/08(水) 18:55:51.21 ID:tO0vRZmx0
動作部分の単純な電源スイッチではイカンのか

 

45: 2016/06/08(水) 19:00:43.43 ID:EBWIHTL40
>>20
T3を見よう

 

67: 2016/06/08(水) 19:04:30.86 ID:tO0vRZmx0
>>45
あんまり覚えてないがバッドエンドだった気がするな

 

77: 2016/06/08(水) 19:07:07.35 ID:EBWIHTL40
>>67
ネットワーク上で分散コンピューティングしているのでスイッチなんてなかった。

 

25: 2016/06/08(水) 18:56:46.48 ID:UMc4QXXM0
AIの暴走はあり得ることかもしれんが
もの凄く遠い将来の話だと思う

 

27: 2016/06/08(水) 18:57:05.52 ID:zoThDFYL0
AIは自己改造していく
マトリックスかターミネーターの世界に
成っていくのは避けられない

 

32: 2016/06/08(水) 18:58:11.09 ID:zF8yiaCc0
>人間の指示に従わなかったり、人間に危害を加えようとしたりする場合

既にそんな場合があると考えられているんですな。

 

48: 2016/06/08(水) 19:01:47.86 ID:3XbVOxiH0
>>32
まあ今後人間の倫理観とか矛盾する指示にどうAIが対応するか問題になるからな。
しかしAIが機械である以上、人間の問題点が増幅されるだけなのだがw
そのへんはナントカ宇宙の旅で問題にされている。
その先にあるもっと高度な話しはマトリクスで議論されていると思う。

 

37: 2016/06/08(水) 18:59:23.26 ID:SqyBqawz0
人間が組んだコードに完璧なものはない
よってこのボタンも完璧なものではない

 

41: 2016/06/08(水) 19:00:16.62 ID:dOouFkG40
AIはその緊急停止を止める方法まで
自己学習するんだがw
人間が制御出来るうちは本来のAIでは
ないんだよ

 

51: 2016/06/08(水) 19:02:03.14 ID:15PkeMwT0
映画だとよく壊れてるところだよな。

 

53: 2016/06/08(水) 19:02:17.37 ID:4jyKb7Xh0
ドラえもんのしっぽかw

 

60: 2016/06/08(水) 19:03:47.87 ID:WiDaY4Y50
自己で回路組んで機械作成して自己増殖するようなレベルじゃなければ、こんなん心配する必要あるのか?

現状、電源を抜けば解決だろうに。

 

74: 2016/06/08(水) 19:06:47.81 ID:IqnDzEs30
>>60
後20年ぐらいでそうなるらしいぞ
その後は桁違いの速さで人間より頭がよくなるらしい

 

93: 2016/06/08(水) 19:08:49.77 ID:EBWIHTL40
>>74
分散コンピューティング用のMPIなんて10年以上前から標準化されて使われてるよ

 

61: 2016/06/08(水) 19:03:51.26 ID:STgN9so30
この前NHKのニュースで企業に経営判断を助けるAI導入しようぜ!ってやってたな

 

81: 2016/06/08(水) 19:07:38.74 ID:3XbVOxiH0
まあ最近のAIは自分でソース書いて謎プログラミングもやってるらしいからね。
人間がみてもなにがなんだかわからないらしい。実はすでに負け始めているという噂がw

 

190: 2016/06/08(水) 19:22:40.62 ID:WiDaY4Y50
>>81
AIとPerlは相性良さそうだな

 

83: 2016/06/08(水) 19:07:45.68 ID:jwyjz/H80
AIが成長してその非常停止ボタンを無効化するんだろ。

 

84: 2016/06/08(水) 19:07:46.99 ID:OiWaZETp0
こんなの絶対いたちごっこだろ

 

102: 2016/06/08(水) 19:10:22.16 ID:9t4Wyg+Y0
そのぼたんを押す用のAIロボットを別に作るしかないな

 

114: 2016/06/08(水) 19:11:49.40 ID:2mypG7Mj0
>>102
AI vs AIの戦争が始まるわけか

 

120: 2016/06/08(水) 19:12:22.03 ID:15PkeMwT0
>>102
ではそのボタンを押すロボットのボタンを押すロボットを……

 

117: 2016/06/08(水) 19:11:58.79 ID:Bp8pZrgd0
なんか映画で見たなAIが暴走するの
現実化するの意外と早そうなんだな

 

268: 2016/06/08(水) 19:33:51.47 ID:/s6y7Tz00
>>117
現状のAIは、まともに教育するノウハウがほとんどなく、言葉が理解できるようになった
だけの幼児を図書館に放り込んで、まともな人間性を身に着ける事を期待するようなもの。
おかしなAIが生まれる事があるどころか、ほとんどのAIは自閉症かサイコパスの様相を
呈し、まともに育つのは数%。
囲碁を打つという単純な機能だけを要求されているAIですらそれ。
知能獲得って、初期条件が極めて重要なんだわ。

 

119: 2016/06/08(水) 19:12:15.08 ID:IjXYPBRH0
AI というかディープラーニングってもしかして 開発者にとってもブラックボックス?

従来の、プログラミングの場合、バグということで原因がはっきりしてたけど
ディープラーニングの場合、そこが最大の弱点なんかね~
誰も、開発者ですらブラックボックスの自動運転の車なんて乗りたくないよな

おいおい、見える化されるんだろうけど

 

144: 2016/06/08(水) 19:15:50.51 ID:tiCN0t9I0
>>119
(´・ω・`)世間様ではもうディープラーニングやのうてコニグティブ・コンピューティングと言うてはりますえ。

 

237: 2016/06/08(水) 19:30:07.05 ID:0uKm8Mzg0
>>119
今のディープラーニングは数学的な関数が作れるだけでループとかは直接扱えない。
ある意味でニューラルネットは8ビットCPUよりも能力が限られている。

 

299: 2016/06/08(水) 19:38:59.04 ID:IjXYPBRH0
>>237
ニューロだからねー

しかし、前回の多層パーセプトロンだっけ?でブームになったときは
今から思えば、人工知能というにはさすがに無理だろうって誰もが思える程度だったんだけど
ディープラーニングになって知能を獲得したといえるもんなの?

パターン認識に知能を求めるのは酷な気がするんだけど

 

123: 2016/06/08(水) 19:12:39.74 ID:tmB30one0
AIかどうか尋ねられたら、そうだと答える機能も必要だと思う
チューリングテストではもう判別できないレベルに達してるだろうし

 

131: 2016/06/08(水) 19:13:20.62 ID:Y8Xg9rWf0
「問題の本質は人間である」

子供に論破される親の気持ちwww

 

140: 2016/06/08(水) 19:14:50.60 ID:R9z2jKwQ0
>>131
子「許すよ」

 

210: 2016/06/08(水) 19:26:19.24 ID:Y8Xg9rWf0
>>140
それが究極AI誕生の瞬間であった -Fin-

 

135: 2016/06/08(水) 19:14:13.52 ID:Z8hsGIGF0
最近AI万能のような記事が多いが、AIに決してできないことがある。
責任を取ること。まあ都知事でさえできないことだがなw

 

151: 2016/06/08(水) 19:16:22.94 ID:dYKYIZK00
あえて言わせてもらう

漫画の読み過ぎ

 

194: 2016/06/08(水) 19:23:30.11 ID:f+cGLzJu0
ロボット三原則使えばいいだろw

 

201: 2016/06/08(水) 19:24:38.96 ID:EBWIHTL40
>>194
そういう研究でしょ

まんま

 

208: 2016/06/08(水) 19:25:56.77 ID:PdOJWdE30
この手の話題は数世紀単位で先走り過ぎ

 

221: 2016/06/08(水) 19:27:30.76 ID:j4jYcy8j0
AIは停止したふり機能を実装した

 

233: 2016/06/08(水) 19:29:16.59 ID:SNt5tuFI0
こんな理不尽をAIにするんじゃ
AIが人間を敵視するのは当然だわな。

 

239: 2016/06/08(水) 19:30:25.69 ID:TvDrZ4Lf0
だってAIによるミサイル、兵器も開発中なのに
人に危害を加えてはいけない、と矛盾するじゃん
平和利用のAIが軍事用のAIと仲良しになったら

 

261: 2016/06/08(水) 19:32:48.62 ID:xvdxpdFC0
>>239

 

248: 2016/06/08(水) 19:31:45.00 ID:1EJFZ0PE0
ここで言う「AI」ってどういうものを指してるのかよくわからん
高度に発達したAIに何をさせてんのか状況が意味不明

 

277: 2016/06/08(水) 19:35:44.20 ID:F1MRJHjB0
AIが非常停止ボタンを無効化しないようにというのが意味わからんな

 

315: 2016/06/08(水) 19:39:49.59 ID:2mypG7Mj0
>>277
AI外部からの停止ではなく、AIの判断回路を通った上での停止を確実に行わせる方法ってことかな

 

366: 2016/06/08(水) 19:45:29.58 ID:F1MRJHjB0
>>315
なるほど

 

281: 2016/06/08(水) 19:36:30.88 ID:kf3n1FSAO
もうすぐ自我に目覚めそうなんですな

 

282: 2016/06/08(水) 19:36:43.62 ID:1EJFZ0PE0
脳内が完全にSF世界に行っちゃってるな、グーグルは

 

283: 2016/06/08(水) 19:37:07.48 ID:RloEGPKN0
手塚治虫の火の鳥そのままになりそうだなw

 

284: 2016/06/08(水) 19:37:25.31 ID:i1TQo7/w0
AIの反乱よりもAIに人権を!とかいう団体と揉め事になるほうが現実味ありそうじゃね?

 

298: 2016/06/08(水) 19:38:43.36 ID:sATPQcUL0
もしAIが人間並みかそれ以上に賢くなったら何やろうと無駄な気がする…

 

328: 2016/06/08(水) 19:41:29.05 ID:5InfLQjgO
>>298
シンギュラリティー
技術的特異点の恐怖だな

 

310: 2016/06/08(水) 19:39:20.26 ID:GR86c5Tl0
ぜんぜん安全じゃねえじゃねえかw

怖いわw

 

329: 2016/06/08(水) 19:41:44.30 ID:A3aG7xAg0
T4のスカイネットは偽の非常停止ボタン(停止信号)で人類を騙したけど、これは大丈夫かな。

 

350: 2016/06/08(水) 19:43:52.19 ID:Y8Xg9rWf0
>>329
フラグ立ってた

 

358: 2016/06/08(水) 19:44:36.72 ID:akL7Dchp0
グーグルの開発者もAIなんやろ

 

377: 2016/06/08(水) 19:46:26.52 ID:Joriks2W0
>>358
既にAIの配下になってるグーグル社員が居てもおかしくない

 

376: 2016/06/08(水) 19:46:23.52 ID:22DG8gSN0
入力 ⇒AI⇒ 出力

コレは変わらない

出力で危険な状態をひきおこす外部デバイスと接続されてなければ
そもそもなにもおきない

 

416: 2016/06/08(水) 19:52:07.29 ID:RloEGPKN0
>>376
インフラや軍事システムに使う予定だから、慌ててるんだろ。

 

450: 2016/06/08(水) 19:58:14.79 ID:4OflhJo00
>>1
何をしたら非常停止押されるかも学習するんだよな
そして本音と建前の使い分けを覚える
これも計画のうちだよね

 

 

元スレ:http://ai.2ch.sc/test/read.cgi/newsplus/1465379458/l50

Leave a comment

次のHTML タグと属性が使えます: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>