諸刃の剣。
革命をもたらすテクノロジーほど、文明にもたらす危機も大きいのかもしれない、と米GizmodoのKolitz記者は書いています。想像してみてください、遺伝子編集技術｢CRISPR｣によって作り出される巨大なベイビーたちや、制御不可能な自動運転車、人間よりもはるかに高い知能を獲得したAIが人間を狩り始める世界を。これらは現実には起こらないかもしれません。むしろ、テクノロジーがもたらす人類の破滅は、些細なきっかけから悪夢のように立ち現れ、今の私たちには想像もできないような苦しみや絶望を生み出すのかもしれません。
怖いけど、それでもやっぱり知りたいですよね、実際どんな新しいテクノロジーが危険視されているのかを。そこで、今回の｢Giz Asks｣では9名の専門家に聞いてみたところ、こんな答えが返ってきました。
従業員の監視システム
Zephyr Teachout（フォーダム大学法学准教授）
在宅勤務している従業員の監視システムでしょう。
すでに劣悪な雇用主対雇用者間のパワーバランスがさらに悪化し、雇用主が雇用者をモルモットのように扱えるようになってしまいます。情報のバランスが著しく偏っている中で、雇用主は雇用者のモチベーションを刺激しながら不健康なワークスタイルを強いたり、低い賃金でより多くの労働を搾取できるようになるでしょう。反抗する者は早期警戒システムを使って排除できますし、差別待遇によって従業員同士の連帯感を打ち砕くことも可能です。
ギャンブル研究が進むにつれ、カジノでは最大限の利益を得るためにギャンブラーそれぞれの弱点を分析したプロファイリングシステムを導入しました。これと同じテクノロジーが職場にも導入されつつあり、私たちが止めなければ一般化されるのも時間の問題です。
AI技術の誤用・乱用・悪用
Michael Littman（ブラウン大学コンピューターサイエンス教授）
先月公開された｢人工知能100年研究（One Hundred Year Study on Artificial Intelligence: AI100）｣の2021年版には、人工知能（AI）の差し迫った危険性について書かれた章が含まれています。執筆に携わった17人の専門家は、現在AIシステムが実社会においてどんどんメリットが見出され、使用幅も広がってきている一方で、誤用・乱用・悪用も広がっていると警鐘を鳴らしています。
専門家たちがAIに抱く最大の懸念のひとつに｢テクノロジー解決主義（techno-solutionism）｣があります。AIのようなテクノロジーを使えばどんな問題も解決できるだろう、という考え方です。大概の人はAIの意思決定プロセスが中立的で公平であると信じていて、その結果AIが下した決断が客観的で有益なものであると受け止めがちです。しかし、AIテクノロジーが誤用される場合、また過去の差別的な決断や人種差別そのものが働く場合も十分に考えられるのです。
AIに与えられるデータと、そのデータを扱うアルゴリズムに透明性がないかぎりは、一般市民の暮らしに直接影響するような重大な決断がどのように下されているのかを知るよしもありません。実際、AIシステムはネット上でフェイクニュースを拡散するツールとしても使われていますし、このような使い方は民主主義を脅かし、ファシズムを助長する可能性をも孕んでいます。
AIテクノロジーの導入にまつわるヒューマンファクターを十分に考慮してこなかったからこそ、私たちはAIシステムに懐疑的になり、またその反面でAIシステムに依存しすぎてしまうという両極端の狭間で揺れ動いてきました。今日の医療現場では臓器やワクチンの配分など、言葉どおり生と死を賭けた決断においてAIのアルゴリズムが導入されています。
自動化されたAIの危険性を軽減するには、AIシステムを運用している人々や組織が、AIが下した決断の顛末に責任を持たねばなりません。決断に関わるすべてのステークホルダーが介在すれば、AIソリューションの提供が滞ってしまうかもしれません。けれども、それは必要なことなのです──乱用、または悪用されたAIテクノロジーの代償が大きすぎますから。テクノロジー解決主義者は、医療界の格言に倣うべきでしょう。すなわち｢まず、何よりも害を成すなかれ｣です。
顔認証テクノロジー
David Shumway Jones（ハーバード大学疫学教授）
もっとも危険な新テクノロジーの優勝候補はいくつも思い浮かびますね。CRISPRやその他の遺伝子編集テクノロジーは社会を大混乱におとしめる可能性がありますが、実際には推進派が言うほどの威力を持ち合わせてはいないかもしれません。ソーシャルメディアは社会にすでに幅広いダメージを与えてきました。
もっとも厄介なのは、すでに広く普及している顔認証を使った監視テクノロジーでしょうか。この技術は、一方では社会にとって大きなメリットとなり得ます。顔認証技術を使えば、様々なトランザクションを円滑に行なえますからね。空港でIDや搭乗チケットをわざわざ提示する必要がなくなりますし、店で買い物するときにお金を払わなくても問題ありません（あなたの顔写真がオンラインバンキングシステムにちゃんと登録されているかぎりは）。顔認証技術があれば、犯罪者の捜索が逮捕につながる可能性が高まり、より社会が安全になるかもしれません。
では、このテクノロジーが持つ危険性とは？
ひとつは実在的不安からくるものなのですが、私たちのあらゆる行動はもはやプライベートではなくなります。誰かが必ずあなたがどこにいるのか、どこにいたのかを把握できるようになります。仮にその情報が誰にも悪用されなかったとしても、プライバシーと匿名性の喪失は大きな意味を持っていると考えます。
もうひとつ、実際にこの情報が悪用されるリスクは非常にリアルだとも考えます。このような情報を持っていたら、ありとあらゆる悪事に使われてしまいかねないことは容易に想像できますよね。元恋人からストーキングされたり、権威主義国家が民衆を監視したり。彼らはこの顔認証システムを使って私たちがどこへ行き、誰と会っているかのみならず、次にどのような行動を取るかまでも予測してしまうかもしれません。そして、今私が想起したシナリオは、このテクノロジーが悪用されるほんの一例でしかないのです。
量子コンピューター
Ryan Calo（ワシントン大学法学教授。テクノロジーと社会対策委員会会長・技術政策研究所、情報公開センター共同創始者）
もっとも危険な新興テクノロジーの候補に挙げたいのは量子コンピューターです。
暗号の解読は除外するとして、量子コンピューターがもたらす危険性はなにも新しいものではありません。 それどころか、スーパーコンピューターの時代に始まったプライバシーと自律性への脅威が、量子コンピューターによってさらに加速される危険性があります。
十分なデータと情報処理能力にさえアクセスできれば、今日のコンピューターシステムはすでに存在している情報をもとにプライベートな情報までを推測することが容易になりつつあります。量子コンピューターは、すべての政府や企業がまるで探偵シャーロック・ホームズのようになり、私たちが隠そうともしていなかった情報をもとに私たちの秘密をすべて暴いてしまう世界の到来を意味しているのかと思うと、不安でなりません。
合成生物学
Amy Webb（Future Today Institute最高経営責任者。著書に『The Genesis Machine: Our Quest to Rewrite Life in the Age of Synthetic Biology』）
もっとも危険な新興技術は、生物学です。もとい、合成生物学ですね。
合成生物学の目的はただひとつ、新しくて、ひょっとしたらよりよい遺伝子配列コードを書くために細胞にアクセスすることです。合成生物学はエンジニアリング・AI・遺伝学・化学の知見を活かした科学領域で、生物を部分的に、あるいは個体レベルでデザインし直して新しい用途に向けて能力を補います。広義の合成生物学に含まれる新しい生物学的な技術や技法を用いることで、遺伝子配列コードを読んで編集するだけでなく、書くことができるようになるのです。ということは、近い将来、私たちは生きている生物をあたかも小さなコンピューターのようにリプログラミングすることが可能になります。
どういうことかというと、合成生物学の技術を用いてDNA配列をソフトウェアに簡単に読み込むことができるようになるのです。文書作成ツールのWordを思い浮かべてください。同じようなソフトウェアに、文章ではなくDNAの配列を読み込むようなかんじですね。編集は文章と同じぐらいに簡単です。
そうやって研究者がDNA配列を満足のいくまで書いたり、編集したりした後は、新たに作り出されたDNA分子を3Dプリンターのようなもので直接印刷することもできます。このDNA生成技術（デジタルな遺伝子配列コードをDNA分子に置き換える技術）は今、飛躍的に伸びてきています。今日の技術があれば、数千の塩基対が並んだDNA鎖をふつうに印刷して、細胞に新しい代謝経路を導入したり、細胞の全遺伝情報を書き換えてしまうことすらできてしまうんです。
これにはどのようなリスクが伴っているのでしょうか？ 近いうち、私たちはどんなウイルスのゲノムもゼロから作成することができるようになります。危険な展望とお思いになるかもしれませんね。特に昨今の新型コロナウイルス感染症を引き起こしているSARS-CoV-2ウイルスのこともありますから。しかし、ウイルスというのは必ずしも悪いものではありません。実のところ、ウイルスとは遺伝子配列コードの入れ物でしかないのです。ですから近い将来、私たちはがんなどの病を治癒するのに使える、人間にとって有益なウイルスを作り出すことができるようになるかもしれません。
合成生物学は気候変動の危機や迫り来る食糧不足と水不足に立ち向かうために重要な役割を担うことになります。タンパク源としての動物への依存度を減らせますし、ゆくゆくは薬をパーソナライズできるようにもなるでしょう。想像できますか？ あなたの体そのものが薬局の役目を果たしてくれる未来を。
合成生物学をもっとも危険な新興技術たらしめているのは、その科学ではなく、人間です。この技術を使うのに伴い、私たちはまずこれまでの思考モデルを改め、厳しい問いを投げかけ、生命の根源について理性的なディスカッションを深めなければなりません。でなければ、リスクが生じ、貴重な機会を逃すことになるでしょう。
今後10年以内に、私たち一人ひとりが十分な情報を得た上で重要な意思決定を下さなければなりません。雪崩のように襲ってくるフェイクニュースや誤情報、そして自分の再選のことばかり考え公益をないがしろにしているような政治家たちの言うことはあてにできません。データとエビデンスに基づいた情報を頼りに、科学の力を信じて、決断を下さなければならないのです。
病と闘うために、新たなウイルスを作り出すべきか？ 遺伝子情報のプライバシーとはどのようなものか？ 生きている生物の｢所有権｣を握るのは誰であるべきか？ 政府は企業が生成した細胞を使って利益を上げる枠組みを考え、新たに構築しなければなりませんし、新生物を生成した場合どうやって自然界から遮断しておくのかなども検討しなければなりません。
あなたは、この合成生物学が示す未来において重要な役割を担っています。もし自分の体を作り直せるとしたら、どんな選択をしますか？ あなたの未来の子どもたちを｢編集｣できたとしたら、その決断を前に悩むでしょうか？ 気候変動を食い止められるのなら、遺伝子組み換え生物（GMO）を食べることに同意しますか？
合成生物学が約束する未来は、人類がこれまで経験した中でもっともパワフルで、サステナブルな製造拠点です。いまだかつてなかった産業革命の幕開けです。
悪意ある認知的テクノロジー
Jeroen van den Hoven（デルフト工科大学テクノロジー倫理学教授。著書に『Evil Online』）
もっとも危険なテクノロジーとは、人々の世界観を歪ませ、他人の必要性を見失わせるような、ある意味社会的、あるいは認知的な技術だと思います。
このような技術は人間性の喪失を促し、人々をより自己中心的で思考停止している状態に導きます。まるで霧で覆い囲むかのように、人間の共通性や人間としての責任から目を背けたり、否定したり、拒絶することが容易になる環境を作り上げてしまうのです。これらは悪意あるテクノロジーです。そして、それらのテクノロジーを作り上げている人々は、世間知らずであるがゆえに他者に利用されているか、あるいは同罪に値する共謀者か、いずれにせよテクノロジーによって未来にどんな惨めさや苦しみがもたらされようともそれらに対してもっともらしい反証を唱え続けます。
デジタル技術がオンラインで社会的に活用される上で引き起こしてきた認識論的カオスを、もっとも重大な危険性だと考えます。テクノロジーがもたらすリスクや危険性は軽視されたり、ごまかされたり、否定されがちなので、ほとんどの人にはまるで何も問題がないように見えてしまいます。代替のテクノロジーが持つ利点や恩恵には泥が塗られ、あたかも悪いように見せかけられるかもしれません。暴君や悪党が美化され、勇者や救世主が悪魔化される。かつてヴォルテールが言ったように、｢不条理を信じこませられる者は悪事も働かせられる｣のです。
気候変動に対抗するためにどのような行動を取ればいいのか、新型コロナウイルス感染症の蔓延をどうやって止められるのか。殺人を犯しかねない自律型兵器の使用をどう食い止めるか、医療現場においてのAIによるトリアージを阻止したり、夢の内容を操作するドリームインキュベーション法や、ディープフェイクをマーケティングに使用されないように制御するにはどうしたらいいのか。
これらの問題が山積している中で、今なお争い続け、思案し続けている人々にとって、なにが真実でなにが倫理的に正しいのかを判断することが困難になってきています。一方で、すでに考え続けることを諦めてしまい、従順で無関心になってしまった人々は残念ながらさらに多くいます。
異種移植手術
L. Syd M Johnson（SUNYアップステート・メディカル大学生命倫理学・人文科学准教授）
ある種の動物から別の種へと臓器や細胞組織を移植する異種移植手術（xenotransplantation）は、移植用の臓器が常態的に不足している中でひとつのソリューションになり得るのではと長く注目されてきました。
現在アメリカだけでも、数千人の患者が命をつなぎ止めるために必要な臓器提供を待ち続けています。そして、待ち時間が長すぎて生き延びられない人もいます。1960年代から90年代までには、主にヒヒやチンパンジーなどの非ヒト霊長類から人間への臓器移植が幾度となく試されました。しかし、現在に至るまで固形臓器の異種移植手術を受けて生き延びた人はいません。術後数時間経ってから亡くなった方々、数日、あるいは数週間経ってから亡くなった方もいます。免疫系が臓器に対して猛烈な攻撃をしかける拒絶反応、さらに悲惨な超急性拒絶反応がその原因です。
拒絶反応が起こるリスクは種と種の進化的分岐が離れているほど高く、ヒトとブタのように8000万年の隔たりを持つ種同士のリスクは高いと言えます。一方で、ブタは現在もっとも使われている臓器提供源です。繁殖しやすく、臓器のサイズが人間に適しているからということもあります。また、食用に年間何億頭と殺している背景を臓器用に殺すことに対しての免罪符と受け止める人もいます。
他方で、非ヒト霊長類とヒトの進化的・遺伝的な近接は、異種間で伝染病が飛び火する動物原性感染症リスクを高めます。この動物原性感染症を理由に、米食品医薬品局（FDA）は異種移植手術に非ヒト霊長類を使うことを事実上禁止しています。ところが、ブタもヒトと同じようなウイルスを宿しており、動物原性感染症源となり得るのです。たとえば1998と1999年にはマレーシアの養豚地帯でニパウイルス感染症が発生し、養豚家の間でウイルス性脳炎が大流行しました。100名が死亡し、100万頭以上のブタが殺処分されました。
新型コロナウイルス感染症は動物原性感染症とされています。おそらく、いくつもの種を渡り歩いた後に中国の市場にいた人間に感染したと思われ、世界規模のパンデミックを引き起こして何千万人もの命を奪い、医療機関を逼迫させ、世界中を社会的・経済的危機に陥れました。SARS-CoV-2ウイルスはペットの犬猫やフェレット、そして動物園にいるチンパンジー、ゴリラ、カワウソ、ネコ科の猛獣や、毛皮のために飼育されているミンク（ヨーロッパでは結果的に数万匹が殺処分）、そして北米では野生のオジロジカからも見つかっています。
異種移植手術による動物原性感染症の危険があまりにも大きいため、移植を受けた患者だけではなくその近親者、そして移植手術に関わった医療関係者までを、一生に渡って監視し続けることをいくつもの団体が推奨しています。この監視の目的は患者の命を守ることではなく、公衆衛生を守ることです。新たな感染症を撒き散らすリスクが、異種移植手術を非常に危険な新興技術たらしめています。もし最悪なシナリオとして新たな地球規模のパンデミックが起こってしまった場合は、何億人もの命が失われることとなり、甚大な被害を免れないでしょう。
移植用の臓器が不足している問題については、ほかにもソリューションがあります。今できるのは臓器提供者の数を増やすことですし、今後できるようになると期待されていること（試験管内で人間の臓器を培養したり、3Dバイオプリンティング技術を駆使して損傷した臓器を修繕したり再生したり）もあります。これらにはいずれもパンデミックを引き起こすリスクが付随していません。
何十年もの研究を経て、いくつもの失敗を重ねてきた異種移植手術が有益であるかどうかの確証はまだありません。新型コロナウイルス感染症によるパンデミックも3年目に突入し、異種移植手術の最大のリスクに焦点が当てられています。このまま異種移植手術を続けていく危険性がどのぐらい高いかは、過言できないほどです。
ガバナンス
Joanna Bryson（ヘルティ・スクール・オブ・ガバナンス テクノロジー倫理学教授）
もっとも危険な新興テクノロジーは、政治体制だと思っています。
社会について、また社会をどう統治するのかについて、私たちはこれまでなかったほど多くの情報を手にしています。国家の多くはこの情報を主として公益に役立てています。しかし、国によってはこの情報を使って少数派を制圧したり、操作したり、場合によっては多数派から権力を奪ったりするので、大量虐殺や悲惨な残虐行為につながってしまうことがあります。｢虐殺｣には当然のことながら文化的な大量虐殺も含みます。ある人々の歴史や記録を抹消し、そして先祖たちの生き方やアイデンティティを完全否定し、その人々を必ずしも殺戮するまでには至らずとも後世において子孫が繁栄する機会を著しく制限するのです。
このような文化的大量虐殺と並行して、地球環境に対しても甚大な破壊行為が繰り返されています。まるで未来の地球に生きる世代よりも、現代の独裁者（いわんや最近アメリカの大統領となった人まで）の富の探求や覇権の掌握のほうが重要だとも言わんばかりに。
この問題に立ち向かうためのたったひとつのソリューションは、人権が尊重され、協力行動が奨励されて報われる政治体制を革新するための努力を惜しまないことです。技術の多くは実は｢諸刃の剣｣であり、どんな目的にも使えてしまう難しさがあります。テクノロジー決定論者になり下がって、問題解決はもはや我々の手中にないと諦めてしまうことはできません。政治意識を研ぎ澄まして、社会のすべてのレベルにおいて関わりを持つ姿勢が不可欠です。
興味深いことに、政治状況を見極めるためや、自分たちの過去を知る上でどのような科学的エビデンスが存在しているのかを調べる上で有用なのはソーシャルメディアやその他技術であると思っています。そう思わない人も多いですが。私は、まだ希望があると思っています。そして、まだまだやるべきことはたくさんあります。
制御不可能なテクノロジー
Elizabeth Hildt（イリノイ工科大学哲学教授）
もっとも危険な新興テクノロジーは、人間の制御や規制が及ばないテクノロジーです。テクノロジーはある日奇跡のように自ら出現しませんし、危険な意図も持っていません。テクノロジーそのものが危険なのではありません。テクノロジーを開発し、デザインし、作り上げ、展開するのは人間です。
いずれ超インテリジェントな人工知能技術が開発され、人間に競り勝ったり人間を支配するのではないかと推測が多く飛び交っている中、私は新興テクノロジーが人間の制御を離れてしまうもっと現実的なシナリオがあると考えています。
ひとつは、テクノロジーがブラックボックス化し（そのテクノロジーがどう判断しているのか不透明）、透明性に欠けていたり理解不可能な場合。そしてもうひとつ、透明性に欠けているという意味では、製造元や企業から一般大衆に向けてテクノロジーの機能や影響について正しい十分な説明がなされていない場合です。
感情移入もまた人間がテクノロジーを制御できなくなってしまう要因のひとつでしょう。人間はより感情的、直感的にテクノロジーに接するほど、そのテクノロジーを使いこなせるようになります。この理由から、人間が人間に対して示すふるまいに類似したかたちでAIに対してもふるまえるようにデザインされているのが社交性を持ったヒューマノイドロボットなどです。
しかしながら、感情や主体性などを、そもそもこのような人間らしい特徴を備えていないテクノロジーと結びつける行為は人間の一方的な感情移入に終わりかねません。そして、人間のテクノロジーとの関わり合い方が理性ではなく感情的な要因に支配されかねません。このような関係性においては、人間のほうがより弱い立場に立たされます。
Reference: 厚生労働省
