In January of 1995, Russia detected a nuclear missile headed its way. The alert went all the way to the president, who was deciding whether to strike back when another system contradicted the initial warning. What they thought was the first missile in a massive attack was actually a research rocket studying the Northern Lights. This incident happened after the end of the Cold War, but was nevertheless one of the closest calls we’ve had to igniting a global nuclear war.
With the invention of the atomic bomb, humanity gained the power to destroy itself for the first time in our history. Since then, our existential risk— risk of either extinction or the unrecoverable collapse of human civilization— has steadily increased. It’s well within our power to reduce this risk, but in order to do so, we have to understand which of our activities pose existential threats now, and which might in the future.
So far, our species has survived 2,000 centuries, each with some extinction risk from natural causes— asteroid impacts, supervolcanoes, and the like. Assessing existential risk is an inherently uncertain business because usually when we try to figure out how likely something is, we check how often it's happened before. But the complete destruction of humanity has never happened before. While there’s no perfect method to determine our risk from natural threats, experts estimate it’s about 1 in 10,000 per century.
Nuclear weapons were our first addition to that baseline. While there are many risks associated with nuclear weapons, the existential risk comes from the possibility of a global nuclear war that leads to a nuclear winter, where soot from burning cities blocks out the sun for years, causing the crops that humanity depends on to fail. We haven't had a nuclear war yet, but our track record is too short to tell if they’re inherently unlikely or we’ve simply been lucky. We also can’t say for sure whether a global nuclear war would cause a nuclear winter so severe it would pose an existential threat to humanity.
The next major addition to our existential risk was climate change. Like nuclear war, climate change could result in a lot of terrible scenarios that we should be working hard to avoid, but that would stop short of causing extinction or unrecoverable collapse. We expect a few degrees Celsius of warming, but can’t yet completely rule out 6 or even 10 degrees, which would cause a calamity of possibly unprecedented proportions. Even in this worst-case scenario, it’s not clear whether warming would pose a direct existential risk, but the disruption it would cause would likely make us more vulnerable to other existential risks.
The greatest risks may come from technologies that are still emerging. Take engineered pandemics. The biggest catastrophes in human history have been from pandemics. And biotechnology is enabling us to modify and create germs that could be much more deadly than naturally occurring ones. Such germs could cause pandemics through biowarfare and research accidents. Decreased costs of genome sequencing and modification, along with increased availability of potentially dangerous information like the published genomes of deadly viruses, also increase the number of people and groups who could potentially create such pathogens.
Another concern is unaligned AI. Most AI researchers think this will be the century where we develop artificial intelligence that surpasses human abilities across the board. If we cede this advantage, we place our future in the hands of the systems we create. Even if created solely with humanity’s best interests in mind, superintelligent AI could pose an existential risk if it isn’t perfectly aligned with human values— a task scientists are finding extremely difficult.
Based on what we know at this point, some experts estimate the anthropogenic existential risk is more than 100 times higher than the background rate of natural risk. But these odds depend heavily on human choices. Because most of the risk is from human action, and it’s within human control. If we treat safeguarding humanity's future as the defining issue of our time, we can reduce this risk. Whether humanity fulfils its potential— or not— is in our hands.
1995년 1월에 러시아는 자국을 향해 날아오는 핵 미사일 한 발을 탐지합니다. 이 경보는 대통령에게까지 보고되었죠. 대통령이 반격할지를 고민하던 그때 다른 경보 체계가 첫 번째 경보를 뒤집었습니다. 대대적 공격을 시작하는 첫 미사일이라고 생각했던 것이 실은 북극광을 조사하는 연구용 로켓이었습니다. 이 사건은 냉전 이후에 발생했지만 어찌 되었든 세계 핵전쟁 발발에 가장 근접했던 사건이었습니다.
원자 폭탄이 발명되고 나서 인류는 자신을 파멸시킬 수 있는 힘을 손에 넣었습니다. 인류 역사상 처음으로요. 그때부터 생존의 위협이 시작됐죠. 인류 멸종의 위험, 혹은 회복 불가능한 수준으로 인류 문명이 파괴될 위험이 지속적으로 증가했어요. 우리는 충분히 이 위험을 줄일 수 있습니다. 하지만 그러기 위해서는 우리의 행동 중 어떤 것이 현재 생존에 위협을 가하고 어떤 것이 미래의 생존에 위협을 가하는지 알아야 합니다.
여태까지 인류는 이십만 년을 생존해 왔습니다. 그동안 자연적 요인으로 인한 멸종 위기가 몇 번 있었죠. 소행성 충돌, 초대형 화산 같은 것 말이죠. 생존의 위협을 가늠한다는 것은 사실 근본적으로 불확실합니다. 왜냐하면 보통 어떤 일의 발생 여부를 예측할 때 이전의 발생 빈도를 알아보는데, 완전한 인류 대멸종은 단 한 번도 발생한 적이 없습니다. 자연적 위험으로 인한 인류 멸종 확률을 계산할 완벽한 방법은 없으나 전문가들의 추정은 한 세기당 만 분의 일 정도 된다고 합니다.
핵무기 개발로 인류는 처음 이 확률을 높였죠. 핵무기에 관련된 위험 요소는 많은데 생존의 위협은 이 한 가능성에서 비롯됩니다. 세계 핵전쟁으로 인해 핵겨울이 오는 거죠. 불타는 도시의 재가 수년 동안 햇빛을 가려 인류의 생존이 달려있는 곡물 수확이 줄어드는 겁니다. 아직 핵전쟁이 일어난 적은 없지만 핵의 역사가 너무 짧다 보니 애초에 핵전쟁이 일어날 확률이 낮은 건지, 아니면 그저 운이 좋았던 건지 알 수 없죠. 또한 과연 세계 핵전쟁이 심각한 핵겨울을 야기해서 인류의 생존을 위협할지도 확신할 수 없어요.
우리의 생존을 위협하는 또 다른 주요 요인은 기후 변화입니다. 핵전쟁처럼, 기후 변화 역시 반드시 피해야만 하는 끔찍한 상황으로 이어질 수 있는데 인류 멸종이나 회복 불가능한 파멸 직전까지도 갈 수 있어요. 지구 온도가 몇 도 정도 올라갈 걸로 예측하지만, 6도, 혹은 10도가 올라가는 상황도 완전히 배제할 순 없어요. 이는 아마도 유례없는 수준의 대재난을 초래할 겁니다. 이 최악의 가정에서도 과연 온난화 자체가 직접적으로 생존을 위협하는 것인지는 모릅니다. 하지만 이로 인한 피해 때문에 다른 생존 위협들에 더 노출될 거예요.
생존의 가장 큰 위협은 신기술에서 비롯될 수도 있어요. 인위적인 팬데믹을 예로 들어보죠. 인류 역사상 가장 심각한 재앙은 팬데믹에서 기인해 왔어요. 생명 공학은 세포를 조작해서 새로운 미생물을 만들어낼 수 있고, 이는 자연적으로 발생하는 미생물보다 훨씬 더 치명적일 수 있습니다. 이런 미생물은 세균전이나 연구실 사고를 통해 팬데믹을 일으킬 수 있죠. 유전자 서열 조작에 들어가는 비용이 줄어들었고, 자칫 위험할 수도 있는 정보의 접근성도 높아졌습니다. 치명적 바이러스의 유전자 정보 같은 것들 말이죠. 이 때문에 치명적인 병원균을 만들어낼 수 있는 사람들, 혹은 단체의 수가 늘어납니다.
또 다른 걱정거리는 통제 불가 인공 지능입니다. 대부분의 인공 지능 연구자들은 이번 세기에 인간의 능력을 전반적으로 뛰어넘는 인공 지능을 개발할 수 있으리라 예상합니다. 우리가 이런 능력을 넘겨준다면 우리의 미래를 우리가 만든 시스템에 맡기게 되죠. 오직 인류의 이익만을 위해서 이를 개발했다 할지라도, 초지능 인공 지능은 생존에 위협을 가할 수 있어요. 인간적 가치에서 벗어난다면요. 과학자들은 이 가치를 주입하는 데 무척 큰 어려움을 겪고 있습니다.
현재 알고 있는 걸 토대로, 어떤 전문가들은 인류가 초래한 생존 위협이 자연적 위험으로 인한 위협보다 100배 이상 더 높다고 합니다. 하지만 이는 인간의 선택에 의해 좌우될 수 있습니다. 대다수 위협은 인간 활동에서 비롯되고, 또 인간이 통제할 수 있으니까요. 인류의 미래를 보호하는 것을 이 시대의 최우선 과제로 여긴다면 이런 위협을 줄일 수 있습니다. 인류가 이를 제대로 실행할지 아니면 하지 못할지는 우리 손에 달려 있습니다.