HOW CAN AI BE DANGEROUS?

Most researchers agree that a superintelligent AI is unlikely to exhibit human emotions like love or hate, and that there is no reason to expect AI to become intentionally benevolent or malevolent. Instead, when considering how AI might become a risk, experts think two scenarios most likely:

1. The AI is programmed to do something devastating: Autonomous weapons are artificial intelligence systems that are programmed to kill. In the hands of the wrong person, these weapons could easily cause mass casualties. Moreover, an AI arms race could inadvertently lead to an AI war that also results in mass casualties. To avoid being thwarted by the enemy, these weapons would be designed to be extremely difficult to simply “turn off,” so humans could plausibly lose control of such a situation. This risk is one that’s present even with narrow AI, but grows as levels of AI intelligence and autonomy increase.

2. The AI is programmed to do something beneficial, but it develops a destructive method for achieving its goal: This can happen whenever we fail to fully align the AI’s goals with ours, which is strikingly difficult. If you ask an obedient intelligent car to take you to the airport as fast as possible, it might get you there chased by helicopters and covered in vomit, doing not what you wanted but literally what you asked for. If a superintelligent system is tasked with a ambitious geoengineering project, it might wreak havoc with our ecosystem as a side effect, and view human attempts to stop it as a threat to be met.

As these examples illustrate, the concern about advanced AI isn’t malevolence but competence. A super-intelligent AI will be extremely good at accomplishing its goals, and if those goals aren’t aligned with ours, we have a problem. You’re probably not an evil ant-hater who steps on ants out of malice, but if you’re in charge of a hydroelectric green energy project and there’s an anthill in the region to be flooded, too bad for the ants. A key goal of AI safety research is to never place humanity in the position of those ants.

WHY THE RECENT INTEREST IN AI SAFETY
 

Stephen Hawking, Elon Musk, Steve Wozniak, Bill Gates, and many other big names in science and technology have recently expressed concern in the media and via open letters about the risks posed by AI, joined by many leading AI researchers. Why is the subject suddenly in the headlines?


The idea that the quest for strong AI would ultimately succeed was long thought of as science fiction, centuries or more away. However, thanks to recent breakthroughs, many AI milestones, which experts viewed as decades away merely five years ago, have now been reached, making many experts take seriously the possibility of superintelligence in our lifetime. While some experts still guess that human-level AI is centuries away, most AI researches at the 2015 Puerto Rico Conference guessed that it would happen before 2060. Since it may take decades to complete the required safety research, it is prudent to start it now.

AI có thể trở nên nguy hiểm bằng cách nào?

Hầu hết các nhà nghiên cứu đều thống nhất rằng siêu trí tuệ AI có vẻ sẽ không thể biểu hiện những cảm xúc của con người như yêu ghét và cũng chẳng có lý do gì để tin rằng AI sẽ có ý thức nhân từ hay ác tâm. Thay vào đó, khi xem xét khả năng AI trở thành một mối nguy hại, các chuyên gia nghĩ đến 2 viễn cảnh có thể xảy ra:

1. AI được lập trình để hủy diệt: Các vũ khí tự điều khiển đều là các hệ thống trí tuệ nhân tạo được lập trình để hủy diệt. Nếu rơi vào tay kẻ xấu, các vũ khí này có thể gây thương vong hàng loạt. Hơn thế nữa, một cuộc chạy đua vũ trang trí tuệ nhân tạo cũng có khả năng sẽ vô tình gây ra một cuộc chiến tranh AI gây thương vong hàng loạt. Để tránh bị kẻ thù cản trở , các vũ khí này được thiết kế để cực kỳ khó “tắt nguồn” .Trong trường hợp đó, con người có khả năng sẽ bị mất kiểm soát. Đây là một nguy cơ đang hiển hiện ngay cả đối với AI hẹp, tuy nhiên nguy cơ này sẽ còn cao hơn khi độ thông minh và tự chủ của AI ngày một gia tăng.

2. AI được lập trình để đem lại lợi ích, nhưng nó sẽ phát triển ra các phương thức hủy diệt để đạt được mục tiêu của mình: Điều này có thể xảy ra bất cứ khi nào mục tiêu của AI và con người không đồng nhất, đây là một tình thế cực kỳ khó giải quyết. Nếu như bạn ra lệnh cho một chiếc xe thông minh biết nghe lời đưa bạn đến sân bay càng nhanh càng tốt, có thể nó sẽ đưa bạn đến đó trong tình trạng bị máy bay cảnh sát đuổi theo và bản thân bạn cũng bị nôn mửa. Như vậy nó không làm theo những gì bạn muốn mà chỉ làm đúng theo những gì bạn yêu cầu . Nếu như một hệ thống siêu thông minh được lập ra trong dự án chỉnh sửa khí hậu đầy tham vọng thì có thể nó sẽ gây ra một tác dụng phụ là việc hủy hoại hệ sinh thái của chúng ta và có thể nó sẽ coi những hành động ngăn cản là một mối nguy hại cần phải giải quyết.
 

Như những gì đã được minh họa trong các ví dụ trên, các mối quan ngại về AI cải tiến không phải là ác ý mà là một sự cân nhắc. AI siêu thông minh sẽ cực kỳ giỏi trong việc đạt được mục đích của mình nhưng nếu như các mục đích đó không đồng nhất với mục đích của con người thì chúng ta sẽ gặp phải rắc rối. Có thể bạn không phải là người ghét kiến cay đắng đến mức nhẫn tâm giẫm lên chúng nhưng nếu bạn phụ trách một dự án thủy điện năng lượng xanh và có một tổ kiến trong vùng sẽ bị ngập nước thì thật tệ cho bầy kiến. Mục tiêu chính yếu của việc nghiên cứu độ an toàn của AI là để giúp con người tránh bị đặt vào vị trí của đàn kiến kể trên.

Vì sao sự an toàn của ai thu hút sự quan tâm gần đây?

Stephen Hawking, Elon Musk, Steve Wozniak, Bill Gates, và nhiều tên tuổi khác trong giới khoa học công nghệ gần đây đã bày tỏ mối quan ngại của mình về những nguy cơ mà AI có thể gây ra trên các phương tiện thông tin đại chúng và qua thư ngỏ có sự quan tâm của nhiều nhà nghiên cứu hàng đầu về AI. Tại sao chủ đề này bỗng nhiên lại trở thành tiêu điểm?

Ý tường về việc phát triển AI mạnh sau cùng sẽ đi đến thành công đã được mường tượng đến từ lâu như là khoa học viễn tưởng trong nhiều thế kỷ và thậm chí trước đó. Tuy nhiên, nhờ có những đột phá trong thời gian gần đây, nhiều dấu mốc AI, chỉ mới 5 năm về trước, các chuyên gia còn coi là công nghệ của hàng chục năm sau, thì nay đã thành hiện thực, điều này khiến nhiều chuyên gia suy nghĩ nghiêm túc về khả năng siêu trí tuệ sẽ bước vào cuộc sống chúng ta. Trong khi một số chuyên gia còn coi AI cấp con người là một công nghệ còn cách chúng ta hàng trăm năm thì hầu hết các nghiên cứu AI trong hội nghị dự đoán rằng công nghệ này sẽ thành hiện thực trước năm 2060. Yêu cầu về nghiên cứu độ an toàn sẽ mất hàng chục năm để hoàn thành, do đó rõ ràng ta cần tiến hành ngay từ thời điểm này.