Đâu là bản chất đích thực của con người?

Thứ tư - 06/12/2017 08:35

Đâu là bản chất đích thực của con người?

Xưa nay, con người luôn yên chí rằng mình là những sinh vật ‘thượng đẳng”, hơn hẳn mọi giống loài khác. Nhưng niềm tin ấy đang bị đe doạ bởi sự xuất hiện của một “giống loài” mới: robot với bộ óc là computer!

Phần 1: Thí nghiệm Turing

Ngay từ những năm 1950, Alan Turing, một trong những cha đẻ của computer, đã khẳng định rằng sẽ đến lúc computer thông minh như con người. Thực tế diễn ra có vẻ như còn chứng tỏ computer có thể “thông minh hơn” con người:

Năm 1997, máy tính Deep Blue đã đánh thắng vua cờ Garry Kasparov! Đó là lúc trường phái “trí thông minh nhân tạo” – AI (Artificial Intelligence) – ăn mừng. Nhưng không chỉ AI ăn mừng: rất nhiều người khác cũng bị lây nhiễm tâm lý sùng bái computer, sùng bái khoa học, sùng bái máy móc. Số người này rất đông đúc (có lẽ chiếm đa số), bao gồm cả những người giỏi giang nhất, uy tín nhất, tạo nên một xu thế thời đại khó cưỡng nổi – thời đại kỹ trị.

Trong thời đại này, khoa học vật chất được tôn lên thành “chúa tể” của tri thức, đẩy các lĩnh vực văn hoá nhân văn vào thế lép vế, dẫn tới một sự mất cân bằng nghiêm trọng trong đời sống nhân loại. Mất cân bằng sinh thái, bầu khí quyển bị hâm nóng, thiên nhiên nổi giận, môi trường bị ô nhiễm, năng lượng hạt nhân trở thành mối đe doạ, GDP tăng trưởng nhưng đạo đức suy đồi, khủng hoảng tội ác, phân hoá giầu nghèo đến mức cùng cực – trong khi có những kẻ cất giữ hàng tỷ đô-la trong ngân hàng, của cải đổ đi không hết thì vẫn có trên 1 tỷ người trên thế giới đang sống trong tình trạng đói rét, bệnh tật…

Nguồn gốc sâu xa của tình trạng mất cân bằng đó là sự thiếu hiểu biết về bản chất con người.

Con người đơn thuần chỉ là kết quả của sự tiến hoá sinh học hay là một thực thể tâm linh – “một cây sậy có tư tưởng” như Pascal định nghĩa?

Liệu học thuyết Darwin và những lý thuyết tiến hoá hiện đại khác có giúp chúng ta hiểu rõ bản tính người hay không? Bản tính người thực sự là cái gì?

Thuyết tiến hoá nói rằng đặc trưng của loài người là ở chỗ biết sáng tạo ra công cụ lao động. Nhưng lý thuyết này đang trở nên quá nghèo nàn trước những thành tựu của khoa học computer, bởi việc chế tạo ra công cụ thực ra chỉ là một biểu hiện của trí thông minh vượt trội, mà computer cũng sẽ thông minh không thua kém con người. Vậy chỗ đứng thật sự của con người ở đâu?

b1-2-douglas-hofstadter1

 

 

Douglas Hofstadter, giáo sư ngành khoa học nhận thức và văn học so sánh từ trường Đại học Indiana (Mỹ), trong cuốn sách nổi tiếng từng đoạt Giải Pulitzer năm 1980 của ông, “Godel, Escher, Bach”, đã tìm ra một phản đề tuyệt vời: “Khi một hoạt động trí não nào đó đã được chương trình hoá thì người ta sẽ mau chóng ngừng coi nó như một thành phần chủ yếu của tư duy thực sự”. Nói một cách dễ hiểu: đâu là chỗ của máy móc thì đó không phải là chỗ để tính người lộ rõ.

b1-1-godelescherbach
(Ảnh: Blog Phạm Việt Hưng)

Từ phản đề ấy, lập tức suy ra rằng tư duy đánh cờ không còn nằm trong vùng tư duy đặc trưng nhất của tính người nữa, vì Deep Blue đã đánh thắng vua cờ! Đây là một sự kiện làm đảo lộn vai trò của cờ vua nói riêng và là một cột mốc quan trọng trong lịch sử nhận thức của con người về chính bản thân mình. Xem thế đủ thấy việc hiểu bản chất thật sự của con người hoá ra không đơn giản như ta tưởng.

Chính vì không hiểu rõ chính mình là gì nên con người mới sùng bái những tri thức khoa học vật chất đến mức thái quá, từ đó tạo ra một thế giới mất cân bằng nghiêm trọng như hiện nay. Dường như linh cảm được điều đó nên từ cách đây hơn nửa thế kỷ, Albert Einstein đã lên tiếng cảnh báo: Hãy thận trọng đừng biến tri thức thành chúa tể của chúng ta, nó có… sức mạnh cơ bắp nhưng không có nhân tính[1].

Đó là lúc Einstein đề cập tới những tri thức của nền văn minh kỹ trị – tri thức tạo ra của cải vật chất, máy móc, súng ống…

Tuy nhiên, có những tri thức không có sức mạnh cơ bắp nhưng giàu nhân tính. Những tri thức này nằm ở đâu? Nói cách khác: Bản chất đích thực của con người nằm ở đâu?

 

 

 

Các bậc thức giả đang ra sức tìm kiếm câu trả lời.

Brian Christian, tác giả cuốn “The Most Human Human[2] (Người người nhất), gợi ý: Hãy khám phá bản chất người từ chính sự khác biệt giữa con người với computer!

Học giả David Shenk bình luận: “Máy móc đã trở nên thông minh đến nỗi nó buộc chúng ta phải có một cái nhìn hoàn toàn mới đối với câu hỏi thông minh là gì và con người là gì”.

Một học giả khác thốt lên: “Ai mà ngờ được rằng cách tốt nhất để hiểu con người lại là nghiên cứu chính những sản phẩm bắt chước con người”.

Thật vậy, muốn thấy rõ tính người nằm ở đâu, hãy nghiên cứu computer để xem chúng khác chúng ta ở chỗ nào. Chỗ khác biệt ấy chính là chỗ hơn hẳn của con người! Để làm việc này, hãy theo dõi một sự kiện được gọi là “Thí nghiệm Turing” (Turing Test) do cộng đồng AI tổ chức hàng năm.

Thay vì tranh cãi về mặt lý thuyết, Turing, ngay từ thời của ông (những năm 1950), đã đề xuất một kiểu thí nghiệm, nhằm chứng minh computer sẽ thông minh như con người. Đó là một cuộc thi đấu giữa hai đấu thủ: một bên là computer, một bên là con người.

Hai đấu thủ sẽ phải trả lời các câu hỏi do một ban giám khảo đưa ra. Các câu hỏi này không có bất cứ một hạn chế nào: từ chuyện vặt vãnh trong đời thường cho tới những sự kiện lớn lao của khoa học, lịch sử, văn hoá, nghệ thuật, triết học… Chẳng hạn: Bạn thích món ăn gì nhất? Thời tiết hôm nay ra sao? Sydney có đẹp bằng Paris không? Godel là ai? Hạnh phúc là gì? Tình yêu là gì? Tranh Monet có đẹp hơn tranh Picasso không? “Ode to Joy” có phải là nhạc phẩm vĩ đại nhất không?… Để đảm bảo công bằng, hai đấu thủ được đặt trong hai phòng kín để ban giám khảo không thể nhận biết bên nào là computer, bên nào là người, nhưng tuỳ theo nội dung của các câu trả lời, ban giám khảo sẽ bỏ phiếu đoán nhận bên nào là computer, bên nào là người. Kết luận của ban giám khảo dựa trên đa số phiếu, giống như bầu cử. Nếu ban giám khảo đoán nhận sai – lẫn lộn computer với người – thì đó là bằng chứng chứng tỏ computer thông minh như người.

Turing dự đoán vào năm 2000, computer sẽ đánh lừa được 30% số giám khảo sau 5 phút trò chuyện. Với kết quả đó “người ta sẽ có thể nói về tư duy của máy móc mà không thấy bị mâu thuẫn”, ông nói.

Nhưng Thí nghiệm Turing năm 2000 không xẩy ra như Turing dự đoán. Năm 2008, trong thí nghiệm diễn ra tại Reading ở Anh, suýt nữa thì dự đoán của Turing trở thành sự thật – chỉ còn thiếu đúng một lá phiếu nữa thì chương trình máy tính đã đánh lừa được ban giám khảo. Nếu chương trình đánh lừa được ban giám khảo thì nó sẽ được trao một giải thưởng mang tên “The Most Human Computer” (Computer người nhất). Ngược lại, nếu phần thắng thuộc về người tham gia thí nghiệm thì người này sẽ được trao giải thưởng “The Most Human Human” (Người người nhất). Nếu có vài người cùng tham gia thí nghiệm thì người nào được nhiều phiếu nhất sẽ được trao phần thưởng đó.

Nhiều người đã đoạt giải “Người người nhất”, vì Thí nghiệm Turing được tiến hành từ những năm 1990, nhưng phải đợi mãi đến năm 2009 thì giải thưởng “Computer người nhất” mới lần đầu tiên được trao cho David Levy – một trong những tên tuổi lớn về lập trình cho cờ vua trong thập kỷ 1980, trước khi ra đời chương trình Deep Blue trong thập kỷ 1990.

Levy là người cổ vũ điên cuồng cho khoa học AI. Ông đã viết cuốn “Love and Sex with Robots” (Yêu và làm tình với robots) để trình bầy tư tưởng của mình. Không quá khó để hiểu được khái niệm “làm tình với robots” nhưng sẽ rất khó để hiểu được khái niệm “yêu robots”, nếu chữ “love” được hiểu như một tình yêu đích thực, chẳng hạn như tình yêu giữa Marius và Cosette trong “Những người khốn khổ” của Victor Hugo.

Tại sao Levy có tư tưởng thái quá như vậy? Có lẽ vì ông không hiểu bản chất đích thực của con người là gì. Nhưng tại sao lại trách Levy trong khi bỏ qua Turing?

(Ảnh: Blog Phạm Việt Hưng)
(Ảnh: Blog Phạm Việt Hưng)

Turing là một thiên tài có số phận bi thảm: Ông bị kết án tù vì quan hệ đồng tính. Ra tù ông phẫn chí rồi tự tử. Nhưng nghịch lý lớn nhất trong đời ông có lẽ nằm ngay trong học thuật: ông là tác giả của bài toán “Sự cố dừng” (The halting problem), chỉ ra rằng computer có những hạn chế không thể vượt qua được, như một “khuyết tật bẩm sinh” của bất kỳ một hệ logic nào. Nhưng cũng chính Turing lại là người đề xuất tư tưởng coi computer như một cỗ máy vạn năng có thể thay thế con người.

Nghịch lý đó cũng chính là nghịch lý của nền văn minh kỹ trị: trong khi tư tưởng của Turing thúc đẩy khoa học computer phát triển không ngừng thì đồng thời nó cũng khuyến khích tinh thần sùng bái máy móc đến mức hạ thấp vai trò của con người, sùng bái tư duy hình thức đến mức hạ thấp tư duy cảm xúc, sùng bái giá trị vật chất đến mức hạ thấp các giá trị nhân văn… kết quả là đưa xã hội loài người đến trạng thái mất cân bằng và bị đe doạ bởi một thế giới đầy ắp những sản phẩm do chính con người tạo ra.

Nhưng khoan hãy kết tội một thiên tài.

Chẳng phải Turing đã tiên đoán chính xác rằng máy móc có thể thông minh như con người đó sao? Chẳng phải thí nghiệm Turing đã thành công đó sao?

Vâng, thiên tài của Turing là điều không thể chối cãi, nhưng Thí nghiệm Turing, thay vì làm cho những người sâu sắc sùng bái máy móc, họ đặt vấn đề hoàn toàn ngược lại – thí nghiệm ấy chỉ chứng tỏ sự ấu trĩ trong nhận thức về bản chất của trí thông minh:

Một, trí thông minh của con người tuy có giới hạn nhưng hình thức biểu lộ của nó lại vô hạn, do đó không thể kiểm chứng nó bằng một tập hợp giới hạn các câu hỏi, bất kể tập hợp đó rộng chừng nào. Bản thân việc đề xuất một thí nghiệm thử thách trí thông minh thông qua một tập hợp giới hạn các câu hỏi đã là một sai lầm ấu trĩ trong việc nhận thức khả năng biểu lộ của trí thông minh.

Hai, trí thông minh của con người hơn hẳn computer ở chỗ nó không chỉ nhận thức được những đối tượng đo được, mà còn nhận thức được những khái niệm không đo được, hoặc những khái niệm vô hình, vô ảnh, vô ngôn – không thể diễn tả được bằng bất cứ một thứ ngôn ngữ nào, mà chỉ có thể quán tưởng bằng chiêm nghiệm, trực giác, thậm chí bằng sự lặng thinh. Computer dựa trên nguyên lý số hoá và logic hình thức, không thể nhận thức cái không đo được và cái không tuân thủ logic hình thức. Turing là thiên tài trong việc khám phá những bí mật của logic hình thức nhưng xem ra ông không hiểu thấu những khái niệm tư duy trực giác, tư duy quán tưởng.

Tuy nhiên, có người lý sự rằng thực ra vẫn có thể số hoá những khái niệm vốn không thể đo được. Chẳng hạn, vẻ đẹp của phụ nữ đã được số hoá trong các cuộc thi hoa hậu đấy thôi. Từ đó computer có thể chứng minh người này đẹp hơn người kia, và rồi với cái kiểu số hoá như thế, sẽ đến lúc computer chứng minh được cái này đẹp hơn cái kia, cái này tốt hơn cái kia… Chẳng phải David Levy đã nghĩ đến chuyện số hoá tình yêu đó sao?

Liệu có thể số hoá tình yêu không?

Liệu có thể số hoá nghệ thuật không?

Liệu có thể số hoá mọi tri thức của con người không?

Liệu computer có thể thực sự thay thế con người không?

Liệu computer có thể có nhân tính không?

Câu chuyện Deep Blue đánh thắng vua cờ Kasparov sẽ đưa ra một câu trả lời thú vị. Trước khi tìm hiểu câu chuyện đó, cần biết rằng cờ vua không chỉ được coi là một môn thể thao trí tuệ, mà đã từng có một thời được coi là một lĩnh vực nghệ thuật bậc thầy “có tất cả mọi vẻ đẹp của nghệ thuật”.

Nhưng xin dành câu chuyện đó cho bài kỳ sau: “Môn thể thao trí tuệ có tất cả mọi vẻ đẹp của nghệ thuật”!

Chú thích:

[1] “Take care not to make the intellect to be our god; it has … powerful muscles but no personality” (Ideas that shaped our world, Marshall Editions, 1997)

[2] “The Most Human Human”, Brian Christian, Doubleday DD, New York, London, Toronto, Sydney, Auckland, 2011

Bài này được đăng bản gốc trên viethungpham.com. Đọc bản gốc ở đây.

Bài viết thể hiện quan điểm của tác giả, không nhất thiết phản ánh quan điểm của Đại Kỷ Nguyên.

 

 

 

Phần 2: Môn thể thao trí tuệ ‘có tất cả vẻ đẹp của nghệ thuật’

 

 

Phải nhấn mạnh ngay rằng trước khi diễn ra những cuộc đấu giữa Deep Blue và Garry Kasparov trong thập kỷ 1990, cờ vua không chỉ được coi như một môn thể thao trí tuệ mà còn được tôn sùng như một môn nghệ thuật bậc thầy.

Sự tôn sùng này chỉ được “xét lại” (revised) sau khi Deep Blue đánh thắng Kasparov vào năm 1997, từ đó cờ vua mới mất chỗ đứng vốn có của nó trong thế giới của nghệ thuật. Sự “truất ngôi” này đã rọi một tia sáng vào góc khuất bấy lâu nay: cái gì là người nhất trong con người?

b2-2-kasparov_deep-blue-1997-1
(Ảnh: Blog Phạm Việt Hưng)

“Cờ vua đã hoàn toàn chết!” (Bobby Fischer)

Trước khi ánh sáng rọi vào góc khuất đó, không ai dám nghĩ cờ vua không nằm trong phần cốt lõi của trí thông minh. Đại văn hào Goethe từng ngợi ca đó là “một hòn đá thử vàng của trí tuệ” (a touchstone of intellect). Khái niệm “trí tuệ” ở đây phải được hiểu là toàn bộ tư duy của con người, bao gồm cả tư duy tính toán lẫn tư duy nghệ thuật.

b2-1-marcel-duchamp-1952
(Ảnh: Blog Phạm Việt Hưng)

Nói đến tư duy nghệ thuật của cờ vua, hãy lắng nghe ý kiến của những bậc thầy nghệ thuật kiêm cờ vua. Một trong những bậc thầy đó là Marcel Duchamp, một hoạ sĩ Pháp nổi tiếng thế giới trong nửa đầu thế kỷ 20, từng để lại cho đời nhiều tác phẩm hội hoạ bậc thầy thuộc nhiều trường phái từ hậu-ấn-tượng cho tới lập thể, dã thú, siêu thực. Nhưng từ năm 1923, ông bỗng bỏ ngang sự nghiệp hội hoạ để chuyển sang một lĩnh vực khác mà ông coi là có nhiều sức thể hiện hơn, mạnh mẽ hơn: đó là cờ vua.

Mặc dù chỉ đạt tới thang bậc kiện tướng trong làng cờ quốc tế, không vươn lên nổi hàng đại kiện tướng, nhưng ông say mê cờ đến mức trở thành một nhà nghiên cứu môn này, phụ trách một cột báo chuyên dành cho cờ vua. Trong những năm 1930, khi nhiều bạn bè của ông đạt tới vinh quang nhờ bán được nhiều bức tranh với giá cao, Duchamp vẫn trung thành với lý tưởng cờ vua. Ông nói: “Tôi vẫn là một vật tế cho cờ vua. Nó có tất cả mọi vẻ đẹp của nghệ thuật – và còn hơn thế rất nhiều. Nó không thể bị thương mại hoá. Trong vị thế xã hội, cờ vua mang tính thuần khiết hơn nghệ thuật rất nhiều”.

Một dịp khác ông lại viết: “Quân cờ là những khối chữ cái định hình tư duy, và những tư duy này, mặc dù tạo ra một mưu đồ hiển thị trên bàn cờ, đã biểu lộ vẻ đẹp của chúng một cách trừu tượng, giống như một bài thơ … Tôi đi tới kết luận cá nhân rằng trong khi tất cả các nghệ sĩ không phải là những kỳ thủ thì tất cả các kỳ thủ lại là những nghệ sĩ[1].

Tư tưởng của Duchamp không phải là cá biệt. Dường như phần lớn cộng đồng khoa học cũng tán thành quan điểm của ông. Chẳng hạn như Douglas Hofstadter, trong cuốn “Godel, Escher, Bach”, đã xếp cờ vua bên cạnh âm nhạc và thơ ca như một trong những hoạt động độc đáo nhất, thể hiện tính người rõ nhất. Ông cho rằng nghệ thuật chơi cờ nằm ở một khu vực tư duy rất gần với phần cốt lõi của bản chất người. Ông nhấn mạnh rằng một chương trình đánh cờ tầm cỡ vô địch thế giới phải cần đến một “trí thông minh tổng hợp” (general intelligence) vô cùng rộng lớn, đến nỗi không nên coi đó là một chương trình đánh cờ nữa, mà nên coi như một nghệ thuật thơ ca. Có nghĩa là cờ vua vô địch thế giới còn cao hơn cả trí tuệ được thử thách trong Thí nghiệm Turing!

Ngay từ thế kỷ 12, cờ vua đã được trân trọng như một “trò chơi vua chúa” (the game of kings), một môn học bắt buộc trong việc đào tạo các hiệp sĩ, sau các môn cưỡi ngựa, bơi lội, bắn cung, võ thuật, săn bắn, và làm thơ. Mãi cho đến những thế kỷ sau này, thậm chí cho đến tận những năm 1980, nó vẫn được coi là trò chơi thử thách trí tuệ của những nhà tư tưởng chính trị và quân sự lỗi lạc như Napoléon Bonaparte, Benjamin Franklin, Thomas Jefferson, Norman Schwarzkopf v.v.

Tóm lại, trước năm 1997, “cờ vua được xem như một thứ nghệ thuật tinh tế và giàu sức biểu hiện: nó gắn bó chặt chẽ với thân phận con người đến mức không thể chia cắt. Nhưng từ những năm 1990, bản tụng ca dành cho cờ vua đã thay đổi[2].

Điều này nói lên rằng sự kiện cờ vua năm 1997 không chỉ có ý nghĩa đối với môn “nghệ thuật vua chúa” này, mà còn có ý nghĩa bước ngoặt đối với hiểu biết của con người về bản chất của chính mình.

Kiện tướng cờ vua đối đầu với máy tính

Thực ra cuộc đấu trí giữa Kasparov với computer đã diễn ra lần đầu tiên ngay từ năm 1989, nhưng không để lại ấn tượng gì đặc biệt, vì vua cờ đã thắng chương trình Deep Thought một cách tuyệt đối với tỷ số 2 – 0.

Thay vì nản lòng, cộng đồng AI, thông qua tổ hợp IBM, càng “hiếu thắng” hơn. Họ dốc sức hoàn thiện Deep Thought để cho ra đời siêu phẩm Deep Blue, rồi đề nghị xúc tiến một cuộc “tỉ thí” vào năm 1996 với quyết tâm “hạ đo ván” Garry Weinstein[3], tức Garry Kasparov, người đang thống trị làng cờ vua thế giới, kỳ thủ được xếp hạng cao nhất của mọi thời đại, thậm chí còn được một số người tôn vinh như nhân vật vĩ đại nhất đang còn sống.

Kasparov đã nhận lời với tuyên bố đầy tự tin: “Trong một phạm vi nào đó, cuộc đấu này là một cuộc đấu tranh bảo vệ loài người. Computers đang đóng một vai trò vô cùng to lớn trong xã hội. Chúng có mặt ở khắp nơi. Nhưng có một cái ngưỡng chúng không thể vượt qua. Chúng không thể bước vào lãnh điạ sáng tạo của con người”.

 

Nhưng Kasparov đã làm cả thế giới bị choáng váng vì ông thua ngay trong ván đầu tiên. Trong khi các kỹ sư của IBM mở tiệc ăn mừng bữa tối thì Kasparov đi bộ trên phố phường đầy tuyết của Philadelphia, suy nghĩ căng thẳng về hậu quả khó lường nếu cuối cùng ông bị thua. Ông hỏi một cố vấn: “Này Frederic, điều gì sẽ xẩy ra nếu cái chương trình này trở thành vô địch?”. Tuy nhiên, khi cuộc đấu trở lại, Kasparov đã lấy lại thế áp đảo và giành chiến thắng chung cuộc với kết quả thắng 3, hoà 2, thua 1.

Mặc dù bị thua, nhưng Deep Blue đã chứng tỏ sức mạnh đáng sợ của nó. Các chuyên gia AI biết rõ rằng tốc độ tiến hoá của công nghệ lớn gấp bội so với tốc độ tiến hoá của bộ não: công nghệ thay đổi hàng năm, trong khi cơ chế sinh học của bộ não – cơ sở vật chất sản sinh ra những phép toán logic – hầu như không thay đổi gì trong hàng trăm, hàng ngàn năm. Do đó về mặt lý thuyết, con thỏ sẽ phải đuổi kịp con rùa!

Niềm tin này chắp cánh cho các chuyên gia của IBM thách thức Kasparov tái đấu ngay trong năm sau. Vua cờ đồng ý, và cái gì đến phải đến: Cuộc đấu lịch sử diễn ra vào tháng 5 năm 1997 trên tầng 35 của toà tháp Equitable trong khu phố Manhattan, New York. Lần này vua cờ phải đối mặt với một Deep Blue mới có tốc độ nhanh gấp đôi, phức tạp và tinh xảo gấp bội so với chương trình cùng tên trước đó. Đúng như cộng đồng AI mong đợi, sự thể lần này diễn ra “không hay ho cho lắm” đối với những ai tin rằng con người luôn luôn phải là kẻ thống trị: sau 5 ván đấu, tỷ số cân bằng với 3 ván hoà và mỗi bên thắng 1 ván. Ngày 11/05/1997, bước vào ván thứ sáu – ván quyết định – Kasparov cầm quân đen, và trước sự chứng kiến của toàn thế giới, kỳ thủ số 1 thế giới đã chơi một ván thua nhanh nhất trong toàn bộ sự nghiệp cờ vua của ông. Máy móc đã đánh bại con người!

b2-3-garry-kasparov_deep-blue-1997-2
(Ảnh: Blog Phạm Việt Hưng)

Kasparov ngay lập tức đề nghị tái đấu vào năm 1998 với lời tuyến chiến: “Với tư cách một con người, tôi đảm bảo sẽ xé nát nó ra từng mảnh”. Chữ “nó” ở đây dĩ nhiên là Deep Blue, nhưng IBM dường như cảm thấy như thế đã là đủ nên bỗng nhiên cắt bỏ tài trợ cho nhóm nghiên cứu và “sự nghiệp” của Deep Blue coi như chấm dứt.

Điều quan trọng là người ta nghĩ gì sau trận đấu này.

Theo Brian Christian, hầu hết mọi người đều rơi vào một trong hai kết luận sau đây:

  • Một, chấp nhận rằng trí thông minh của máy móc có thể vượt con người;
  • Hai, không coi tư duy đánh cờ là tư duy quan trọng nhất của con người nữa. Đáng mừng là phần lớn cộng đồng khoa học đều ủng hộ kết luận thứ hai.

Chỉ có một người không thừa nhận cả hai kết luận nói trên, đó chính là Garry Kasparov. Có lẽ không khó để hiểu tại sao ông lại phản đối cả hai kết luận đó, nhưng điều này không nằm trong mối quan tâm của bài viết này, vì điều quan trọng không phải ở chuyện cờ vua, mà ở câu hỏi “bản chất đặc trưng nhất của con người nằm ở đâu?”, và Deep Blue đã cho chúng ta câu trả lời.

Ngay sau trận đấu năm 1997, tờ The New York Times đã phỏng vấn một nhà tư tưởng nổi bật về AI của Mỹ, và cũng là nhân vật đã được nhắc đến ngay từ đầu bài viết này, Douglas Hofstadter. Ông kêu lên: “Lạy Chúa, tôi đã từng nghĩ rằng cờ vua đòi hỏi tư tưởng. Bây giờ tôi nhận ra rằng nó không cần!”.

John Searle, nhà triết học kiêm giáo sư Đại học California, Berkeley, nói: “Từ quan điểm thuần tuý toán học, cờ vua là một trò chơi tầm phào (a trivial game)”.

Tờ The New York Times còn giải thích rõ rằng Hofstadter, tác giả cuốn “Godel, Escher, Bach”, trước đây vốn coi việc chơi cờ vua như một sáng tạo vô hạn, sánh ngang với việc soạn nhạc hoặc viết văn, nhưng nay đã hoàn toàn thay đổi quan điểm, vì “thành tựu computer trong những thập kỷ qua đã thuyết phục ông đi tới chỗ cho rằng cờ vua không còn là một nỗ lực trí tuệ quý giá như âm nhạc và viết văn nữa – những nỗ lực đòi hỏi một linh hồn[4].

Thật vậy, ông nói: “Tôi nghĩ cờ vua là một hoạt động thần kinh và trí tuệ, nhưng nó không có những phẩm chất cảm xúc sâu sắc như những cảm xúc khi soạn nhạc hoặc làm thơ, viết văn. Nếu computer cũng có thể soạn nhạc hoặc viết văn ở tầm mức nghệ thuật thì đó sẽ là một thảm hoạ[5].

Trong những năm gần đây, các nhà khoa học AI đã viết những chương trình chơi cờ ở trình độ còn cao hơn Deep Blue và do đó đã vĩnh viễn làm thay đổi thế giới cờ vua, đến nỗi Bobby Fischer, một trong những kỳ thủ vĩ đại nhất thế kỷ 20, đã tuyên bố trong năm 2002 rằng: “Cờ vua đã hoàn toàn chết[6] (Chess is completely dead)!

Tuyên bố trên có thể làm phiền lòng những ai vốn say mê cờ. Nhưng dù mê cờ đến mấy cũng không thể phủ nhận sự thật đã diễn ra: kỳ thù vĩ đại nhất của mọi thời đại đã bị “hạ gục” bởi “gã” siêu-computer Deep Blue. Sự thật này làm cay đắng không chỉ Kasparov, mà làm cay đắng tất cả những ai từng coi cờ là địa hạt thử thách trí thông minh một cách chính xác nhất.

Chỉ có một cách duy nhất thoát khỏi nỗi cay đắng này là đặt lại vấn đề:

 

Trí thông minh là gì?

 Viết tới đây, tôi nhớ lại một kỷ niệm thủa ấu thơ:

Hồi bé tôi rất mê cờ tướng, suốt ngày đánh cờ với anh em trong nhà. Thân phụ tôi thấy thế, lo tôi sao nhãng học hành, liền bảo tôi:

– Con có muốn đánh cờ giỏi không?

– Có ạ! Tôi sung sướng háo hức lắng nghe.

– Vậy con hãy học toán cho giỏi. Giỏi toán sẽ đánh cờ giỏi, vì môn toán sẽ dạy người ta tính toán khôn ngoan[7].

Sau này lớn lên, tôi mới vỡ nhẽ ra rằng tư duy chơi cờ chỉ giống tư duy toán học một phần nào thôi. Thân phụ tôi dạy tôi như vậy chẳng qua muốn tôi chăm học.

Tư duy toán học thực ra bao gồm hai vế:

  1. Tư duy tính toán, lý luận logic, biện luận chính xác, chặt chẽ, …
  2. Tư duy trực giác, cảm thụ, tưởng tượng, khái quát hoá, tổng quát hoá, tư duy hình ảnh, tư duy gợi cảm, tư duy văn hoá, tư duy thơ ca, …

Computer có thể giúp đỡ hoặc thay thế con người rất đắc lực trong vế 1 nhưng không thể thay thế con người trong những tư duy thuộc vế 2. Có lẽ vì không hiểu điều đó nên nền giáo dục toán học hiện nay chủ yếu chỉ lo nhồi nhét vào đầu học trò những kỹ năng thuộc vế 1, làm méo mó môn Toán, biến môn Toán thành một môn “khổ sai học thêm” – một môn học quyết định miếng cơm manh áo của con người trong tương lai nhiều hơn là một lĩnh vực văn hoá đầy chất lãng mạn và nhân văn.

Để kết, xin nói thêm rằng, trong tranh luận đôi khi chúng ta hay buộc tội đối phương: “ý kiến của anh chẳng logic tí nào cả”. Câu này có thể “phiên dịch” như sau: “ý kiến của anh chẳng giống computer chút nào cả!” (bởi tư duy logic chính là tư duy của computer). Chao ôi, tư duy của con người mà giống computer mới thật là một thảm hoạ. Bởi chỗ đứng của con người là ở chỗ khác – nơi computer trở nên bất lực!

Câu chuyện Deep Blue cho thấy hoá ra tính toán dù khôn ngoan đến mấy đi chăng nữa thì đó cũng không phải là loại tư duy mang tính người nhiều nhất.

Vậy tư duy mang tính người nhiều nhất nằm ở đâu?

Câu trả lời xin dành cho bài kỳ sau: Kỳ 3: “Chỗ đứng của con người”

 

Chú thích:

[1] Xem Wikipedia, mục từ Marcel Duchamp.

[2] “The Most Human Human”, Brian Christian, Doubleday, New York, London, Toronto, Sydney, Auckland, trang 104.

[3] Garry Kasparov sinh năm 1963 tại Baku, Azerbaijan (lúc ấy thuộc Liên Xô cũ) với tên khai sinh là Garry Weinstein, mẹ là người Armenia, cha là người Do-Thái. Năm 12 tuổi, ông đổi họ sang họ mẹ, trong tiếng Armenia là Gasparyan, chuyển âm sang tiếng Nga là Kasparov.

[4] Tài liệu đã dẫn trong chú thích 1, trang 107.

[5] Tài liệu đã dẫn trong chú thích 1, trang 107. Câu này chỉ lược dịch cho dễ hiểu.

[6] Tài liệu đã dẫn trong chú thích 1, trang 127

[7] Thân phụ tôi là cụ Phạm Đình Biều, nguyên kỹ sư công chính đầu tiên của Đông Dương thời thuộc Pháp, vốn coi Toán học là chiếc chìa khoá để mở mọi cánh cửa bí mật của thế giới.

 

 

 

 

P3: ‘Trí tưởng tượng quan trọng hơn cả kiến thức’

Có thể nói những chương trình computer dành cho Deep Blue 1997 và Thí nghiệm Turing năm 2009 là những kiệt tác của khoa học AI (Trí thông minh nhân tạo). Chúng không chỉ thúc đẩy khoa học “computer” vươn tới những phép lạ, mà quan trọng hơn về mặt triết học nhận thức chúng hé lộ cho chúng ta thấy rõ hơn tính người thực sự nằm ở đâu – tính người không “trú ngụ” nhiều ở những nơi computer có thể xử lý, mà nằm ở những nơi computer bất lực!

Lynn Fancher, Phó GS Sinh học tại Đại học College DuPage, Glen Ellyn, Illinois, Mỹ, trong bài báo “The Limitations of Science”[1] (Hạn chế của khoa học) đã nêu lên 3 lĩnh vực mà khoa học không thể trả lời, cũng tức là 3 lĩnh vực mà computer bất lực:

Một: Khoa học không thể trả lời những câu hỏi về giá trị. Chẳng hạn, không thể trả lời câu hỏi “Hoa Hồng hay hoa Cúc đẹp hơn?”, hoặc “Vàng hay thép giá trị hơn?”[2].

Hai: Khoa học cũng không thể trả lời những câu hỏi về đạo đức. Vấn đề quyết định xem cái gì là thiện hay ác, đúng hay sai, nằm ngoài phạm vi khoa học.

Ba: Khoa học không giúp chúng ta trả lời được những câu hỏi liên quan tới những khái niệm siêu-tự-nhiên (supernatural). Thí dụ: Không thể chứng minh hoặc phủ nhận sự tồn tại của Thượng đế.

Vậy phải tìm câu trả lời cho ba lĩnh vực trên ở đâu?

Hãy tìm trong văn chương, thơ ca, nghệ thuật, âm nhạc, triết học, … Đây mới thật sự là những lĩnh vực nhận thức “người nhất”, giàu tính nhân văn nhất!

Kết luận trên tuy không mới mẻ nhưng trong bối cảnh của nền văn minh kỹ trị ngày nay, khi các khoa học vật chất đã và đang chiếm địa vị lấn át, tư duy hình thức sáo rỗng đang lấn át tư duy cảm xúc, tư duy máy móc đang lấn át tư duy nhân văn, thì sự khẳng định những giá trị người nhất của con người mang một ý nghĩa cứu tinh!

Nó báo động cho chúng ta biết rằng nền văn minh kỹ trị đang đi nhầm đường!

Nó kêu gọi loài người hãy tỉnh thức khi còn kịp để cứu vãn cỗ xe văn minh khỏi lao xuống vực thẳm của chiến tranh, tội ác, đói nghèo, ô nhiễm môi trường, hâm nóng khí quyển, tàn phá sinh thái, tha hoá đạo đức, vô cảm trước nỗi đau, …

Nó khuyến dụ chúng ta hãy điều chỉnh nền giáo dục trở về với mục tiêu nhân văn!

Nó dạy chúng ta rằng hãy sử dụng computer như những tên nô lệ đắc lực thay vì tôn chúng lên thành những ông chủ!

Nó đánh động lương tri của mỗi chúng ta, nhắc bảo chúng ta cái gì mang tính người nhất trong chúng ta để chúng ta hướng tới những giá trị người nhất ấy mà sống!

 

Vâng, cái làm cho chúng ta thực sự trở nên người là những giá trị thuộc về phần hồn [3](the soul), bởi linh hồn là một cái gì đó liên hệ rất nhiều tới thơ ca, nghệ thuật, văn chương, âm nhạc, v.v.

Khi con người đang sống, linh hồn luôn luôn gắn bó với thể xác nhưng nó không phải là thể xác. Ngay từ thế kỷ thứ 5 TCN, nhà triết học Hy Lạp Socrates đã cho rằng linh hồn là một cái gì đó “vượt quá” thể xác (transcended the body) – một cái gì đó phi vật chất và siêu việt hơn vật chất – trong khi nhiều người cùng thời với ông cho rằng linh hồn được tạo bởi một dạng vật chất tinh tế nhất và lơ lửng trong không khí.

Trong thời đại ngày nay, có người ví phần hồn và phần xác của con người tương tự như phần mềm và phần cứng của computer. Theo đó, phần mềm của computer tuy “không cứng” nhưng nó vẫn là vật chất có thể nhìn thấy được, và theo một số lý thuyết về năng lượng tinh thần thì linh hồn là một dạng vật chất siêu hình hoặc vô hình, vô ảnh, vô tượng, vô lượng[4],… Dù vậy với trình độ của khoa học kỹ thuật hiện nay, việc kiểm chứng sự tồn tại của linh hồn còn khó gấp bội so với việc kiểm chứng “vật chất tối” (dark matter) và “năng lượng tối” (dark energy) trong vật lý ngày nay. Phương trình trường của Einstein có thể đã ngầm chứa khái niệm năng lượng tối, nhưng liệu có thể có một phương trình nào chỉ ra sự tồn tại của linh hồn hay không?

Tuy nhiên, những nền văn minh lớn nhất từ xa xưa đã tin vào sự hiện hữu của linh hồn, thậm chí người ta còn bàn cãi linh hồn nằm ở đâu, và quan trọng nhất, người ta cho rằng phần hồn mới là phần mang tính người nhiều nhất!

Thật vậy, người Ai Cập cổ đại tin rằng linh hồn nằm trong trái tim. Bằng chứng là các xác ướp Ai Cập đều giữ lại quả tim, trong khi mọi bộ phận khác của cơ thể đều bị loại bỏ, kể cả bộ não – bộ não không quý bằng trái tim, tư duy không quý bằng cảm xúc, sự khôn ngoan không quý bằng những rung động tinh thần! Tóm lại, người Ai Cập cổ đại cách đây hàng ngàn năm đã thấy linh hồn là thành phần mang tính người nhiều nhất – cái mà mấy ngàn năm sau nền văn minh kỹ trị đã và đang dần dần lãng quên.

Sự lãng quên này có nguồn gốc sâu xa là chủ nghĩa duy lý (rationalism) và chủ nghĩa thực chứng (positivism) – những chủ nghĩa cho rằng tất cả những gì không thể chứng minh hoặc không thể kiểm chứng đều không đáng tin. Linh hồn là một khái niệm dựa trên niềm tin nhiều hơn là chứng minh hoặc thực chứng, vì thế sự tồn tại của linh hồn không đáng tin. Ngược lại, thể xác là cái hiện hữu có thể kiểm chứng được, do đó mối quan tâm tới con người trước hết phải là quan tâm tới thể xác. Nhu cầu ăn uống, sinh tồn là nhu cầu thiết thực, trong khi nhu cầu thoả mãn phần hồn là nhu cầu viển vông, hư vô chủ nghĩa. Đó là nguồn gốc sâu xa dẫn tới sự xói mòn các giá trị nhân văn trong những thế kỷ sau này, đặc biệt trong thế kỷ 20 – thế kỷ bùng nổ của khoa học và công nghệ, dẫn tới sự thống trị của tư duy lý tính – tư duy Descartes.

René Descartes (1596-1650), cha đẻ của Hệ toạ độ Descartes và Hình học giải tích, một trong những ông tổ của chủ nghĩa duy lý, người có ảnh hưởng bao trùm lên tư duy hiện đại với câu châm ngôn nổi tiếng: “Cogito ergo sum” = “Tôi tư duy, vậy tôi tồn tại”.

Ông không nói “Tôi cảm thấy…”, “Tôi nghiệm thấy…”, “Tôi nhận thấy…”. Không! “Tôi tư duy…” , mà là tư duy lý lẽ, tư duy chứng minh, tư duy biện luận, tư duy giải thích, tư duy phân tích, …

Ông không chỉ nói, mà hành động để chứng minh tư tưởng của ông là chân lý: Hình học Euclid dựa trên những chứng minh trực giác được thay thế bằng Hình học giải tích – suy diễn dựa trên cảm nhận trực giác được thay thế bằng những biến đổi thuần tuý đại số, cảm nhận mang tính người được thay thế bằng tư duy tính toán (mà ngày nay ta gọi là tư duy computer). Đó chính là điều đang diễn ra trong nhà trường nhưng các nhà giáo dục không ý thức được rằng họ đang biến con người thành những chiếc computer! Điều này sẽ được phân tích kỹ hơn trong một bài viết tiếp theo, còn bây giờ xin hãy quay lại với Descartes.

Ảnh: PVHg

Bản thân Descartes là một nghịch lý: Trong khi chủ trương duy lý, nhưng ông lại tin vào sự tồn tại của những thứ không thể chứng minh được. Thật vậy, trước khi nhắm mắt, ông nói: “Nào, hãy lên đường đi, linh hồn ta hỡi!” (Allons, s’en-va, môn âme!). Thậm chí ông còn ra sức chứng minh sự tồn tại của Thượng đế, mặc dù cuối cùng thất bại[5]. Riêng về linh hồn, ông là người đòi phải tìm ra vị trí trú ngụ chính xác của linh hồn trong cơ thể con người. Theo ông, linh hồn nằm tại chính giữa bộ não (?).

Các nhà thơ, nhà văn lại thường mô tả tâm hồn nằm trong đôi mắt: “sinh khí” và tinh thần của con người biểu lộ rất rõ qua đôi mắt, ánh mắt – đôi mắt là cửa sổ của tâm hồn! Trong khi các nhà khoa học thần kinh trước đây đã từng nghĩ rằng tư duy của con người tập trung ở não trái. Nhà khoa học thần kinh Oliver Sacks nói:

“Toàn bộ lịch sử thần kinh học và tâm-lý-thần-kinh-học (neuropsychology) có thể được coi như lịch sử của việc nghiên cứu bán cầu não trái. Một lý do quan trọng để người ta ít chú ý tới não phải là ở chỗ trong khi dễ dàng chứng minh các hiệu ứng của các tổn thương khu vực khác nhau đối với não trái, thì các triệu chứng bệnh lý tương ứng của bán cầu não phải lại rất ít phân biệt. Não phải nói chung bị xem thường so với não trái vì mang tính “nguyên thuỷ” hơn, trong khi não trái được xem như một bông hoa độc đáo của sự tiến hoá của con người. Theo một nghĩa nào đó thì điều này là chính xác: não trái tinh vi và chuyên biệt hơn, một sản phẩm tự nhiên hình thành rất muộn trong não vượn và đặc biệt trong não người. Mặt khác, chính não phải kiểm soát các khả năng chủ yếu trong việc nhận biết thế giới hiện thực xung quanh mà mọi động vật phải có để sinh tồn. Bán cầu não trái giống như một chiếc computer được gắn vào não người, được thiết kế để xử lý các chương trình và sơ đồ …”.

Tư tưởng nói trên cho thấy các nhà khoa học thần kinh đã từng coi tư duy của con người cũng giống như tư duy của computer. Tuy nhiên, những thành tựu mới nhất của khoa học computer đã chỉ ra rằng phần tư duy người nhất của con người không phải là tư duy computer và điều này hoàn toàn ăn khớp với những khám phá mới nhất của khoa học thần kinh.

Thật vậy, bài báo “Right Brain vs. Left Brain” (Não phải đấu với não trái)[6] cho biết: “Trong khi não trái thiên về những chức năng suy luận logic, phân tích lý luận, mổ xẻ chi tiết, nhận xét khách quan (không bị ảnh hưởng bởi cảm xúc riêng tư) thì não phải lại thiên về chức năng tư duy trực giác, tư duy tổng hợp, tư duy khái quát, cảm hứng ngẫu nhiên, nhìn toàn thể để rút ra cái chung mang tính bản chất, tư duy chủ quan (cảm xúc riêng tư)”.

Qua đó có thể kết luận:

“Tư duy của não trái thiên về tư duy computer, tư duy não phải thiên về tư duy người. Phần người nhất trong con người nằm ở não phải – linh hồn con người nếu phải tìm chỗ trú ngụ, nó sẽ chọn ngôi nhà chủ yếu ở não phải!”.

Tuy nhiên sẽ là một nhầm lẫn lớn nếu tuyệt đối hoá việc tách bạch hai loại tư duy thành hai khu vực hoàn toàn tách rời nhau. Thực tế hai bán cầu não thường phối hợp hoạt động với nhau để có được một tư duy đầy đủ nhất – giống như một hoạ sĩ lập thể có thể thể hiện một đối tượng với nhiều hình chiếu cùng xuất hiện một lúc trên một bức tranh, cái mà nghệ thuật phối cảnh cổ điển không thể có.

Đến đây có lẽ chúng ta sẽ dễ dàng đồng ý với nhau rằng tư duy thơ ca, nghệ thuật sẽ hoạt động chủ yếu ở não phải và đó là tư duy nằm trong phần đặc trưng cho tính người. Vậy tư duy khoa học thì sao?

Phải chăng tư duy khoa học là tư duy computer và do đó kém tính người hơn tư duy văn chương, nghệ thuật?

Không, đó là một ý nghĩ hồ đồ, kém hiểu biết về bản chất của khoa học.

Nếu so sánh khoa học với các lĩnh vực văn chương, nghệ thuật thì phải thừa nhận rằng khoa học chứa đựng nhiều tư duy máy móc hơn. Tuy nhiên sẽ là sai lầm nếu tuyệt đối hoá kết luận đó. Thực tế những nhà khoa học chân chính cũng đồng thời là những nghệ sĩ, theo đúng nghĩa của từ này. Còn ai nghệ sĩ hơn Albert Einstein khi ông tuyên bố: “Trí tưởng tượng quan trọng hơn kiến thức (The imagination is more important than knowledge)”. Thực ra Einstein và các danh họa cùng tìm kiếm một chân lý như nhau nhưng chỉ khác nhau ở phương pháp tiếp cận mà thôi. Đó là lý do giải thích vì sao Einstein rất mê Hình học Euclid. Ông gọi đó là cuốn “Hình học thiêng liêng” (The Holy Geometry). Tư tưởng hình học xuyên suốt đời ông, và có thể nói không ngoa rằng Thuyết tương đối tổng quát của ông chính là một lý thuyết “Hình học vật lý”. Cảm xúc hình học thiên về cảm xúc người, cảm xúc đại số thiên về tư duy của computer. Đó là lý do để Gottlob Frege, một nhà toán học lớn của Đức đầu thế kỷ 20, đã thốt lên vào lúc cuối đời rằng “Thực ra toàn bộ toán học là hình học”[7].

Đáng tiếc là phần lớn các nhà giáo dục không hiểu điều Frege nói. Muốn hiểu Frege, phải tìm hiểu lịch sử toán học thế kỷ 20, đặc biệt phải hiểu Chủ nghĩa toán học hình thức là gì, và không thể không biết “thảm hoạ giáo dục” trên thế giới những năm 1960 dưới danh hiệu “Toán học mới” (New Mathematics) mà tác hại của nó vẫn còn tới hôm nay. Tất cả những chuyện đó xin dành cho bài kỳ sau.

 

Tác giả: GS Phạm Việt Hưng.
Đăng tải với sự cho phép.
Đọc các bài khác của tác giả Phạm Việt Hưng ở đây.

Chú thích:

[1] Xem thêm: “Bên ngoài khoa học” của Phạm Việt Hưng, Khoa học & Tổ quốc tháng 03/2010 và các trang mạng:http://vietsciences.free.fr/  hoặc https://viethungpham.wordpress.com/

[2] Nền văn hoá của chúng ta coi vàng có giá trị hơn, nhưng khi cần một thứ kim loại để xây dựng một toà nhà chọc trời thì vàng lại trở nên hết sức bất lợi, vì nó quá mềm.

[3] Nếu không tin có linh hồn thì xin tạm thời thay thế khái niệm này bằng tâm hồn (the spirit). Trong thần học, những khái niệm này không hoàn toàn đồng nhất, mà có thể được phân tầng theo thứ bậc cao thấp rõ ràng. Nhưng bài viết này chỉ nhắc đến những khái niệm đó dưới một nhãn quan chung, đó là phần người không thuộc thể xác vật chất.

[4] Tất cả những từ ngữ mô tả linh hồn nói trên đều có thể sai hoặc thiếu chính xác, bởi chưa hề có một lý thuyết khoa học hoặc thực nghiệm nào đủ để chúng ta hiểu về nó một cách nhất quán. Nhà ngoại cảm có thể thấy rõ linh hồn nhưng cũng không thể “khoa học hoá” khái niệm này sao cho mọi người có thể cảm nhận được giống như họ.

[5] Nhà toán học lừng danh Kurt Godel cũng từng chứng minh sự tồn tại của Chúa!

[6] http://www.funderstanding.com/content/right-brain-vs-left-brain

[7] Xem “Lời sám hối của một nhà toán học hình thức” của Phạm Việt Hưng trên Khoa học & Tổ quốc tháng 05/2009 và trên các trang mạng: http://vietsciences.free.fr/  hoặc https://viethungpham.wordpress.com/

 

 

Tác giả bài viết: Văn Thành

Tổng số điểm của bài viết là: 0 trong 0 đánh giá

Click để đánh giá bài viết

Những tin mới hơn

Những tin cũ hơn

Thống kê

  • Đang truy cập73
  • Máy chủ tìm kiếm1
  • Khách viếng thăm72
  • Hôm nay13,251
  • Tháng hiện tại278,610
  • Tổng lượt truy cập35,544,891
Bạn đã không sử dụng Site, Bấm vào đây để duy trì trạng thái đăng nhập. Thời gian chờ: 60 giây