thập niên 1920 McCulloch bắt đầu hỏi rằng, liệu có tồn tại "sự kiện ngoại cảm" như trong căn bản của tâm lý học, hay như những nguyên tử trong vật lý
McCulloch hưởng lợi nhờ thời đại tăng trưởng kiến thức về đặc điểm tự nhiên của não bộ, sau rốt đã yên vị ở mạng lưới thần kinh và hoạt động 'nhị phân' là bắn và không-bắn là câu trả lời
sau đó, McCulloch cộng tác với thanh niên tự học toán Walter Pitts
Mạng lưới thần kinh
năm 1936 Turing xuất bản báo cáo nghiên cứu về máy logic, cho thấy rằng có thể thực thi bất cứ thuật toán nào trong một chuỗi những bước sơ bộ
năm 1943 Warren McCulloch và Walter Pitts xuất bản báo cáo nghiên cứu về mạng lưới thần kinh, cho rằng một mạng lưới những nơ-ron thần kinh, với hành vi nơ-ron bắn hoặc không-bắn là bước sơ bộ, cũng làm tương tự như khi có thể thực hiện phép toán logic; như phép toán đơn giản, quản lý dữ liệu và ứng dụng quy luật logic
McCulloch miêu tả nơ-ron khá đơn giản: lấy một số những đầu-vào, mỗi đầu-vào được cho một nhân tử trọng số; nếu kết quả của tổng đã-tính-trọng-số cao hơn một ngưỡng giá trị, nó sẽ kích hoạt, gửi đi một 1; nếu không sẽ gửi một 0, giữ im lặng
tác giả không có ý tạo nên một bản sao hoàn chỉnh của hành vi thần kinh, vẫn thiếu những hiểu biết có thể của mạng lưới thần kinh sinh học, mà ta biết ngày nay; ví dụ mạng lưới thần kinh sinh học có những độ trễ truyền tải, thực hiện những cú bắn đồng-bộ-hoá và mô đun hoá tần số của cú bắn; nơ-ron của McCulloch chưa có
Chủ nghĩa kết nối
năm 1949 nhà tâm lý học Donald Hebb người Canada đề xuất lý thuyết thần kinh tâm lý - xuất bản trong sách 'tổ chức của hành vi' - về cách thức những mạng lưới thần kinh học tập
công trình nghiên cứu của McCulloch, Pitts và Hebb đã cho người ta ý tưởng rằng có thể tạo ra những hành vi con người phức tạp, sử dụng những mạng lưới được kết nối của những nơ-ron toán; trường phái sớm sau đó được gọi tên là chủ nghĩa kết nối [connectionism] xuất hiện trong sách của Hebb
Dartmouth
cuối thập niên 1940 đầu 1950 máy tính tiến bộ, những phần mềm và phần cứng mới; những niệm giới điện toán mới, ví dụ máy tính lưu trữ chương trình EDVAC được gây dựng dưới tư vấn của John Von Neumann
những lĩnh vực nghiên cứu mới xuất hiện, mang con người đến gần hơn với máy tính
AI ký tự
từ tháng 6 đến tháng 8 năm 1956 hội thảo triển khai [rolling workshop] ở Dartmouth diễn ra nhiều bài thuyết trình, trong đó có Arthur Samuel (ảnh dưới) trình làng một chương trình máy tính để chơi cờ đam
năm 1955 Arthur Samuel lập trình chương trình cờ đam tự chơi với chính nó để tự cải thiện trình độ, tự biên tập những suy nghiệm [heuristic] của chính nó; sau đó, Samuel xuất bản một báo cáo nghiên cứu, gọi kỹ thuật này là 'học máy' [machine learning]
Rosenblatt
năm 1948 Alan Turing (ảnh dưới) viết về việc sử dụng máy tính kỹ thuật số để mô phỏng toàn bộ mạng lưới nơ-ron và những kết nối, cho rằng mạng lưới ấy có thể thực hiện bất cứ tác vụ nào một người có thể thực hiện; báo cáo này của Turing có thể coi là tiên phong chủ nghĩa kết nối, nhưng bấy giờ chưa có những máy tính được lưu trữ được lập trình
Rosenblatt nghiên cứu tâm lý học và sức phán đoán con người của một phi công khi điều khiển máy bay hạ cánh; quân đội Mỹ trao một ít tài trợ để ứng dụng lý thuyết xác suất lên bộ nhớ và tri giác con người
Thuật toán perceptron
năm 1957 perceptron là một mô hình thông kê bên trong máy tính IBM 704, kết quả đủ hứa hẹn để đội ngũ Rosenblatt bắt đầu phát triển một thiết bị
tháng 7 năm 1958 trước khi cỗ máy hoàn thiện, Rosenblatt tổ chức họp báo và đưa ra nhiều bình luận quảng bá những khả năng của Perceptron
từ báo New York Times trích lời Rosenblatt rằng perceptron là thiết bị điện tử đầu tiên sẽ nghĩ như não người, rằng nó sẽ "lĩnh hội, nhận biết và xác định những thứ xung quanh, không cần con người huấn luyện hay điều khiển"
chức sắc Hải Quân ở cuộc họp báo đã hồ hởi rằng họ lưỡng lự không muốn gọi Perceptron là một cỗ máy, giống như một "con người không có sự sống" hơn
Mark 1
máy perceptron Mark 1 của Rosenblatt được thiết kế để xác định những mẫu hình dị biệt; sau khi được cho xem đủ những ví dụ của những mẫu hình ấy, máy có thể lớn lên để nhận biết được chúng
Mark 1 sử dụng một tập hợp những đơn vị giác quan sẽ tiếp nhận ánh sáng hoặc âm thanh: đây gọi là hệ thống giác quan S-units sản xuất ra những tín hiệu nhị phân, đưa vào một lớp những nơ-ron McCulloch-Pitts; gọi là hệ thống liên kết A-units
nơ-ron bên trong A-units lấy một tổng đã-tính-trọng-số của những đầu-vào và kiểm tra nó lần nữa với những ngưỡng nội bộ, được sắp đặt bởi McCulloch-Pitts; nếu đạt, nơ-ron sẽ cho tín hiệu đi qua, đến một lớp những đơn vị động cơ [motor] gọi là hệ thống phản ứng [response system]; phản ứng này thường được đưa ra là một loạt những ánh sáng, những người vận hành có thể đánh giá và sửa nếu cần
Rosenblatt đóng góp chính là một phương pháp luận để huấn luyện mạng lưới thần kinh; mới đầu, tất cả trọng số của các nơ-ron được đặt ngẫu nhiên, như Rosenblatt tin rằng những 'trọng số' của một đứa trẻ là thế
để huấn luyện máy, nó sẽ được cho xem một tác nhân kích thích [stimuli] như một bức tranh chữ cái X và được phép phản ứng với nó nhờ hệ thống phản ứng R-system
sau đó, người xem cung cấp thông tin phản hồi cho máy, bằng cách điều chỉnh trọng số, tuỳ theo phản ứng là đúng hay sai
Rosenblatt cho rằng nếu Perceptron có thể làm một tác vụ phân loại nào đó, thì nó có thể được 'dạy' tác vụ ấy, sử dụng thuật toán huấn luyện của ông trong một số hữu hạn những chu kỳ huấn luyện
Người hâm mộ
cuối thập niên 1950 Rosenblatt viếng thăm viện nghiên cứu Stanford, nay là SRI International, để rao giảng; Bernard Widrow và sinh viên Marcian Ted Hoff bị thuyết phục và đã tạo nên những thiết bị mạng lưới thần kinh là ADALINE và MADALINE
những bài viết trên những tạp chí như Science đã đặt câu hỏi liệu não người sẽ bị thay thế, Rosenblatt nói rằng "Perceptron sẽ nhận thức được sự tồn tại của chính nó" và rằng "ta có một cỗ máy có thể có những ý tưởng nguyên bản" [original idea]
năm 1960 máy perceptron Mark 1 được trình làng, Rosenblatt và cộng đồng mạng lưới thần kinh đã sẵn lòng thừa nhận sự thiếu sót của cỗ máy; những năm sau, Rosenblatt bắt đầu hối hận về ảnh hưởng của những lời nói của mình lên lĩnh vực
năm 1962 sách giáo khoa "Những nguyên lý của động lực thần kinh" của Rosenblatt đã mở đầu với thừa nhận thiếu sót của Perceptron trình làng năm 1958; Rosenblatt cảm thấy sai lầm khi người ta coi Perceptron là một cỗ máy suy nghĩ, thay vì một khoá học những mô hình, bắt chước hệ thống thần kinh trung ương
Marvin Minsky
mới đầu Minsky có làm một số công việc trên mạng lưới thần kinh nhân tạo, nhưng đã bỏ; từng ở MIT, Minsky và đồng sự Seymour Papert là người ủng hộ lĩnh vực AI biểu trưng
thập niên 1960 Minsky cho rằng Perceptron có hạn chế; mặc dù Minsky và Rosenblatt có vẻ hoà thuận, Rosenblatt được báo chí chú ý có vẻ đã khiến Minsky thù cá nhân; rồi cạnh tranh quỹ tài trợ nghiên cứu và những nghiên cứu sinh
mạng lưới thần kinh nhân tạo và những phương pháp 'chủ nghĩa kết nối' khác đã cạnh tranh với phương pháp Minsky ưa chuộng hơn cho AI là 'biểu trưng' [symbolic]
có người cho rằng mục đích của Minsky và Papert là thành thật, và cả hai đã nói rằng những Perceptron nhỏ sẽ tốt cho một số vấn đề nhất định, đơn giản; nhưng những vấn đề khó, có những hạn chế mà họ không thấy cách nào khắc phục
Chỉ trích
nửa cuối thập niên 1960 chỉ trích toán học của Minsky và Papert vẫn lưu hành trong cộng đồng
chỉ trích cho thấy, có những hạn chế với mô hình Perceptron một-lớp, nôỉ tiếng nhất là vấn đề XOR (phép tuyển loại trừ)
những perceptron một-lớp sẽ giỏi phân loại những thứ đã tách biệt tuyến tính, ví dụ hình ảnh những con mèo hoặc chó Shiba trên bàn; nếu mèo và chó Shiba được bố trí sao cho có thể tách biệt chúng bởi một đường thẳng, thì ấy là tách biệt tuyến tính; nhưng một số chức năng [function] khác, đây sẽ không dễ; phép tuyến tính loại trừ XOR là một trong số ấy
XOR lấy 2 tính năng nhị phân, cho ra một số nhị phân là 1 hoặc 0; hàm sẽ trả về 1 chỉ khi một và chỉ một trong số hai đầu-vào là 1, nếu không sẽ trả về 0; không thể vẽ ra một đường thẳng để bao hàm tất cả những đầu-vào và đầu-ra đúng của hàm XOR
chỉ trích lớn thứ hai của Minsky và Papert là mạng lưới thần kinh nhân tạo sẽ tăng tính phức tạp tính toán: nếu Perceptron muốn lĩnh hội một hình ảnh phức tạp 'được kết nối', ví dụ một chữ cái hoặc một nhóm những chữ cái, vì máy sẽ cần thêm đơn vị; đây vẫn là hạn chế của những đầu-ra nhị phân perceptron
cần huấn luyện lại mạng lưới thần kinh nhân tạo, đây giống như một lập trình viên sẽ cần tái phát triển toàn bộ chương trình từ đầu [scratch] bất cứ khi nào vấn đề bị lớn hơn; chương trình này không tăng được quy mô [scale]
cuối cùng, Minsky và Papert bổ sung rằng những vấn đề sẽ dễ dàng giải quyết được với những thuật toán biểu tượng trong máy tính
Sa lầy
năm 1969 Minsky và Papert xuất bản sách Percentrons; huyền thoại rằng cuốn sách đã chấm dứt phong trào chủ nghĩa kết nối [connectionism]
thuật toán học Perceptron của Rosenblatt sử dụng để huấn luyện máy perceptron đã chỉ hoạt động trên những mạng lưới một-lớp; vì những trọng số, đi vào mỗi nơ-ron của R-system, được tách biệt khỏi nhau và ta biết đầu-ra mong muốn; nếu có nhiều hơn 1 lớp perceptron, ta biết kết quả mong muốn của lớp cuối cùng; nhưng những kết quả của lớp trung gian, lớp 'ẩn' [hidden layer]; Rosenblatt và cộng đồng mạng lưới thần kinh nhân tạo đã không thể tìm được cách, có lẽ vì quá bấu víu vào thuật toán huấn luyện một-lớp
thí nghiệm với perceptron 2-lớp, Rosenblatt đã ngẫu nhiên hoá lớp đầu tiên và đông cứng nó, huấn luyện lớp thứ hai như trước
những thiếu sót của những mạng lưới một-lớp và thiếu tiến triển trong huấn luyện những mạng lưới đa lớp, AI mạng lưới thần kinh đã dừng, nhường cho những cách tiếp cận AI biểu trưng
đội ngũ ở Stanford từng tiên phong ứng dụng chủ nghĩa kết nối, đã quay xe; Ted Hoff rời nhóm của Widrow sang làm ở Intel, nơi Ted có ý tưởng đã dẫn đến bộ vi xử lý đầu tiên
bấy giờ Rosenblatt sa đà vào nghiên cứu sự chuyển đi của hành vi đã-được-học qua những chiết xuất hoá học, bắt đầu làm thí nghiệm huấn luyện giun dẹp đi qua mê cung, và sau đó lấy những hoá chất của những giun dẹp ấy mang cho những giun dẹp mới ăn
Rosenblatt tham gia những phong trào phản chiến và chống lại kẻ phân biệt kỳ thị chủng tộc ở trường Cornell, làm việc với những nhà hoạt động để tăng sinh viên đại diện ở các trường đại học, và thậm chí nhón chân vào chính trị năm 1968 với đảng dân chủ
năm 1971 Rosenblatt mất trong một tai nạn thuyền, hưởng thọ 43; có 3 nghị sĩ đã bày tỏ lòng thương tiếc, thể hiện sức ảnh hưởng của Rosenblatt bấy giờ; Minsky đã dành cuốn sách Perceptron để tưởng nhớ Rosenblatt
Rosenblatt mất đã đổi hướng tài trợ, nhất là của chính phủ Mỹ, khỏi những mạng lưới thần kinh nhân tạo, chuyển sang những phương pháp phát triển AI biểu trưng
Yuxi Liu
ngày 11 tháng 1 năm 2024 nghiên cứu sinh tiến sĩ Yuxi Liu ở trường Berkeley xuất bản bài viết Perceptron miêu tả sâu và toàn diện hơn về tranh cãi hồi ấy
sau nhiều năm, nhiều nghiên cứu sinh đã bổ sung những phức tạp mới vào Perceptron để nó hữu ích hơn; ví dụ hàm sigmoid thay cho nhị phân
thập niên 1980 thuật toán truyền ngược [backpropagation] nổi lên, để huấn luyện những mạng lưới đa-lớp
năm 1962 Rosenblatt nêu lên thuật ngữ 'sửa lỗi truyền ngược' [back propagating error correction] nhưng thuật toán nhắc đến đã rất khác
Không có nhận xét nào:
Đăng nhận xét