'우리는 일반적으로 약물 개발 과정에 수년이 걸리는 일을 몇 달 안에 수행하고 있습니다.': DoE의 Argonne Labs는 AI로 코로나19와 싸우고 있습니다.

전염병 같은 것이 과학 연구의 속도를 높일 수 있습니다.

예를 들어, 신경망은 컴퓨터에서 새로운 종류의 신호를 찾아냅니다. 코로나 19 과학자들이 치료법을 찾는 방식을 바꿀 수 있는 질병.

미국 에너지부 산하 9개 거대 슈퍼컴퓨팅 센터 중 하나인 아르곤 국립 연구소(Argonne National Laboratories)는 몇 달 동안 새로운 컴퓨팅 성능을 포함한 대규모 컴퓨팅 성능을 사용해 왔습니다. 실리콘 밸리 스타트업인 Cerebras Systems의 기계를 사용하여 기존 약물이 바이러스 단백질과 어떻게 "도킹"되는지, 즉 약물이 바이러스의 기능적 부분에 얼마나 잘 부착되는지를 모델링합니다. 바이러스.

보다: 봉쇄 이후의 삶: 귀하의 사무실 업무는 결코 예전과 같지 않을 것입니다. 예상되는 사항은 다음과 같습니다(커버 스토리 PDF) (테크리퍼블릭)

약물이 잘 도킹되는 것으로 밝혀지면 이론적으로 해당 약물은 바이러스를 비활성화할 수 있습니다. 컴퓨터 시뮬레이션에서 이러한 도킹 점수를 예측하면 과학자들은 실험실에서 살아있는 바이러스로 시험해 볼 수 있는 짧은 약물 목록을 안내받을 수 있습니다.

그 연구는 몇 가지 유망한 초기 징후, 즉 바이러스를 억제하고 도킹하는 것을 보여주고 있다고 말했습니다. Argonne의 컴퓨팅, 환경 및 생명 과학 부연구소장인 Rick Stevens는 다음과의 인터뷰에서 말했습니다. ZDNet 전화로.

또한: 스타트업 Tenstorrent는 AI가 컴퓨팅을 변화시키고 있으며 그 반대도 마찬가지임을 보여줍니다.

이는 엄청난 양의 연구를 빠른 속도로 생산하는 Argonne과 같은 강력한 실험실의 경우에도 표준을 훨씬 벗어나는 발견 속도입니다.

Stevens는 "일반적으로 약물 개발 과정에 수년이 걸리는 일을 우리는 몇 달 안에 수행하고 있습니다."라고 말했습니다.

기계 학습 도킹 점수를 예측하기 위해 수년 동안 사용되어 왔지만 현재 작업은 이전 노력을 훨씬 뛰어 넘습니다. 아르곤은 세 가지 다른 종류의 새로운 설정을 만들었습니다. 딥러닝 각 네트워크 자체보다 더 나은 결합된 점수를 만드는 신경망.

그러나 "그것은 흥미로운 부분이 아닙니다"라고 Stevens는 말했습니다.

Stevens에 따르면 흥미로운 부분은 과학자들이 분자 이미지를 기반으로 예측을 할 수 있다는 것을 발견했다는 것입니다. 도킹은 일반적으로 "지문"으로 알려진 분자의 화학적 모델을 사용하여 이루어지기 때문에 이는 특이한 현상입니다. "설명자." 이러한 설명에는 화학적 결합과 픽셀 질량에 대한 높은 수준의 구조적 정보가 포함되어 있습니다. 이미지에서.

"이것에서 가장 흥미로운 점은 신경망의 아키텍처가 아닙니다"라고 Stevens는 말했습니다. "분자 이미지가 실제로 분자를 표현하는 방식으로 작동한다는 사실입니다."

"우리는 그것이 그렇게 잘 작동하는 데에는 몇 가지 근본적인 이유가 있다고 생각하며, 이를 여러 다른 논문에 작성하는 과정에 있습니다"라고 그는 말했습니다.

"이는 분자의 고유한 이미지 기반 표현에 지문이나 설명자 기반 정보에서 추출하기가 훨씬 어려운 정보가 포함되어 있다는 사실과 더 관련이 있습니다."

그래프에서 작동하는 신경망, 즉 네트워크처럼 표현된 분자 간의 연결을 통해 그는 또한 동일한 정보 중 일부를 제공하지만 "반드시 프로그램이 쉽게 접근할 수 있는 방식은 아니다"라고 지적했습니다.

아르곤 연구의 핵심은 유망한 약물을 개발하는 데 걸리는 시간을 줄이는 것입니다. 처음부터 시작하면 가능한 10의 60승 이상을 검색하는 놀라운 조합 문제가 나타납니다. 우주의 별 수보다 많은 소분자 약물을 개발하려면 각각 약 70개의 표적을 대상으로 테스트해야 합니다. 바이러스.

대신, 알려진 관심 분자의 짧은 목록으로 시작하여 과학자들은 잠재적으로 면도를 할 수 있습니다. 약품 개발 과정에서 수년이 걸리며, 처음부터 시작하면 평균 10년이 걸립니다. 할퀴다.

또한: 스테로이드 기반 AI: Bengio, Hinton 및 LeCun에 따르면 새로운 하드웨어와 함께 훨씬 더 큰 신경망이 제공될 예정

"우리가 하려고 하는 것은 모든 기존 약물을 포함하여 가능한 최고의 납 화합물 목록을 만드는 것입니다."라고 Stevens는 말했습니다. 약 9,000개 정도에 불과하지만 다양한 라이브러리에 연결되어 있는 약 40억 개의 화합물을 통해 스트리밍됩니다. 9,000개의 약물을 테스트하는 것은 약물 개발에서 점점 더 보편화되고 있는 과정입니다. 용도 변경.

아르곤의 이 검색 절차는 연구실에서 수년 동안 진행되어 왔지만 바이러스로 인해 속도가 빨라진 암 연구에 뿌리를 두고 있습니다. 스티븐스는 "우리는 많은 암 연구를 코로나19 연구 방향으로 전환했다"고 말했다.

이는 Argonne 자체에만 국한되지 않습니다. 이 프로젝트에는 9개의 DoE 실험실과 학술 실험실을 포함하여 20개 기관에 걸쳐 280명이 참여합니다. 시카고 대학교, 미시간 대학교, 런던 대학교, 테네시 대학교, 텍사스 대학교, 캘리포니아 대학교 등이 포함됩니다. 샌디에고. Stevens는 "이것은 큰 목록입니다."라고 말했습니다.

검색할 수 있는 우주가 더 작더라도 Argonne은 엄청난 컴퓨팅 성능을 활용해야 합니다. 설명자와 지문을 이미지와 결합하기 위해 Argonne은 새로운 컴퓨터를 사용해 왔습니다. 대뇌, 실리콘 밸리의 Los Altos에 본사를 두고 있습니다.

대뇌 지난 8월 칩 세계를 놀라게 했습니다. 거의 전체 실리콘 웨이퍼를 차지하는 최초의 컴퓨터 칩을 공개하여 지금까지 세계에서 가장 큰 칩이 되었습니다. 아르곤은 첫 번째 고객 발표 칩을 실행하기 위해 제작된 컴퓨터 Cerebras의 경우, CS-1이라고 불리는.

Stevens는 CS-1이 수많은 CPU나 GPU를 함께 묶는 문제 없이 많은 신경망의 조합을 "반복"할 수 있다는 것이 핵심이라고 말했습니다.

"Cerebras [기계]는 매우 빠르며 우리가 수행하는 반복적인 설계 작업 흐름에서는 많은 아이디어를 테스트해야 합니다."라고 그는 말했습니다. ZDNet.

또한: Cerebras는 MLPerf 작업에 1분도 소비하지 않았다고 CEO는 말합니다.

"기존 GPU에서 실행할 수 있는 것보다 몇 배 더 빠르게 Cerebras에서 이 네트워크를 실행할 수 있는 능력을 갖추게 된 것은 두 가지 알고리즘을 모두 개선하는 동시에 우리가 해야 할 대규모 교육을 실제로 수행하는 데 매우 도움이 됩니다."라고 말했습니다. 스티븐스.

훈련은 과학자들이 신경망을 수정하여 어떤 버전이 가장 잘 작동하는지 확인하는 기계 학습의 초기 단계에 사용되는 용어입니다.

Argonne 도킹 모델은 실제로 거꾸로 된 트리 구조로 배열된 세 가지 다른 신경망입니다. 맨 위에는 가지가 줄기로 병합되는 것처럼 세 가지 다른 신경망이 개별 예측을 제공하는 "완전히 연결된" 레이어가 있습니다. 3개의 네트워크 중 2개는 다중 레이어 퍼셉트론이며, 각 네트워크에는 Attention 레이어라는 기능이 있습니다. 이러한 다층 퍼셉트론 중 하나는 분자 지문용이고 다른 하나는 설명자용입니다.

세 번째 신경망은 이미지 분석에 널리 사용되는 유비쿼터스 컨볼루션 신경망 아키텍처를 기반으로 하며, 그 중 가장 널리 사용되는 것은 ResNet입니다. Stevens가 가장 흥미롭다고 생각하는 분자에 대한 놀라운 새로운 정보 소스를 생성한 것은 바로 이 컨볼루션을 기반으로 한 세 번째 네트워크입니다. 그러나 최고의 예측 정확도를 제공하는 것은 세 가지 네트워크의 조합입니다.

이 세 가지 요소는 모든 종류의 컴퓨터에서 실행될 수 있지만 그러한 네트워크의 엄청난 규모는 "클러스터에 있는 수많은 GPU에 걸쳐 이를 조정하는 데 많은 시간을 소비할 수 있습니다."라고 말했습니다. 스티븐스.

Cerebras WSE 칩에 탑재된 엄청난 양의 온보드 메모리는 이미지에 중요한 역할을 합니다. Argonne과 협력해 온 Cerebras의 수석 제품 관리자인 Jessica Liu는 이렇게 말했습니다. 프로젝트. WSE에는 18GB의 온칩 메모리가 있는 반면, GPU는 일반적으로 메가바이트 분량만 전달합니다. 각 GPU의 메모리가 작다는 것은 데이터가 칩 외부 메모리를 왔다 갔다 해야 함을 의미하며, 이는 작업 부하 분할 및 분산 문제를 야기합니다.

또한: Cerebras의 거대 AI 칩 첫 번째 고객은 슈퍼컴퓨팅 돼지입니다. 미국 에너지부

Liu는 "표준 GPU에서는 칩의 SRAM을 모두 채우기 전에는 매우 큰 이미지 크기로 이동할 수 없습니다"라고 말했습니다. "그러므로 분산 교육을 받아야 하고 분산 모델 병렬 처리로 가야 할 수도 있습니다. 이는 매우 어렵습니다." Liu는 신경망을 여러 구성 요소로 나누어 각각 병렬로 실행되는 기술을 언급했습니다. 별도의 칩.

"그래서 우리는 [Argonne]이 더 큰 해상도의 이미지에서 매우 빠르게 실행될 수 있도록 할 것입니다"라고 Liu는 말했습니다.

Cerebras의 공동 창립자이자 CEO인 Andrew Feldman은 "이런 종류의 연구원과 협력하는 것이 우리가 회사를 설립한 이유입니다."라고 말했습니다. ZDNet.

"그들은 기숙사 냉장고 크기의 단일 기계에서 우리가 하고 있는 작업을 수행하기 위해 25억 달러에 달하는 기계를 30일, 50일 동안 실행하고 있습니다."라고 Feldman은 말했습니다. "그리고 그것은 매우 흥미로운 일입니다."

Argonne은 Cerebras 시스템 외에도 Nvidia의 새로운 "A100" 칩에 대한 코로나19 작업도 수행할 예정입니다. 일주일 전에 발표됨.

"우리는 최초의 DGX 3 고객 중 하나입니다."라고 Stevens는 말했습니다. 멀티 프로세서 시스템 Nvidia는 A100용으로 설계했습니다.. "이제 몇 주 동안 실행되었으며 우리는 이를 다시 코로나19에 사용하고 있습니다."

"이 문제를 해결하기 위해 우리가 해야 할 컴퓨팅 작업이 엄청나게 많습니다"라고 그는 말했습니다.

새로운 Nvidia 장치와의 경쟁에 대해 질문을 받은 Cerebras의 Feldman은 "흥미로웠다고 생각합니다."라고 말했습니다. Rick은 그것이 다가오고 있음을 알고 우리에 대해 이야기하기로 결정했습니다." 즉, Nvidia A100을 의미합니다. 발표.

Argonne이 공유할 결과가 있는지 여부에 대해 Stevens는 "이러한 분자 중 일부는 억제를 보여주므로 좋습니다."라고 말했습니다.

순수한 추측의 분자를 유망한 백신 후보로 만들기 위해서는 컴퓨터 작업 외에도 일련의 긴 단계를 거쳐야 합니다. 가능성이 있는 화합물은 살아있는 바이러스 분석을 통해 테스트된 후 동물 실험을 계속하게 됩니다. 기존 약물이 아닌 분자는 화학자가 합성해야 합니다.

또한: Cerebras는 거대한 AI 칩과의 경쟁에서 최소 3년 동안 선두를 달리고 있다고 최고 투자자가 밝혔습니다.

"실험 파이프라인에서 몇 가지 히트가 진행되었으며 우리는 계산 작업이 제대로 작동하는지 확인하려고 노력하고 있습니다. 실제로 실험 작업을 계속하고 있으며 그 중 다수는 바이러스에 대한 테스트를 위한 도매 분석으로 진행되고 있습니다. 말했다.

Argonne은 기계 학습을 통한 항체 설계 식별, 바이러스의 단백질 구조 이해를 포함하여 다른 여러 분야에서도 움직이고 있습니다. 그는 "바이러스 단백질과 인간 단백질 사이의 상호작용을 방해할 수 있는 인간 내 약물 표적"을 의미하는 인간 내 표적을 찾고 있다고 말했다. 스티븐스.

자세한 배경은 다음에서 찾을 수 있습니다. 가상 프레젠테이션 Stevens와 동료들이 이번 주에 만든 것입니다. 또 다른 리소스는 DoE입니다. 국립가상생명공학연구소.

출판에 관해서는 논문 작성이 진행 중이며 "앞으로 몇 주 안에" 게재되기 시작할 것이라고 Stevens는 말했습니다.

"이 모든 데이터는 동료 검토를 거쳐야 합니다. 우리는 설익은 내용을 가지고 서둘러 언론에 보도하려고 하지 않습니다."라고 그는 말했습니다.