"모든 기업이 ML로 가치 창출"머신러닝 산업화가 온다

모든 산업 분야의 기업들이 여러 비즈니스 라인에 수백만 개의 머신러닝 모델을 배포하고 있다. 머지않아 모든 기업이 참여할 전망이다.

‘머신러닝’은 수십 년간 존재해 왔다. 하지만 기업들은 그 대부분의 기간 동안 소수의 모델만 구축했다. 이러한 모델을 위해 박사 및 머신러닝 전문가가 지루하고 고된 작업을 수행해야 했기 때문이다. 

그리고 지난 몇 년 동안 머신러닝은 쉽게 사용할 수 있는 표준화된 클라우드 기반 머신러닝 플랫폼의 등장 덕분에 크게 성장했다. 오늘날 모든 산업 분야의 기업들은 수백만 개의 머신러닝 모델을 여러 비즈니스 라인에 배포하고 있다. 

 

이를테면 美 금융 소프트웨어 회사 ‘인튜이트(Intuit)’는 고객이 세금 공제를 최대화할 수 있도록 지원하는 머신러닝 모델을 도입했다. 머신러닝은 비즈니스의 거의 모든 부분에 영향을 미치고 있다. 인튜이트는 작년 한 해에만 플랫폼 전체에 구축된 모델 수를 50% 이상 늘렸다고 밝혔다. 

또 다른 예로, 美 차량 공유 회사 리프트(Lyft)는 200만 명 이상의 운전자와 3,000만 명 이상 탑승자의 모바일 앱에서 엄청난 양의 데이터를 실시간 수집한다. 이 회사는 수백만 개의 머신러닝 모델을 사용해 즉각적인 주의가 필요한 문제를 알릴 수 있는 경로 또는 주행 패턴의 이상을 정확하게 감지한다. 

하지만 이는 시작에 불과하다. 머신러닝의 다음 단계는 과학자들이 꿈만 꿔왔던 ‘머신러닝의 산업화 및 민주화’다. 

규모에 맞는 머신러닝 모델 구축을 시스템화하고 자동화할 수 있도록 하는 머신러닝 플랫폼과 도구를 통해 소위 포춘 50대 기업뿐만 아니라 모든 기업이 이러한 혁신 기술을 사용하여 진정한 혁신을 이룰 수 있는 큰 변화의 정점에 서 있다. 

머신러닝 산업화로 가는 길 
머신러닝은 산업 전반에 걸쳐 반복적으로 나타나는 트렌드를 따르고 있다. 자동화를 사용해 프로세스를 산업화하고 대량 생산을 달성하는 것이다. 예를 들면 최초의 자동차는 한정 생산으로 고급 차량을 생산하는 두리아(Duryea) 및 패커드(Packard) 등의 부티크 제조업체에 의해 설계됐다. 지루하고 힘든 작업을 필요로 해서다. 

그리고 포드 자동차(The Ford Motor Company)가 자동차 설계 및 제조 공정을 표준화해 조립 라인을 만들면서 이 개념을 뒤집었다. 자동차의 대량 소비가 가능해졌으며, 운송 및 상거래가 영원히 바뀌었다.

90년 후 소프트웨어 산업도 소수의 전문 코더가 개발한 맞춤형 애플리케이션 집합에서 광범위하게 액세스할 수 있는 체계적인 엔지니어링 분야로 유사한 변화를 겪었다. 

오늘날 통합개발환경(IDE), 디버거, 프로파일러 및 CI/CD 도구는 모든 수준의 코더가 강력한 애플리케이션을 만들 수 있게 하는 소프트웨어 개발의 표준화 및 자동화를 제공한다. 애플리케이션 개발 대중화는 대중적인 소프트웨어 소비를 촉진하고, 소프트웨어를 사람들이 살고 일하는 방식에 필수적인 것으로 만들었다. 

머신러닝도 비슷한 산업화 단계를 겪고 있다. 여기서 성공하려면 시를 쓰고 제법 진짜 같은 대화를 만들어내는 등의 멋지고 공상적인 머신러닝 시연이 현실 세계에서의 머신러닝 표준 또는 경로라고 믿게끔 해선 안 된다. 

모터쇼에서 관중을 즐겁게 하는 미래 지향적 콘셉트 카와 같은 ‘부티크’, 즉 개념 증명 데모는 상상력을 사로잡고 흥분을 불러일으키지만 쉽게 복제하거나 확장할 수 없다. 그뿐만 아니라 굉장히 비싸고 비즈니스 가치도 거의 없다. 

수십 년간 이뤄진 작업의 비전과 가능성을 실현하기 위해 머신러닝 모델은 복잡한 비즈니스 문제를 해결하고, 실행 가능한 인사이트를 실시간으로 제공하며, 운영 시스템 및 프로세스에 통합돼야 한다. 

이를 위해서는 ‘머신러닝의 산업화’와 ‘머신러닝 도구의 민주화’가 필요하다. 머신러닝은 체계적인 엔지니어링 분야로 전환돼야 하며, 기업들이 빠르고 효율적으로 구축 및 배포를 확장할 수 있도록 머신러닝 플랫폼과 도구를 널리 사용할 수 있어야 한다. 

클라우드의 ML용 기술 기반
좋은 소식은 머신러닝이 산업화되고 있으며, 과대광고에서 벗어나 2가지 벡터를 따라 형성된 성숙한 엔지니어링 분야로 발전하고 있다는 것이다. 바로 특정 목적에 맞게 구축된 머신러닝 플랫폼과 특화된 머신러닝 도구다. 

머신러닝의 산업화는 클라우드에서 특정 목적에 맞게 구축된 머신러닝 플랫폼의 워크로드를 표준화하는 능력에 달려 있다. 대규모 표준화를 위해서는 클라우드에서 가장 잘 수행되는 안전한 고가용성 분산 인프라가 필요하다. 

특정 목적에 맞게 구축된 머신러닝 인프라를 통해 개발자와 데이터 과학자는 머신러닝 모델을 구축하는 한편 클라우드 및 엣지 기기에 배포할 때 최적의 성능과 최저 비용을 얻을 수 있다. 

또 특정 목적에 맞게 구축된 머신러닝 플랫폼은 개발팀이 머신러닝 인프라와 운영 작업을 모두 관리해야 하는 과중한 부담을 덜어 (개발팀이) 새로운 모델을 구축, 테스트, 학습하는 데 집중할 수 있도록 한다. 

머신러닝이 코드와 데이터를 모두 처리하더라도 소프트웨어 세계에서 개념을 빌려 특화된 머신러닝 도구를 구축할 수 있다. 오늘날 소프트웨어 개발을 강력하게 만든 IDE, 디버거, 프로파일러 도구가 머신러닝을 위해 맞춤화됐다. 머신러닝 워크플로우의 모든 단계에서 코드, 데이터 세트, 아티팩트를 자동으로 추적하는 머신러닝 CI/CD 기능은 자동화, 거버넌스 및 감사 요구사항을 지원한다. 

소프트웨어와 마찬가지로 머신러닝을 위한 CI/CD 기능을 통해 개발자는 롤백하고, 단계를 재생하며, 문제를 해결할 수 있다. 또 프로덕션 단계에 있는 수천 개의 모델에서 대규모 모델 계보를 안정적으로 추적할 수 있다. 

머신러닝 모델 및 예측은 데이터에 따라 달라지며, 이는 모델이 특정 예측을 하는 이유를 파악하는 데도 필수적이다. 이를 위해 많은 머신러닝 플랫폼은 모델 예측을 설명하는 방법뿐만 아니라 내장된 데이터 라벨링 및 준비 도구, 데이터 품질 및 편향 감지 도구를 제공한다.

머신러닝 산업화는 실질적인 수익을 내고 있다. 예를 들면 라틴 아메리카의 음식 배달 업체 ‘아이푸드(iFood)’는 머신러닝 CI/CD 서비스를 사용하여 배달 인력의 경로 최적화를 자동화해 배달 경로 거리를 12%, 운영자의 유휴 시간을 50% 단축했다. 전반적으로 이 회사는 배달 SLA 실적을 80%에서 95%로 향상시켰다.

美 섬유 제조 회사 ‘인비스타(INVISTA)’는 잠재적인 장비 고장을 예측 및 해결하기 위해 자동화된 데이터 분석 워크플로우를 갖추고 있다. 이를 통해 자산 성능 관리(APM)가 향상돼 다운타임을 단축하고, 장비 손상을 줄이며, 수익을 높일 수 있게 됐다.

다국적 소프트웨어 회사 오토데스크(Autodesk)는 자연어 처리(NLP)를 사용하여 단어와 문장 구조를 확인하고, 고객에게 적절한 솔루션을 신속하게 전달할 수 있는 유연한 맞춤형 머신러닝 모델을 구축했다. 이는 잘못된 사례 연결을 30% 줄이고, 고객이 답변을 최대 3배까지 빠르게 얻을 수 있도록 지원한다.

이 밖에 독일의 프로 축구 리그 ‘분데스리가(Bundesliga)’는 40,000개 이상의 과거 경기 데이터를 바탕으로 ‘예측’을 할 수 있도록 머신러닝 모델을 학습시켜 팬 경험을 향상하고 있다(참고로 모델 설명 도구를 사용해 ‘엑스골 매치 팩트(xGoals Match Facts)’ 예측의 로직을 설명한다). 

오늘날 머신러닝 플랫폼과 애널리틱스 도구는 1950년대 인공지능 알고리즘이 처음 이론화됐을 때 컴퓨터 과학자들이 상상했던 것을 하고 있다. 머신러닝 인프라 및 도구의 혁신으로 사실상 거의 모든 부문에서 새로운 비즈니스 혁신이 목격되고 있다.