URL: https://www.skaisummit.com/
SK AI SUMMIT 2024
AI TOGETHER, AI TOMORROW
www.skaisummit.com
Keynote, Exhibition, Session에서 관심 있게 본 내용 정리
1. KEYNOTE
(1) 전력 부분
- AI 데이터센터는 막대한 전력을 필요로 하나, 기존 전력망으로는 감당하기 어려움.
- 독자적 전력망 구축, 원자력 등의 대안이 필요함.
(2) 칩 설계 문제
- AI 기능 확산을 위해 GPU 보급과 설계 개선이 중요하며, 전력 소모와 발열 감소가 과제로 떠오름.
- 현재 NVIDIA 칩은 전력 소모와 발열이 높아 수냉 방식을 사용 중이나, SK는 침냉 방식(특수 액체를 이용한 냉각)을 개발 중임.
- TSMC와의 생산 협력으로 전력과 발열을 낮출 수 있는 방법도 모색 중임.
2. EXHIBITION
- SK와 AWS, Google 등의 빅테크, AI 스타트업이 참여하여 솔루션을 소개함.
- 스타트업들은 GPU 비용 절감, 모델 학습 및 서빙, 제조 공정 AI(불량률 체크), 실시간 번역 등의 솔루션을 제시함.
3. SESSION
(1) LLM Orchestration 기술
- LLM은 언어 이해와 논리적 사고 등에서 강점을 보이나, 최신 정보 접근과 사실 검증에는 한계가 있음.
- 장점은 LLM으로 활용하고 단점에는 Tool을 결합하는 방식(RAG 등)을 제안함.
(2) RAD AI Omni Reporting
- 미국 영상의학 분야에서 X-ray와 CT 분석을 AI가 리포팅하며, 필요 자료를 함께 첨부하여 효율적 리포팅 제공.
- 데이터 축적을 통한 수익 모델로, 향후 다양한 분야로 확장 가능성이 높음.
Session 내용 일부 정리
SK AI SUMMIT Session에서 도움이 되었던 내용을 정리합니다. 해당 내용은 Session 내용을 듣고 정리한 내용입니다.
[Day1] 1. AGI for Work를 위한 엔터프라이즈 기업의 생성형AI 도입전략 - 업스테이지
(1) LLM 시장의 진화
- LLM의 부상: ChatGPT로 시작된 시장은 과거에는 각 작업마다 특화된 AI 모델이 필요했음.
- 빅테크 주도: 대규모 자본과 컴퓨팅 파워를 지닌 빅테크 기업이 생성형 AI 시장을 주도.
(2) 폐쇄형 vs. 오픈형 모델
- 성능 격차 축소: 라마3 이후 메타 중심의 오픈형 모델과 폐쇄형 모델 간 성능 차이가 크게 줄어듦.
- sLLM으로 전환: 기존 LLM의 비효율성 때문에 더 효율적인 소형 LLM(sLLM)으로의 전환이 이루어지고 있음.
- 시장 적용: sLLM을 파인튜닝 및 RAG(Retrieval-Augmented Generation) 기반으로 활용하는 방법이 시장에 적용 중.
(3) Meta llama3 자료
- Pytorch 커뮤니티: https://discuss.pytorch.kr/t/meta-llama-3-8b-70b-400b/4112
- Meta: https://about.fb.com/ko/news/2024/07/introducing-llama-3-1-our-most-capable-models-to-date/
(4)엔터프라이즈 업무용 AGI
- 특정 분야 집중: 업스테이지 같은 기업들은 특정 업무 분야에 집중하여 초기 시장을 공략.
- 미래 변화: 현재는 소프트웨어 + AI 기반이지만, 향후 AI 주도로 작동하는 시장 구조로 변화 예상.
(4-1) 엔터프라이즈 AI 도입 시 주요 과제
- 데이터 품질: 정제되지 않은 내부 데이터는 모델 학습에 어려움을 줌.
- 도입 허들: 데이터 전처리, 운영 효율성, 성능 최적화 및 커스터마이징이 주요 관문.
(4-2) 성능 향상 요소
- HTML/Markdown과 같은 구조화된 데이터 형식을 사용할 경우 모델 성능이 향상됨.
(5) 생성형 AI 지원 모델
- 팩트 체크 모델, 업데이트 확인 모델, 주요 인사이트 추출 모델, 자동 레포트 생성
[Day1] 2. LLM orchestration 기술을 활용한 고객센터 에이전트 개발 사례 - sk텔레콤
(1) LLM Orchestration을 통한 문제 해결 및 최적화 기술 요약
- 외부 도구 활용: LLM의 한계를 보완하기 위해 실시간 문제 해결, 복잡한 계산 및 전문적 계산에 외부 API나 플러그인을 결합해 사용
- LLM 오케스트레이션: LLM의 활용도를 높이기 위해 여러 작업을 자동화하고 관리하는 기술
- LLM 오케스트레이션은 단순 모델 호출을 넘어 Prompt Chaining, 외부 API 연동, 데이터 처리 등으로 LLM의 약점을 보완한 기술
(2) 주요기술
- Prompting: 답변 정확도를 높이기 위한 질의법.
- Chain of Thought (CoT): 단계별 사고 과정을 활용해 복잡한 문제 해결.
- Retrieval-Augmented Generation (RAG): 외부 정보 검색 및 연결을 통해 최신 정보 제공.
- ReAct: Reasoning + Acting을 통해 상황 이해와 행동을 결합, 그러나 속도가 느려질 수 있음.
- Plan & Execute: 문제 해결 계획을 세우고, 그에 맞춰 LLM이 행동하며 필요 시 다시 계획을 재정립.
(3) 현실적 어려움
- 단순 답변에는 강하지만, 할루시네이션 발생.
- Function Calling은 제한적인 상황에서 잘 작동하지만 복잡하면 문제 발생.
- ReAct는 똑똑하나 느림.
- Plan & Execute는 정확도가 중요하지만, 시간 문제를 루프 제한으로 해결.
(4) Prompt Engineering 최적화
- 초기 단계는 쉽지만, 정확도 향상 과정에서 Instruction, 예시, Reject 조건, 강조 등의 트릭이 필요해 Prompt가 길어짐.
- Token 최적화: 간결하고 중복, 충돌이 없게 작성하며, 영어 사용 및 네이밍에 신경 써야 함.
- Prompt Caching: 반복 프롬프트와 응답을 저장해 재사용, 처리 시간과 비용 절감.
(5) Single-Agent vs. Multi-Agent
- Single-Agent: 간단하고 효율적이나, 성능이 낮을 수 있음.
- Multi-Agent: 복잡하지만 성능 우수.
(6) LLM의 장단점
- 장점: 적정 난이도의 문제 해결, 언어 이해와 맥락 파악, 논리적 사고, 자연스러운 글쓰기, 질문 응답 및 요약, 코드 작성.
- 단점: 할루시네이션, 최신 정보 부족, 완전한 Action 수행 보장 어려움, 사실 검증 한계.
(7) 결론
- LLM의 부족한 부분을 Orchestration과 Tool로 보완함으로써 문제 난이도 조절, 정확한 정보 제공, 100% 정확도 수행 보장을 돕고, LLM의 강점에 집중함.
- LLM은 단독으로 완벽한 해결을 제공하진 않음. 특히 RAG는 단순해 보여도 세부 구현이 까다로워, LLM의 약점을 보완하고 강점을 최대화하는 도구와의 결합이 필요함.
[Day2] 1. AI를 이용한 맞춤형 항암치료, 현재와 미래 - 임프리메드
(1) 상황
- 암 치료 및 개발에 매년 약 1,900억 달러가 소요되며, 약물 개발에는 평균적으로 2.6년이 걸리고 26억 달러의 비용이 듭니다.
- 매일 전 세계에서 약 26,000명이 암으로 사망하고 있습니다.
(2) 정밀의학과 개인 맞춤형 치료
- 사람마다 암의 특성과 반응이 다르기 때문에 각기 다른 치료법이 필요합니다.
(3) 구현의 어려움
- 데이터가 방대하고 오차 발생 가능성 존재
- 의사와 전문가의 판단 차이 발생
- 상황마다 치료 결과가 달라짐
(4) 현재 진행 상황
- 특정 암에 대해서는 가이드라인이 존재하며, 환자의 특성에 따라 분류해 치료를 진행하고 있습니다.
(5) 미래 전망
- AI를 통해 암 환자 데이터를 체계적으로 분석하여 일관되고 표준화된 치료 모델을 만들 수 있습니다.
- 하지만 데이터셋에 지나치게 오버피팅될 위험이 있고, AI는 결과에 대한 책임을 지지 못하는 단점이 있습니다.
- 또한, 항암 세포는 체외에 나오면 금방 사멸하는 특징이 있음.
- 임프리메드 자체 기술을 통해 실험실 환경에서도 오래 유지할 수 있게 되어, 항암제 실험이 가능해짐.
- 이를 통해 특정 항암제가 환자에게 효과가 있을지 여부를 사전에 테스트할 수 있습니다.
- 사람에 따라 복합적인 약물 조합이 필요할 수 있는데, 이는 여러 변수(나이, 병력 등)를 AI가 학습해 최적의 치료 조합을 예측할 수 있는 모델을 개발하는 방향으로 발전하고 있습니다.
(6) 결론
- 임프리메드는 현재 의료체계에서 데이터 분석에 한계 영역에서 AI로 돌파구를 찾고 있음.
- 의료계는 데이터 부분과 보험 문제로 인해 장벽이 높음. -> 주로 미국이 개방적임.
- 위 문제로 인해 현재는 혈액암으로 테스트를 진행중인데, 그 마저도 데이터가 약 500명의 데이터 정도임.
- 이후에는 고형암에서도 테스트할 예정임.
[Day2] 3. 미국 헬스케어 현장에서의 AI 활용 사례 - Soundable Health
(1) Soundable Health
- 스마트폰으로 일상 소리를 수집하여 해당 소리를 바탕으로 현재 환자 상태를 판단하는 솔루션 업체
- ProudP: 어플, 스마트폰으로 소변 소리 녹음하면 전립선 상태 파악 가능 (FDA 승인)
(2) 의료 AI
정확성 문제
- 기존 ChatGPT와 달리 높은 정확성을 요구함.
데이터 문제
- 프라이버시, 보안 문제: 23andMe와 같이 고객정보가 해킹되는 문제 생기는 경우는 어떻게 할지?
- Bias 문제: 어른 정보만 있는 경우에 아이도 해당된다고 하는 문제
- AI 모델 학습 문제: 환자 데이터는 비식별화되면 사용이 가능한지?
- AI 모델 문제: 회사 서버에서 동작해야할지, 병원 클라우드에서 동작할지
- 데이터 수집 문제: 특정 도메인에 대한 데이터를 어떻게 모으고 어떻게 처리해서 데이터화 할지?
책임성 문제
- AI 판단에 대한 책임 소재 구분
(3) 의료 AI의 미래
(3-1) Biological Processes - AlphaFold & AlphaMissense by DeepMind
- 단백질 분석 예측 모델
- 이전에는 X선, 초저온 현미경 (특정 장비)을 통해 볼 수 있었는데 지금은 모델을 통해 대략 확인 가능
(3-2) Diagnostics and Treatment - HeartFlow FFRCT
- 기존에는 심혈관에서 시술하면서 혈관상태를 확인하여 의사와 환자 모두 부담임.
- 현재에는 AI 분석을 통해 많은 정보를 얻을 수 있음. 간단하게 CT촬영만으로 많은 진단이 이뤄짐.
(3-3) Workflow & Admin Optimization - RAD AI Omni Reporting
- 영상의학과에서 얘기한 거에 대해 텍스트를 만들어주고 관련 자료도 첨부해주는 기술임
- 임상쪽에서 특화해서 리포팅 AI
- 리포팅 데이터와 관련 분석 자료를 쌓으면서 사업하는 모델이라 이후에 확장 가능성이 큰 사업모델임.
SK AI SUMMIT 참석 후기
Keynote, Exhibition, Session까지 AI 관련된 내용을 무료로 관람할 수 있어서 좋았습니다.
특히 Keynote는 SK가 나아가고자 하는 방향을 말해줘서 미래 예측을 들을 수 있엇던 시간이었습니다.
Exhibition에서는 SK의 최신 HBM과 실제 반도체를 보는 것과 설명도 친절하게 해주셔서 대략적인 이해를 할 수 있었습니다.
Session에는 주로 SK 서비스가 많았지만 그 중에서 Ochestration 부분이 제일 인상 깊었던 것 같다.
현재 LLM 서비스를 어떻게 개발할지에 대해 고민이 많았는데, 해당 부분에 대한 세션을 통해 들을 수 있어서 좋았습니다.
또한, 의료 분야에서도 요즘 활발하게 AI가 사용되지만 실무자 고민이나 업계 현황을 알기가 어려운데, 해당 부분을 공유한 것이 기억에 남았습니다. 해당 분야는 데이터, 보안, 보험 등과 같이 여러 이해관계가 얽혀있는 것 같아 풀기에는 시간이 걸리겠지만 데이터도 많고 고품질이라서 AI로 해결할 것이 많아 보였습니다.