[DT] Model to System: The Age of Inference, Where we are going?

Code

---

• History: Rule ⟶ ML ⟶ DL(+LLM) ⟶ AI System
• Landscape: Service / Algorithm / Compute
  • 미래의 AI = 가전제품시장
• The Rise of Agent: 많은 도구의 조합 ⟶ OOD(Object Oriented Design)
  • AutoGPT, Devin, Vibe Coding, BabyGPT 등
  • 자율성과 효율성 속 비용과 오류의 문제 해결 필요
  • 문제를 보다 정교하게 잘 정의하는 것 필요
  • 활용이 중요 ⟶ “추론”이 중요
  • 칩셋 구조 변화(ALU 세분화): 기존 Intel 주도의 구조에서 ARM 주도의 새로운 구조로 변화
• Robot AI: LLM ⟶ LAM
• Next Ladder: Causal Inference
  • Judea Pearl의 책 “The Book of Why”
  • 패턴인식을 넘어서 인과관계 추론으로
  • The Ladder of Causality
    1. Association
    2. Intervention
    3. Counterfactuals
• Brian christian의 책 “The Alignment Problem”: 인간과 비슷한 의사결정을 한다는 것의 의미를 정의

Data

---

• The Age of Inference is Coming
  • 논문 ‘BitNet v2: Native 4-bit Activations with Hadamard Transformation for 1-big LLMs’: 부동소수점 데이터를 1bit만 사용해 성능 차이 없이 속도 향상
  • 논문 ‘70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float’: 동적으로 부동소수점으로 구현해 데이터 압축
• Data Centric AI
  • 논문 ‘s1: Simple test-time scaling’: 데이터 자가 증식의 시대
  • 논문 ‘Data-Centric Evolution in Autonomous Driving: A Comprehensive Survey of Big Data System, Data Mining, and Closed-Loop Technologies’: 데이터가 중요한 자율 주행
• Proprietary Data / Sensitive Data
• Non-Verifiable Data
  • 우리의 삶에서 0과 1의 스케일로 구분 가능한 Task는 모두 AI가 대체 가능 (Verifiable)
  • 우리는 None-Verifiable을 다루는 것을 추구해야 함

People

---

• Software Engineering
  • Data Scientist ⟶ ML Engineer: 현실은 후자에 가까운 일을 함.
• Agile
  • MVP, Iteration, and Continuous Learning with Databased on Ops
• Automation: -Ops(eg.MLOps)
  • The Era of Decoupling
  • 책 ‘Decoupling’