The 2020 Data & AI Landscape

แผนที่และคำอธิบายอุตสาหกรรมข้อมูลและปัญญาประดิษฐ์ปี 2020 ที่ Matt Turck นักลงทุน VC จาก FirstMark สรุปไว้ในภาพเดียว

• เทรนด์สำคัญของ Data Infra

→ สแต็กข้อมูลสมัยใหม่กลายเป็นกระแสหลัก: Snowflake, BigQuery, RedShift, DBT, Fivetran, Stitch, Looker..

→ ETL vs ELT

→ ระบบอัตโนมัติของวิศวกรรมข้อมูล

→ การเติบโตของนักวิเคราะห์ข้อมูล

→ การผสาน Data Lake กับ Data Warehouse? = Data Lakehouse หรือ Unified Analytics Warehouse

→ ความซับซ้อนยังคงอยู่:

⇨ ความต้องการเทคโนโลยีสตรีมมิงแบบเรียลไทม์เพิ่มขึ้น

⇨ เอนจิน orchestration: เริ่มจาก Airflow และ Luigi ไปจนถึงเอนจินรุ่นถัดไปอย่าง Prefect, Dagster, Kedro, Metaflow เป็นต้น

⇨ Data Lineage & DataOps: LinkedIn (Datahub), WeWork (Marquez), Lyft (Admunsen), Uber (Databook)

• เทรนด์สำคัญของ Analytics & Enterprise AI

→ ยุคเฟื่องฟูของแพลตฟอร์ม Data Science และ Machine Learning (DSML)

→ ML ถูกนำไป deploy และ embed ใช้งานจริง

⇨ MLOps

⇨ AI Governance, AI fairness

⇨ Decision Science (optimization, simulation)

→ ปีแห่ง NLP: GPT-3, BERT, ELECTRA

• การลงทุน การ exit และ IPO สำคัญ

→ IPO: Snowflake, Palantir, Datadog, Sumo Logic, Dynatrace, Cloudflare

→ M&A: ARM(NVIDIA), SignalFX(Splunk), Habana Labs(Intel), Fitbit(Google), Moovit(Intel)

→ การเข้าซื้อกิจการขนาดเล็กแต่ชวนสนใจ: MapR(HPE), HortonWorks(Cloudera), Arcadia Data(Cloudera), Redash(Databricks)..