編譯｜Ailleurs

作者｜陳彩嫻

阿里巴巴集團副總裁、阿里巴巴云數據庫產品業務部負責人李飛飛也是達摩學院數據庫首席科學家、達摩學院數據庫和存儲研究實驗室主任。在加入阿里巴巴之前，他是猶他大學計算學院的教授。他的研究興趣包括數據庫系統、大規模數據管理、數據安全、數據分析和機器學習方法，用于系統性能和監控。與此同時，他仍然是ACM Transactions on Database Systems（ACM TODS）期刊副主編多次擔任ACM SIGMOD和ACM SIGKDD高級區域主席曾擔任過各種領導角色(如總聯合主席)和多個領導角色ACM SIGMOD會議項目委員會成員。

近日，ACM對李飛飛的采訪主要包括李飛飛團隊在阿里巴巴云基礎設施建設中的目標規劃、云原生數據庫系統的應用、漫游連接算法的介紹以及機器學習技術對電子商務的巨大影響。最后，李飛飛還談到了他對學術界和行業工作差異的看法。

本文將采訪編譯如下：

ACM：作為阿里巴巴數據庫的首席科學家，么？

李飛飛：我們團隊的主要目標是為阿里巴巴自己的業務運營和阿里巴巴云企業客戶建立一個先進的、世界級的云本地數據庫系統，如我們的云本地關系數據庫PolarDB和云原生數據倉庫AnalyticDB（ADB）。

在云計算時代，由于對彈性、高可用性和可擴展性的需求以及來自不同業務領域的應用程序需求的增長，云本地數據庫變得越來越重要。云應用程序的這些需求為云本地數據庫提供了新的機會，而傳統的企業內部數據庫系統無法完全滿足這些需求。探索共享存儲和完全共享的架構（shared-everything architecture），云原生數據庫利用底層云基礎設施提供的資源池將計算與存儲分離，從而獲得優異的彈性和高可用性。云原生數據庫可以進一步利用要求水平擴展的高并發工作負載（shared-nothing layer）提供分布式查詢和交易處理能力。我們的最終目標是為我們的業務運營和云客戶提供高效、易用、高度可靠的數據庫服務。

ACM：在阿里巴巴雙11全球購物節期間，該網站的流量可以在幾秒鐘內激增150倍。您的團隊開發了哪些工具來處理此類網站的流量波動？您如何看待這些技術在未來的發展趨勢？

李飛飛：如上所述，在處理此類應用場景時，成功的關鍵是通過底層數據庫系統產生高彈性和高可用性。轉眼間，流量將突然激增。可操作的數據庫系統必須以經濟有效的方式抵御這種海嘯「襲擊」。對于典型和傳統的本地數據庫系統，必須提前提供大量的硬件資源，以滿足峰值時的工作負荷。一旦峰值流量在短時間內減少，就可能導致高成本和資源浪費。

相比之下，云原生數據庫系統可以通過探索共享存儲和完全共享的架構來自適應和靈活地分配和釋放資源。計算和存儲的解耦，以及各種資源（計算機和存儲資源）的共享，使云原生數據庫系統具有自適應性。我們還利用分布式查詢和交易處理，通過水平分區提供進一步的可伸縮性，以滿足高并發性的需求。

此外，Raft或Paxos等分布式共識協議式共識協議，使可用區（available zone，AZ）內部和可用區之間的可用性很高，可以處理任何故障，而不用擔心數據丟失、業務停機或中斷。同時，利用軟硬件協同設計進行探索RDMA、NVMe等新硬件和DPDK等內核旁路協議所具有的加速和優化作用。

HTAP（Hybrid Transaction and Analytical Processing，混合事務和分析處理)是云本土數據庫系統追求的另一種趨勢。其目標是在雙11購物節為集群用戶的數據處理和分析需求提供一站式解決方案。

最后，自驅動數據庫(又稱自治數據庫)技術通過編排機器學習技術和云原生組件(如kubernetes）以及各種數據庫模塊(如慢慢)SQL結合診斷和索引推薦，簡化了云設施上云原生數據庫的部署、維護和操作。例如，我們在阿里云建立了DAS（database autonomy service，數據庫自主服務)為雙11運營和云客戶提供服務，以確保我們的系統具有自我修復、自我調整和自適應性。

ACM：你最著名的研究工作之一Wander Join: Online Aggregation via Random Walks”在2016年第35屆ACM SIGMOD會議獲得了最佳論文獎。在這項工作中，您和您的合作伙伴提出了一種新的方法來處理復雜的在線查詢。本文的主要觀點是什么？查詢處理領域的創新探索是什么？

李飛飛：查詢處理和優化是數據庫系統最關鍵的組成部分之一。JOIN(一種用于查詢和訪問多表數據中的數據SQL子句)是最常見但最昂貴的數據庫操作。采樣提供的估計速度遠快于計算的準確結果，這對查詢處理和優化任務非常重要。JOIN采樣非常困難，這是數據庫領域近20年來面臨的挑戰。在這項工作中，我們引入了一種新的數據采樣技術，以實現近似和交互查詢處理（例如，提供在線近似結果，并不斷提高結果的質量）。在線估計器的質量將隨著時間的推移而提高，最終得到準確的結果。這對大數據分析和查詢處理非常有吸引力，因為用戶可以根據自己的意愿發送查詢需求，并立即看到查詢結果，輸出結果的質量將逐漸提高，直到找到準確的結果（如果需要）；否則，用戶必須等待，不知道什么時候才能得到最終的準確結果。它們也可用于查詢優化（例如，估計復雜查詢項目中間查詢結果的基礎）。

本文提出的漫游連接算法通過在連接圖上隨機行走，巧妙地實現了采樣。連接圖不是具體的，而是通過仔細的加權采樣過程和估計的偏差調整來探索概念。這使得漫游連接算法在數量級上優于現有方法，極大地促進了最先進技術的發展。就像我們在2017年一樣ACM SIGMOD一篇論文在會議上被評為研究亮點，「在數據庫管理系統的研究歷史上，大量的研究使用采樣以比精確計算更快的速度估計查詢結果。本文提出了比最先進的技術更好的計算和統計特性的高效替代方案；Postgres開源實現的實驗令人信服地證明了這一點」。

漫游連接產生獨立但不均勻的樣本；但有時，更復雜的分析操作（機器學習方法，如支持向量機）需要獨立和均勻的隨機樣本。我們在那里SIGMOD18中的后續工作展示了如何獲得復雜連接的真正隨機樣本。這項研究還帶來了一些創新，如基于學習的查詢和優化方法。這些想法是DeepDB: Learn from Data,not from Queries!” 以及“BlinkML: Efficient Maximum Likelihood Estimation with Probabilistic Guarantees其他論文都有概述。我們的工作也激發了真實系統的實際應用和設計。

ACM：如何改變阿里巴巴等大型電子商務公司的機器學習方法？最重要的改變方式是什么？

李飛飛：機器學習在現代的進步對更多的組織和社會產生了根本和持久的影響，包括阿里巴巴。例如，阿里巴巴電子商務網站和應用程序中的推薦框架依賴于精心設計和微調的深度學習模型，為瀏覽網站和應用程序的客戶提供更有效的商品匹配。當然，機器學習的影響不僅體現在推薦上。在阿里巴巴數據中心的運營中，我們探索并利用機器學習技術構建了它AIops這種智能監控和協調工具，以提高數據中心運營的效率和有效性。還有許多其他的場景和例子，也都可以表明機器學習和人工智能方法的變革性影響，它們越來越成為許多系統中的關鍵構建組件，包括上面提到的云原生數據庫系統（例如使云原生數據庫系統能夠進行自我調整）。

ACM：在加入阿里巴巴之前，你在美國猶他大學教授。與學術界相比，在工業界工作最明顯的區別是什么？

李飛飛：在猶他大學計算機學院工作期間，我在計算機科學領域的研究和工程生涯的增長和豐富是巨大而難以形容的。它擁有世界上最好的計算機教育和研究項目之一。我將永遠感謝我的學院和學校。然而，在阿里巴巴這樣一家偉大的公司工作無疑為我理解計算機科學提供了不同而豐富的視角，這不僅是一門技術學科，也是一個日益重要的商業領域。為一家公司工作意味著你必須始終把業務和客戶需求放在第一位，并專注于由業務驅動的實際客戶需求。這并不一定意味著你可以沒有長期的規劃目標，但這些目標必須非常集中，并對戰略計劃和具有精心設計和明確描述的商業價值的實際應用具有價值。

這與在學術界工作完全不同。在學術界，首要任務不是創造商業價值，而是創造智力價值。最終目標往往是探索一個未解決的問題或挑戰，即使這種努力最終只是一種智力練習。然而，正是通過追求這種好奇心，我們才能取得創新性的突破。項目的努力最終可以在實踐中推廣和擴展新技術的應用。

歸根結底，無論是在學術界還是在工業界，這一切都是為我們整個社會和文明的良好運作創造價值和貢獻。從我目前的角度來看，我相信我在學術界和工業界的職業生涯已經相互補充和豐富！