作者 | Aditya Kulkarni
譯者 | 平川
策劃 | Tina
最近,Uber 工程團隊宣布升級其搜索基礎設施,從 Apache Lucene 8.0 升級到 9.5 版本。此次升級提高了 Uber 各項服務的搜索能力、性能和效率。
在一篇博文中,來自 Uber 搜索平臺和數據工程團隊的 Anand Kotriwal、Aparajita Pandey、Charu Jain 和 Yupeng Fu 詳細闡述了本次升級工作。Uber 搜索平臺有一個可靠的架構,包括服務層(讀取路徑)和攝取層(寫入路徑),以及用于離線處理的組件。
服務層負責處理用戶查詢,并從 Lucene 索引中檢索信息。它主要包含兩個部分:路由服務和搜索服務,前者將傳入的查詢定向到適當的搜索節點,并管理負載均衡;后者查詢 Lucene 索引,實時檢索結果。
當數據發生變化時,攝取層會更新 Lucene 索引。基于 Apache Flink 的攝取服務會處理實時更新,確保搜索索引保持最新。
對于離線處理,Uber 使用離線作業。這些 Apache Spark 作業可以處理批量索引創建和重建,高效地處理大量數據,構建或重建 Lucene 索引。

圖片來源:Lucene:Uber 搜索平臺版本升級
工程團隊修改了一個單獨的特性分支,單體存儲庫中受影響的文件有 400 多個,而這些文件與當前的代碼庫并不兼容。為了解決這個問題,團隊選擇了分階段上線 Lucene 更新。首先,他們將其部署到優先級較低的內部用例中,然后再逐步擴展到更高的層級上。
整個過程耗時約 6 個月,包括全面的代碼審查、驗證、與客戶團隊合作以及合并分支前的分級推廣。
Apache Lucene 是一個基于 Java 的搜索引擎庫。它支持各種搜索需求,包括結構化搜索和全文搜索、分面搜索、最近鄰搜索、拼寫糾正和查詢建議。它還有一個子項目 PyLucene,為 Lucene Core 提供 Python 綁定。
最近,他們發布了第 10 個版本,新增一個預取 APIIndexInput(支持對文檔值做稀疏索引),并升級了 Snowball 字典,進而改進了分詞。
本次升級提高了 Uber 的搜索速度和效率。搜索運行速度更快,使用的資源更少,也就是說應用程序用戶可以更快地獲得搜索結果。按照該團隊的說法,有些搜索現在比以前快了 30%,使用該應用的乘客和司機都可以獲得更好的體驗。
這次升級的另一個好處來自對 Uber 基礎設施的影響。Uber 的搜索請求嚴重依賴 CPU 能力,因此降低 CPU 使用率至關重要。這有助于削減基礎設施成本,使 Uber 能夠減少為多個客戶提供服務所需的機器數量。
Uber 升級 Lucene 版本凸顯了在技術驅動的大規模運營中保持核心技術與時俱進的重要性。
原文鏈接:
https://www.infoq.com/news/2024/11/uber-search-infra-lucene-upgrade/返回搜狐,查看更多
責任編輯: