毫末智行采用國産數據庫OceanBase,半年完成數十億數據表遷移

數智前線 2024-04-25 12:24:52

4月25日,自動駕駛領域的人工智能技術公司毫末智行透露,已經完成數十億數據表的遷移工作,而背後采用的是螞蟻集團旗下的自研原生分布式數據庫OceanBase。

自動駕駛領域每天會産生大量的數據集,目前毫末智行擁有數十億的數據對象,包括車型、硬件型號、雷達位置、圖像收集位置等強管理數據庫。對于海量數據的采集、處理、管理,給毫末智行帶來了很大的技術挑戰。整個數據處理過程包括原始數據的采集、分解、打包,數據推理、篩選、分類、自動標注、數據交付等,對時效性、處理效率等要求很高。

毫末智行原本采用的數據庫專注于OLTP場景,在處理極大量數據時容易遭遇性能瓶頸,且擴展方式複雜,難以滿足數據處理階段對擴展性的要求。此外,毫末智行還搭建在多雲環境上,管理難度進一步提升。

作爲一款爲關鍵業務負載打造的分布式數據庫,OceanBase既能比主流單機數據庫提供更好的性能,也能實現分布式架構下事務處理和實時分析的最佳性能,同時以統一的技術棧最小化管理成本。

毫末智行將數據遷移至OceanBase後,對數據進行處理時,即使是超長的慢SQL,執行時間也能保持在2-5秒之間。此外,OceanBase具備動態擴容的能力,可以實現無感知平滑擴容,在數據量增長或業務調整時能快速響應需求。

OceanBase還適配了多雲平台上基于基礎設施的各類存儲系統,同時借助OCP工具,毫末智行的數據庫運維工作人員也得以實現對數據庫的圖形化管理,實現集中管控,更好地管理和監控各個集群的狀態和性能,確保系統的穩定性和可靠性,大大簡化運維流程,減少人工幹預和操作成本。

毫末智行運維工程師趙國良表示,過去半年,通過OceanBase提供的OMS數據遷移工具,已經完成了數十億行數據表的遷移工作,這種大規模的數據遷移需要高度的技術能力和精細管理,進一步證明了OceanBase的強大功能和卓越性能。(數智前線/牛慧)

0 阅读:64

數智前線

簡介:關注數字化、雲計算、智能硬件。