當前位置:編程學習大全網 - 編程語言 - GO語言商業案例(十八):stream

GO語言商業案例(十八):stream

切換到新語言始終是壹大步,尤其是當您的團隊成員只有壹個時有該語言的先前經驗。現在,Stream 的主要編程語言從 Python 切換到了 Go。這篇文章將解釋stream決定放棄 Python 並轉向 Go 的壹些原因。

Go 非常快。性能類似於 Java 或 C++。對於用例,Go 通常比 Python 快 40 倍。

對於許多應用程序來說,編程語言只是應用程序和數據庫之間的粘合劑。語言本身的性能通常並不重要。然而,Stream 是壹個API 提供商,為 700 家公司和超過 5 億最終用戶提供提要和聊天平臺。多年來,我們壹直在優化 Cassandra、PostgreSQL、Redis 等,但最終,您會達到所使用語言的極限。Python 是壹門很棒的語言,但對於序列化/反序列化、排名和聚合等用例,它的性能相當緩慢。我們經常遇到性能問題,Cassandra 需要 1 毫秒來檢索數據,而 Python 會花費接下來的 10 毫秒將其轉換為對象。

看看我如何開始 Go 教程中的壹小段 Go 代碼。(這是壹個很棒的教程,也是學習 Go 的壹個很好的起點。)

如果您是 Go 新手,那麽在閱讀那個小代碼片段時不會有太多讓您感到驚訝的事情。它展示了多個賦值、數據結構、指針、格式和壹個內置的 HTTP 庫。當我第壹次開始編程時,我壹直喜歡使用 Python 更高級的功能。Python 允許您在編寫代碼時獲得相當的創意。例如,您可以:

這些功能玩起來很有趣,但是,正如大多數程序員會同意的那樣,在閱讀別人的作品時,它們通常會使代碼更難理解。Go 迫使妳堅持基礎。這使得閱讀任何人的代碼並立即了解發生了什麽變得非常容易。 註意:當然,它實際上有多“容易”取決於您的用例。如果妳想創建壹個基本的 CRUD API,我仍然推薦 Django + DRF或 Rails。

作為壹門語言,Go 試圖讓事情變得簡單。它沒有引入許多新概念。重點是創建壹種非常快速且易於使用的簡單語言。它唯壹具有創新性的領域是 goroutine 和通道。(100% 正確CSP的概念始於 1977 年,所以這項創新更多是對舊思想的壹種新方法。)Goroutines 是 Go 的輕量級線程方法,通道是 goroutines 之間通信的首選方式。Goroutines 的創建非常便宜,並且只需要幾 KB 的額外內存。因為 Goroutine 非常輕量,所以有可能同時運行數百甚至數千個。您可以使用通道在 goroutine 之間進行通信。Go 運行時處理所有復雜性。goroutines 和基於通道的並發方法使得使用所有可用的 CPU 內核和處理並發 IO 變得非常容易——所有這些都不會使開發復雜化。與 Python/Java 相比,在 goroutine 上運行函數需要最少的樣板代碼。您只需在函數調用前加上關鍵字“go”:

Go 的並發方法很容易使用。與 Node 相比,這是壹種有趣的方法,開發人員必須密切關註異步代碼的處理方式。Go 中並發的另壹個重要方面是競爭檢測器。這樣可以很容易地確定異步代碼中是否存在任何競爭條件。

我們目前用 Go 編寫的最大的微服務編譯需要 4 秒。與以編譯速度慢而聞名的 Java 和 C++ 等語言相比,Go 的快速編譯時間是壹項重大的生產力勝利。我喜歡在程序編譯的時候摸魚,但在我還記得代碼應該做什麽的同時完成事情會更好。

首先,讓我們從顯而易見的開始:與 C++ 和 Java 等舊語言相比,Go 開發人員的數量並不多。根據StackOverflow的數據, 38% 的開發人員知道 Java, 19.3% 的人知道 C++,只有 4.6% 的人知道 Go。GitHub 數據顯示了類似的趨勢:Go 比 Erlang、Scala 和 Elixir 等語言使用更廣泛,但不如 Java 和 C++ 流行。幸運的是,Go 是壹種非常簡單易學的語言。它提供了您需要的基本功能,僅此而已。它引入的新概念是“延遲”聲明和內置的並發管理與“goroutines”和通道。(對於純粹主義者來說:Go 並不是第壹種實現這些概念的語言,只是第壹種使它們流行起來的語言。)任何加入團隊的 Python、Elixir、C++、Scala 或 Java 開發人員都可以在壹個月內在 Go 上發揮作用,因為它的簡單性。與許多其他語言相比,我們發現組建 Go 開發人員團隊更容易。如果您在博爾德和阿姆斯特丹等競爭激烈的生態系統中招聘人員,這是壹項重要的優勢。

對於我們這樣規模的團隊(約 20 人)來說,生態系統很重要。如果您必須重新發明每壹個小功能,您根本無法為您的客戶創造價值。Go 對我們使用的工具有很好的支持。實體庫已經可用於 Redis、RabbitMQ、PostgreSQL、模板解析、任務調度、表達式解析和 RocksDB。與 Rust 或 Elixir 等其他較新的語言相比,Go 的生態系統是壹個重大勝利。它當然不如 Java、Python 或 Node 之類的語言好,但它很可靠,而且對於許多基本需求,妳會發現已經有高質量的包可用。

Gofmt 是壹個很棒的命令行實用程序,內置在 Go 編譯器中,用於格式化代碼。就功能而言,它與 Python 的 autopep8 非常相似。我們大多數人並不真正喜歡爭論制表符與空格。格式的壹致性很重要,但實際的格式標準並不那麽重要。Gofmt 通過使用壹種正式的方式來格式化您的代碼來避免所有這些討論。

Go 對協議緩沖區和 gRPC 具有壹流的支持。這兩個工具非常適合構建需要通過 RPC 通信的微服務。您只需要編寫壹個清單,在其中定義可以進行的 RPC 調用以及它們采用的參數。然後從這個清單中自動生成服務器和客戶端代碼。生成的代碼既快速又具有非常小的網絡占用空間並且易於使用。從同壹個清單中,您甚至可以為許多不同的語言生成客戶端代碼,例如 C++、Java、Python 和 Ruby。因此,內部流量不再有模棱兩可的 REST 端點,您每次都必須編寫幾乎相同的客戶端和服務器代碼。.

Go 沒有像 Rails 用於 Ruby、Django 用於 Python 或 Laravel 用於 PHP 那樣的單壹主導框架。這是 Go 社區內激烈爭論的話題,因為許多人主張妳不應該壹開始就使用框架。我完全同意這對於某些用例是正確的。但是,如果有人想構建壹個簡單的 CRUD API,他們將更容易使用 Django/DJRF、Rails Laravel 或Phoenix。對於 Stream 的用例,我們更喜歡不使用框架。然而,對於許多希望提供簡單 CRUD API 的新項目來說,缺乏主導框架將是壹個嚴重的劣勢。

Go 通過簡單地從函數返回錯誤並期望調用代碼來處理錯誤(或將其返回到調用堆棧)來處理錯誤。雖然這種方法有效,但很容易失去問題的範圍,以確保您可以向用戶提供有意義的錯誤。錯誤包通過允許您向錯誤添加上下文和堆棧跟蹤來解決此問題。另壹個問題是很容易忘記處理錯誤。像 errcheck 和 megacheck 這樣的靜態分析工具可以方便地避免犯這些錯誤。雖然這些變通辦法效果很好,但感覺不太對勁。您希望該語言支持正確的錯誤處理。

Go 的包管理絕不是完美的。默認情況下,它無法指定特定版本的依賴項,也無法創建可重現的構建。Python、Node 和 Ruby 都有更好的包管理系統。但是,使用正確的工具,Go 的包管理工作得很好。您可以使用Dep來管理您的依賴項,以允許指定和固定版本。除此之外,我們還貢獻了壹個名為的開源工具VirtualGo,它可以更輕松地處理用 Go 編寫的多個項目。

我們進行的壹個有趣的實驗是在 Python 中使用我們的排名提要功能並在 Go 中重寫它。看看這個排名方法的例子:

Python 和 Go 代碼都需要執行以下操作來支持這種排名方法:

開發 Python 版本的排名代碼大約花了 3 天時間。這包括編寫代碼、單元測試和文檔。接下來,我們花了大約 2 周的時間優化代碼。其中壹項優化是將分數表達式 (simple_gauss(time)*popularity) 轉換為抽象語法樹. 我們還實現了緩存邏輯,可以在未來的特定時間預先計算分數。相比之下,開發此代碼的 Go 版本大約需要 4 天時間。性能不需要任何進壹步的優化。因此,雖然 Python 的最初開發速度更快,但基於 Go 的版本最終需要我們團隊的工作量大大減少。另外壹個好處是,Go 代碼的執行速度比我們高度優化的 Python 代碼快大約 40 倍。現在,這只是我們通過切換到 Go 體驗到的性能提升的壹個示例。

與 Python 相比,我們系統的其他壹些組件在 Go 中構建所需的時間要多得多。作為壹個總體趨勢,我們看到 開發 Go 代碼需要更多的努力。但是,我們花更少的時間 優化 代碼以提高性能。

我們評估的另壹種語言是Elixir.。Elixir 建立在 Erlang 虛擬機之上。這是壹種迷人的語言,我們之所以考慮它,是因為我們的壹名團隊成員在 Erlang 方面擁有豐富的經驗。對於我們的用例,我們註意到 Go 的原始性能要好得多。Go 和 Elixir 都可以很好地服務數千個並發請求。但是,如果您查看單個請求的性能,Go 對於我們的用例來說要快得多。我們選擇 Go 而不是 Elixir 的另壹個原因是生態系統。對於我們需要的組件,Go 有更成熟的庫,而在許多情況下,Elixir 庫還沒有準備好用於生產環境。培訓/尋找開發人員使用 Elixir 也更加困難。這些原因使天平向 Go 傾斜。Elixir 的 Phoenix 框架看起來很棒,絕對值得壹看。

Go 是壹種非常高性能的語言,對並發有很好的支持。它幾乎與 C++ 和 Java 等語言壹樣快。雖然與 Python 或 Ruby 相比,使用 Go 構建東西確實需要更多時間,但您將節省大量用於優化代碼的時間。我們在Stream有壹個小型開發團隊,為超過 5 億最終用戶提供動力和聊天。Go 結合了 強大的生態系統 、新開發人員的 輕松入門、快速的性能 、對並發的 可靠支持和高效的編程環境 ,使其成為壹個不錯的選擇。Stream 仍然在我們的儀表板、站點和機器學習中利用 Python 來提供個性化的訂閱源. 我們不會很快與 Python 說再見,但今後所有性能密集型代碼都將使用 Go 編寫。我們新的聊天 API也完全用 Go 編寫。

  • 上一篇:超級跑車模型手工制作教程
  • 下一篇:學習Java需要學哪些內容?
  • copyright 2024編程學習大全網