今天很榮幸的參加 Google Cloud OnBoard
場地活動辦在台大體育館,我整個被 Google 的財力驚呆
展場佈置超用心,而且規模是我參加 AWS 兩倍的人吧?!
現場還提供遊戲機可供現場的宅宅遊玩
整個被 Google 的氣勢震懾
由於 8:30 就開始入場,現場還提供免費早餐、咖啡,當然午餐也不能少
我甚至看到有人分析為什麼 GCP 訂復興空廚的文章 XD
整體進行的方式與 AWS 差很多
雖然規模盛大,但網路也因為人太多整個炸掉,完全跑不動
這部分的體驗真的頗差
但好在我有朋友念台大,就趕緊借帳號壓壓驚,才順利的把文件下載下來
這次探討的主體集中在大數據、機器學習的應用
之前就有耳聞 GCP 在機器學習正熱的時候就開發了服務提供給使用者使用
但這是我沒有接觸過的領域!一直覺得很困難
整體聽下來還蠻驚豔的!透過串接 GCP 的 API 真的可以做到好多事情
但後面就有點聽不太懂了QQ
但還是可以提供大家官方美美的 PDF 講義
我覺得內容整理的很好,而且視覺上很舒適
之前參加 AWS 的講座有時簡報的字還會因為講者製作的問題,顏色辨識不清
基本上大家可以直接看講義啦,不過我還是有整理出一些重點給大家參考
那就開始我們今日的課程吧!
Compute Engine
- compute engine => 起 VM
- 資料不能放在 VM 上 => VM 可能需要節省資源關閉或上開
Cloud Storage
利用 Cloud SDK 上傳檔案,語法在下方
- 選擇位置相近的 region 可以講低延遲
- 不同地區的 region 都有資料的副本並同步更新
- 這是目前(2019)GCP 的資料中心據點
- 在 GCP 使用 ssh 可直接連線,不須 private key or public key 保障安全
- 提供 cloud shell => 開啟GCP內建的 terminal 方便下指令
雲端整合
如何選擇:
Google Velostrata
- 快速搬遷 VM,可跨雲、可測試,但有限定相容的平台才能支援
運作方式:
- 先在雲端複製一份,在背景抄寫檔案在置換
- 時間一樣,但可以先跑在雲端上
架構圖:
Google Anthos
- 混合雲,管理跨雲應用
- 採用 Velostrata 搬遷模式,跟 Velostrata 架構類似
- https://blog.gcp.expert/google-cloud-next-2019-summary-anthos/
架構圖:
關係圖:
storge
GCP 資料儲存的分類:
差異:
cloud SQL
- 價格彈性
- 支援 MySQL
- 副本
- Security 設定的好就可以從任何地方連
cloud_sql proxy
- 不要用 IP 連,用 cloud_sql 控管連線權限
- cloud_sql proxy不是用 IP 確認身份,是用 user 權限的 token 確認是否可以連線
spanner
- 資料量大,擴張快
- 低延遲
Big table
- 一開始 google 拿來做搜尋引擎的資料表
- 大量資料讀寫
- 字典序排序 Row Key
- key design 設計好,就可以快速找到相關結果(關鍵字)
- 因為表太大張,要直切、橫切個別儲存
- 相關的資料會被放在同一個Column families
BigQuery
- 運算速度快
如何放資料:
- Cloud Storage
- 資料串流
- big table
- Google Drive
- 是用檔案的方式儲存,只是 format 比較特別,所以不要把它想成是資料庫
data lab
- 資料運算
Google Dataproc
- 支援大數據可以使用的開源
- http://hadoop.apache.org/
- http://pig.apache.org/ (跑在 Hadoop 上,把程式碼轉成 Java)
- http://hive.apache.org/ (跑在Hadoop 上)
- http://spark.apache.org/ (優化Hadoop)
machine learning API
TensorFlow
- GCP 提供的開源 library
流程:
如何訓練模型:
CloudML machine
- 精簡散佈的TensorFlow
提供許多 API!
Vision API
- 臉部辨識
- logo 辨識
Translation API
- 翻譯
Cloud Natural Language API
- 意見回饋分類
Cloud Speech API
- 聲音轉文字
Natural language API
- 文字轉聲音
Cloud Vedio Intelligence
- 影片辨識
Dialogflow
- 聊天機器人
Message Queue
(這就是我聽不懂,中途被前輩拎去吃牛排的部分了 Q,請大家翻閱講義詳讀嚶嚶)
Resources
Google Cloud Platform: https://cloud.google.com/compute/
Datacenters:https://cloud.google.com/storage/
Pricing:https://cloud.google.com/pricing/
Cloud Launcher:https://cloud.google.com/launcher/
Pricing Philosophy:https://cloud.google.com/pricing/principles
Cloud SQL:https://cloud.google.com/sql/
Cloud Dataproc:https://cloud.google.com/dataproc/
Cloud Solutions:https://cloud.google.com/solutions/
以上就是我簡單整理的心得重點
可以發現我幾乎都是截圖簡報
我真的覺得他的簡報做很好,然後又有點懶就哈哈哈
希望我的分享可以幫到大家
最近發現我上上篇 AWS DB 心得的文章居然有 45 人觀看
真是太讓我震驚了
我的文章真的有人會看欸
當然有看到任何錯誤都歡迎指正!
歡迎大家當個善良的人~
最近突然想起 Medium 有拍手功能,應該來幫自己拍個幾下#
拍個手讓我知道,這個文章對你們有幫助 ♥(´∀` )人