Google Cloud OnBoard 心得

Kion
9 min readMay 17, 2019

--

https://inthecloud.withgoogle.com/onboard-tw-19/register.html

今天很榮幸的參加 Google Cloud OnBoard
場地活動辦在台大體育館,我整個被 Google 的財力驚呆
展場佈置超用心,而且規模是我參加 AWS 兩倍的人吧?!
現場還提供遊戲機可供現場的宅宅遊玩
整個被 Google 的氣勢震懾

由於 8:30 就開始入場,現場還提供免費早餐、咖啡,當然午餐也不能少
我甚至看到有人分析為什麼 GCP 訂復興空廚的文章 XD

整體進行的方式與 AWS 差很多
雖然規模盛大,但網路也因為人太多整個炸掉,完全跑不動
這部分的體驗真的頗差
但好在我有朋友念台大,就趕緊借帳號壓壓驚,才順利的把文件下載下來

這次探討的主體集中在大數據、機器學習的應用
之前就有耳聞 GCP 在機器學習正熱的時候就開發了服務提供給使用者使用
但這是我沒有接觸過的領域!一直覺得很困難
整體聽下來還蠻驚豔的!透過串接 GCP 的 API 真的可以做到好多事情
但後面就有點聽不太懂了QQ

但還是可以提供大家官方美美的 PDF 講義

https://lp.google-mkto.com/rs/248-TPC-286/images/TW-Onboard_Cloud_Onboard_TPE_Big%20Data_Machine_Learning.pdf?mkt_tok=eyJpIjoiWlRCak9UZzNaV1U0TnpZNCIsInQiOiJLVDJ5Y1U1U0dFUG0wYnppU3JSU29wcFVpdnY3WTNlXC9RMVdCWGtVdWM2TnVpVDE1RkprWUNFcmx3SVlWUlZqUjl4K0p4bnNYY0xYZmRvbzJ0azZoWVdYd01jNU4rSnhnbWljT2lxcXNwRmZGbHZBWFJvU2c1SW5cL0o4TzlrUjUwa3dMbjIwdTkzaFZRbGpTb0FHemJYUT09In0%3D

我覺得內容整理的很好,而且視覺上很舒適
之前參加 AWS 的講座有時簡報的字還會因為講者製作的問題,顏色辨識不清
基本上大家可以直接看講義啦,不過我還是有整理出一些重點給大家參考
那就開始我們今日的課程吧!

Compute Engine

  • compute engine => 起 VM
  • 資料不能放在 VM 上 => VM 可能需要節省資源關閉或上開

Cloud Storage

利用 Cloud SDK 上傳檔案,語法在下方

  • 選擇位置相近的 region 可以講低延遲
  • 不同地區的 region 都有資料的副本並同步更新
  • 這是目前(2019)GCP 的資料中心據點
  • 在 GCP 使用 ssh 可直接連線,不須 private key or public key 保障安全
  • 提供 cloud shell => 開啟GCP內建的 terminal 方便下指令

雲端整合

如何選擇:

Google Velostrata

  • 快速搬遷 VM,可跨雲、可測試,但有限定相容的平台才能支援

運作方式:

  • 先在雲端複製一份,在背景抄寫檔案在置換
  • 時間一樣,但可以先跑在雲端上

架構圖:

Google Anthos

架構圖:

關係圖:

storge

GCP 資料儲存的分類:

差異:

cloud SQL

  • 價格彈性
  • 支援 MySQL
  • 副本
  • Security 設定的好就可以從任何地方連

cloud_sql proxy

  • 不要用 IP 連,用 cloud_sql 控管連線權限
  • cloud_sql proxy不是用 IP 確認身份,是用 user 權限的 token 確認是否可以連線

spanner

  • 資料量大,擴張快
  • 低延遲

Big table

  • 一開始 google 拿來做搜尋引擎的資料表
  • 大量資料讀寫
  • 字典序排序 Row Key
  • key design 設計好,就可以快速找到相關結果(關鍵字)
  • 因為表太大張,要直切、橫切個別儲存
  • 相關的資料會被放在同一個Column families

BigQuery

  • 運算速度快

如何放資料:

  1. Cloud Storage
  2. 資料串流
  3. big table
  4. Google Drive
  • 是用檔案的方式儲存,只是 format 比較特別,所以不要把它想成是資料庫

data lab

  • 資料運算

Google Dataproc

machine learning API

TensorFlow

  • GCP 提供的開源 library

流程:

如何訓練模型:

CloudML machine

  • 精簡散佈的TensorFlow

提供許多 API!

Vision API

  • 臉部辨識
  • logo 辨識

Translation API

  • 翻譯

Cloud Natural Language API

  • 意見回饋分類

Cloud Speech API

  • 聲音轉文字

Natural language API

  • 文字轉聲音

Cloud Vedio Intelligence

  • 影片辨識

Dialogflow

  • 聊天機器人

Message Queue

(這就是我聽不懂,中途被前輩拎去吃牛排的部分了 Q,請大家翻閱講義詳讀嚶嚶)

Resources

Google Cloud Platform: https://cloud.google.com/compute/
Datacenters:https://cloud.google.com/storage/
Pricing:https://cloud.google.com/pricing/
Cloud Launcher:https://cloud.google.com/launcher/
Pricing Philosophy:https://cloud.google.com/pricing/principles
Cloud SQL:https://cloud.google.com/sql/
Cloud Dataproc:https://cloud.google.com/dataproc/
Cloud Solutions:https://cloud.google.com/solutions/

以上就是我簡單整理的心得重點
可以發現我幾乎都是截圖簡報
我真的覺得他的簡報做很好,然後又有點懶就哈哈哈
希望我的分享可以幫到大家

最近發現我上上篇 AWS DB 心得的文章居然有 45 人觀看
真是太讓我震驚了
我的文章真的有人會看欸

當然有看到任何錯誤都歡迎指正!
歡迎大家當個善良的人~
最近突然想起 Medium 有拍手功能,應該來幫自己拍個幾下#

拍個手讓我知道,這個文章對你們有幫助 ♥(´∀` )人

--

--

Kion
Kion

Written by Kion

程式就是利用自動化與排程的特性解決問題 文章分類總覽: https://hackmd.io/@Kion/SyvyEks0L

Responses (1)