亚马逊标题自动抓取_15分钟内开始使用Amazon Web Services和全自动资源调配
亞馬遜標題自動抓取
在等待一個新項目時，我想學習一些有用的東西。 而且由于在許多項目中我們需要評估和測試正在開發的應用程序的性能，而很少有足夠的硬件來生成實際負載，因此我決定學習更多有關按需在云中按需配置虛擬機的知識，即Amazon Web Services （AWS）。我已經學到了很多有關可用于AWS的工具以及資源（機器實例，安全組，數據庫等）的自動化設置以及AWS云中虛擬機實例的自動自定義的許多知識。 我想簡要介紹一下AWS，并簡要概述工具和自動化選項。 如果您熟悉AWS / EC2，則可能需要直接將介紹跳到自動化部分。
為什么選擇AWS？
亞馬遜是“基礎設施即服務”的領先提供商，并正在不斷為其產品增加新的服務。 AWS允許您按需創建虛擬機，對其進行負載平衡，將它們連接到“數據庫即服務”（與手動管理的數據庫相比具有多個優點）以及各種其他服務（例如通知，電子郵件和排隊服務） 。 您可以訪問內置監視，并且可以將應用程序部署到基于此的“平臺即服務”，同時保留對這些低級資源的控制權。
關注官方AWS博客以了解新服務，功能等。
AWS入門
要創建一個AWS賬戶，您將需要一部電話和一張信用卡（如果您使用任何付費服務或超出任何免費使用限制都將被收取費用）。 在注冊過程中請務必小心，因為UI并非完全防錯。 您的帳戶可能需要最多兩個小時才能正常運行。
下一步要做的是瀏覽AWS管理控制臺 ，該控制臺可讓您創建和配置各種服務和資源，最有趣的是Elastic Compute Cloud（EC2），您可以在其中啟動新的虛擬機。 管理控制臺很容易解釋，盡管不像我希望的那樣友好。 您可能需要查看這些屏幕快照，以顯示如何在管理控制臺中創建EC2實例 。
簡要概述
AWS的核心規則是，您僅需支付使用費用，即實例的運行時間和流量-請參閱AWS Simple Monthly Calculator 。
最重要的資源是EC2，因為它允許您創建稱為“實例”的虛擬機。 關于它們的內存和計算能力，存在不同類型的實例 。 默認情況下，它們是瞬態的，一旦停止使用它們就會被丟棄（終止）。 您可能還擁有一個由彈性塊存儲（EBS）支持的實例，該實例使您可以停止并重新啟動具有任何狀態并保留更改的實例，Amazon會為此收取$ 0.10 / GB /月。 如果只需要保留一些數據，也可以將EBS存儲作為卷裝入實例。 沒有快速的方法可以重新創建終止的實例，您必須再次執行向導-這是命令行工具和自動化變得很方便的地方。
設置EC2實例時，您可能還需要將它們分配到同一安全組中，并配置對安全組中的哪些人開放的端口（默認情況下，您甚至無法SSH輸入）。
如果您想了解有關EC2的全部信息，請轉到Amazon EC2用戶指南 。
除了EC2外，還有許多其他有趣的服務，例如Elastic Beanstalk（PaaS，當前用于Java Webapp，使用Tomcat），分布式存儲S3等。還有一些其他服務，例如Amazon CloudWatch ，這是一項（性能）針對您的AWS基礎架構的監控工具。 （這可以通過New Relic監視進行補充，以進一步了解應用程序。）
利用亞馬遜免費套餐
亞馬遜免費為新客戶提供一定數量的資源，為期一年，如果您消耗的資源更多，則只需要付費即可。 它包括例如由EBS支持的不停止運行的微型EC2實例（即它是持久的，您可以停止并再次啟動它），15 GB流量，10 GB EBS存儲，5 GB S3存儲，10個CloudWatch指標等不幸的是，盡管它們在Amazon SimpleDB （NoSQL鍵值存儲）中提供了1GB的空間，但它不包括Amazon管理MySQL / Oracle數據庫（ RDS ）。
這意味著您可以免費擁有一個持續運行的EC2 Micro實例（613 MB內存）。 您可以將其用作云中的基礎，例如，因為兩個EC2實例之間的流量更快/更便宜，并且由于它可以完全訪問同一安全組內的計算機。
最佳選擇可能是將您的實例基于Amazon Linux AMI ，它是針對AWS優化的RedHat Linux的變體，配備了大多數AWS API命令行工具和CloudInit，用于自動系統設置（稍后介紹）。 建議您瀏覽用戶指南 ，該指南描述了可用的工具以及如何使用CloudInit。
自動化呢？
如果您是第一次執行某項操作，則AWS Management Console很棒，但是對于重復任務而言，向導太耗時。 特別是如果您需要設置多個實例，比如說RDS數據庫實例，EC2計算機實例以及相應的安全組或許多相同的實例。 我們將研究如何自動執行此操作。
除了設置基礎架構之外，您通常還需要自定義EC2實例（至少通過安裝和啟動所需的EC2實例）。 您可以通過SSH登錄它們，但是能夠自動化它不是很好，特別是如果您需要多個類似的實例嗎？
請注意，我現在只關注自動化AWS用戶的工作。 也可以將AWS配置為在需要時（例如，當負載超過限制時） 自動啟動新的EC2實例 ，但這是另一回事。
概述：
- 基礎架構配置自動化：
- AWS API命令行工具（或AWS Java API或第三方工具/庫）
- AWS CloudFormation
- 實例操作系統和軟件設置自動化：
- Canonical CloudInit（Ubuntu和Amazon Linux AMI）–也許利用Puppet或Chef
- 創建定制的AMI
自動化基礎架構配置
在沒有AWS管理控制臺的情況下，有兩個突出的選項可用于創建EC2實例和其他資源：AWS API命令行工具和AWS CloudFormation。
AWS API命令行工具
亞馬遜為其大多數服務（例如EC2和RDS）提供命令行工具。
EC2 ：Robert Sosinovski早在2008年就發布了關于使用Amazon EC2命令行工具 （盡管其名稱并非特定于Mac OS X）的很好的說明，但它們仍然有效，因此只要關注它們，就無需重復了。它們在這里（基本上是下載，解壓縮，設置環境變量，提供憑據）。 或者，您可以轉到下載頁面并按照官方說明進行操作 。 我建議您創建一個文件夾，以包含所有工具=> $ AWS_FOLDER / ec2 /等，而不是?/ .ec2 /。
如果要使用除默認us-east-1之外的其他AWS區域，則還需要設置環境變量EC2_URL，請參閱區域端點列表或命令ec2-describe-regions 。 例如 （我的URL中間有ec2，與端點列表相反，但顯然也可以）：
export EC2_URL=https://eu-west-1.ec2.amazonaws.com其他工具的身份驗證設置 ：雖然EC2工具的文檔僅描述了通過X.509證書（環境變量EC2_PRIVATE_KEY，EC2_CERT）進行的身份驗證，但其他工具（至少是RDS，CloudFormation）支持通過環境變量AWS_CREDENTIAL_FILE指向統一身份驗證到包含您的AWS Access Key ID和秘密密鑰的文件（可以在您的AWS帳戶中的 “安全性憑證-訪問密鑰”下找到）中，配置在工具的自述文件中進行了描述。
RDS ：RDS命令行工具的設置與EC2非常相似，只需下載它們并添加環境變量，如隨附的readme.txt中所述。
與EC2一樣，您可能需要更改默認的RDS區域 ：
export RDS_URL=https://eu-west-1.rds.amazonaws.comVaadin測試設置中的示例
我最初的計劃是嘗試使用Amazon Web Services進行Vaadin可伸縮性測試中描述的性能測試，不幸的是，由于測試應用程序無法運行，事實證明這是不可能的。 在此過程中，我已自動完成了各個設置步驟，如下所示。 您可能需要查看博客文章以了解上下文。
我不需要創建安全組并允許通過命令行訪問它，就像通過管理控制臺進行操作一樣。 您可以按以下方式打開SSH端口：
ec2-authorize -p 22創建兩個EC2實例：
ec2-run-instances ami-1a0f3d6e -t m1.large -k VaadinAS --instance-count 2 -z eu-west-1c -g quick-start-1- -k指定將與該實例相關聯的現有密鑰對的名稱（管理控制臺為您提供了在首次創建實例時創建的密鑰對）的名稱，從而無需密碼即可進行ssh登錄
- -z指定區域內的可用區（AZ）（在Mgmt Console中創建實例時，您可以看到可用區），最好將所有資源都放在同一AZ中
- -g指定一個現有的安全組（再次在控制臺中創建）； 我相信默認是“默認”
ec2-run-instances命令還支持–user-data或–user-data-file屬性，以將設置指令傳遞給CloudInit，如稍后所述。
要登錄實例，您將需要它們的公共域名/ IP（在命令完成時打印）和用戶名，這取決于所使用的AMI（最簡單的方法：在Mgmt Console中右鍵單擊該實例，然后選擇“連接”以獲取）完整的SSH connect命令）和密鑰文件（在我的情況下為./VaadinAS.pem）。 因此，我將以如下方式登錄我的第一個實例（前提是我已經打開了安全組中的端口22）：
ssh -i VaadinAS.pem ubuntu@ec2-46-137-136-253.eu-west-1.compute.amazonaws.com使用MySQL創建RDS實例（啟動完成可能需要幾分鐘）：
rds-create-db-instance quicktickets --allocated-storage 5 -c db.m1.large -e MySQL5.1 -u quicktickets -p V3ryS3cr3t -z eu-west-1c --backup-retention-period 0 --db-name quicktests- quicktickets將是實例的名稱
- 最大 大小為5 GB（以后可以更改）
- -c –它基于db.m1.large實例
- -e –數據庫類型為MySQL，-u用戶名快捷票，-p密碼V3ryS3cr3t
- -z eu-west-1c將其置于與EC2實例相同的可用區中
- –backup-retention-period 0 –不保留備份（默認：1天）
- –db-name quicktests –連接到它所需
接下來，我需要使數據庫可從我的EC2實例（在安全組quick-start-1中）訪問：
rds-authorize-db-security-group-ingress default --ec2-security-group-name quick-start-1 --ec2-security-group-owner-id- 您可以找到您的AWS賬戶ID在AWS帳號的安全憑據下
要查找實例的主機名，請執行rds-describe-db-instance ，它還會告訴您實例是仍在啟動還是已經在運行。
現在，您可以從安全組中的EC2實例連接到數據庫：
AWS CloudFormation
CloudFormation是Amazon的一項新的（2/2011）免費服務，使您能夠以文本格式描述所需的資源及其依賴項，并使用此“模板”通過以下方式實例化它們（“創建堆棧”）： AWS管理控制臺或通過CloudFormation命令行工具 。 您還可以共享您的模板，并使用和組合其他人創建的模板。 模板還支持UserData屬性，您可以使用該屬性將設置說明傳遞給CloudInit，如稍后所述。 查看此基于屏幕截圖的文章，有關通過管理控制臺設置CF堆棧 。
模板文件示例：
- 4：如您所見，您可以定義屬性（具有默認值），當從模板創建新堆棧時可以為其提供值
- 16、31：接下來，它定義了兩個資源：安全組和EC2實例（使用某些映射，因為AMI的名稱因地區而異）
- 38：可以通過base64編碼的UserData將設置說明提供給CloudInit
- 56：您還可以通過DescribeStacks函數定義哪些信息可用（命令行：cfn-describe-stacks）
通過CloudFormation，您可以定義任何資源（EC2實例，RDS實例，負載平衡器，安全組等），它們的依存關系，以及通過CloudInit定義各種啟動時操作，如SW安裝。 模板是有效的JSON文檔。
示例： 使用CloudFormation和Cloud-Init安裝和啟動RoR應用程序 （具有WaitCondition功能）–它不太長，描述了模板文件的各個部分。 您也可以瀏覽公共模板文件 ，例如： 具有Amazon RDS數據庫實例的單個EC2實例Web服務器 。
2011年6月，亞馬遜還啟動了CloudFormer ，這是一個原型工具，使您可以從帳戶中的現有AWS資源創建CloudFormation模板。
如果您仍需要更多信息，請閱讀《 CloudFormation用戶指南》 。
使用CloudFormation元數據和幫助程序腳本自定義實例
從通過AWS CloudFormation引導應用程序 ：
AWS CloudFormation允許您通過模板中的元數據定義軟件包，文件和操作系統服務的集合。 此外，它還提供了輔助功能
解釋元數據并對其執行操作，安裝軟件包，創建文件以及在實例上啟動或重新啟動服務。 AWS CloudFormation腳本基于基本CloudInit功能構建，使您能夠創建通用的簡單CloudInit啟動腳本，該腳本通過元數據進行數據驅動。 您在元數據中描述了主機上需要安裝的內容，AWS CloudFormation負責此操作。
有關如何使用元數據和幫助程序腳本 （如cfn-init）的說明，請參閱文檔，該腳本用于安裝程序包，下載和解壓縮歸檔文件，啟動服務以及根據元數據部分中的數據創建文件。 它還提到了CloudFormation和Chef或Puppet的集成，在將AWS CloudFormation與Opscode Chef 集成以及將AWS CloudFormation與Puppet集成的白皮書中對此進行了詳細描述。 如果您打算使用CloudFormation，則應完全閱讀此22頁的指南。
（注意： cfn-init支持下載和解壓縮軟件包，可用于例如獲取GitHub按需提供的應用程序的最新源代碼。）
您可以在此模板中看到利用元數據和幫助程序腳本的用法示例。
其他選擇
- AWS Java API（命令行工具使用它，它基于Web服務調用）
- 第三方工具/庫，例如Ruby gem Fog 。
- Chef + Knife和Puppet（我相信他們為AWS WS調用提供了自己的包裝器并利用CloudInit）
自動化EC2實例OS / SW設置
要在EC2實例及其配置中自定義軟件，您可以創建自定義的AMI，也可以將Canonical的CloudInit與支持它的AMI（Amazon Linux和Ubuntu以及其他）一起使用。 如果您使用CloudFormation，則還有另一種基于CloudInit的可能性，如上文CF部分所述。
Canonical CloudInit和實例用戶數據
您可以通過“ 用戶數據”屬性（最大16KB）將任何文本數據傳遞到新實例，然后可以從實例中的http://169.254.169.254/latest/user-data獲得數據（您也可以訪問各種元數據 ）。 CloudInit是由Ubuntu背后的公司Canonical開發的Linux實用程序，可在啟動時（大約在rc.local運行時）讀取這些數據并處理其中嵌入的所有指令。 例如，如果它以＃！開頭。 然后在根目錄下作為shell腳本運行。
CloudInit在用戶數據中接受不同類型的指令，以第一行區分：腳本（＃！…），云配置數據，即要安裝的軟件包等（＃cloud-config），要處理的文件的URL（#include…） ，＃upstart-job向/ etc / init（在每次啟動時運行）中添加一些內容。 它甚至可以處理gzip壓縮的用戶數據和多部分數據，結合幾種指令類型（請參閱cloud-utils和命令write-mime-multipart ）。
＃cloud-config類型非常有用，因為它是安裝軟件包和執行命令的一種比bash腳本更簡單的方法。 它包含YAML格式的指令f.ex。 “ runcmd”運行命令行工具，“ packages”通過操作系統的軟件包管理器安裝軟件包。 示例： 使用 ＃cloud-config 安裝Jenkins CI 。
CloudInit的文檔還不夠完善，您有時可能需要閱讀Python源代碼 。 如果出現問題，可以檢查實例的/var/log/cloud-init.log中的日志。
除了官方文檔外，您可能還想查看Xebia的CloudInit簡介演示文稿，并閱讀Amazon Linux AMI 用戶指南中有關CloudInit的部分。
創建自定義的Amazon Machine Image
CloudInit在啟動時安裝和配置軟件，因此實例需要更長的時間才能完全可用。 如果這是一個問題，那么您可能更喜歡使用已安裝和配置的所有軟件來創建自己的自定義Amazon Machine Image （AMI）。 例如，在此簡短的文章中描述了如何從現有的 （2007年）或官方的AMI定制文檔中 創建新的AMI ，您可能還想看看EC2 AMI命令行工具 。 然后，您將基于定制的AMI創建新的EC2實例。
一些相關的東西
如果您的EC2實例需要進行通信并使用要求它們位于同一子網中的技術，則可以使用Amazon Virtual Private Cloud （VPC；免費），甚至可以通過VPN將其連接到數據中心（每小時$ 0.05）。 例如，對于運行多個JMeter實例，這可能是必需的。
關于JMeter，J?rgKalsbach創建了一個AMI，該AMI簡化了JMeter主從服務器場的創建（3/2010）： JMeter In The Cloud –基于云的負載測試環境 （請閱讀文檔）。 （技巧是，主實例啟動從屬實例，從而知道其IP。我想可以使用CloudFormation，自動縮放和用戶數據/ CloudInit來完成類似的操作。）
摘要
AWS是一個動態開發的平臺，具有不斷改進的工具和不斷增長的服務提供。 使用基于Web的管理控制臺非常容易上手，但是很快將變得更加方便，可以遷移到更加自動化的界面，例如命令行工具甚至整個基礎架構堆棧設置的CloudFormation。 通過創建自定義圖像或在啟動時通過CloudInit和/或CloudFormation的元數據和腳本對實例進行自定義的支持非常好，人們已經將其與自己喜歡的DevOps工具Chef和Puppet結合在一起。
我建議您先使用管理控制臺開始使用AWS，然后在您熟悉概念和用法后切換到命令行工具和CloudInit。 如果需要重復供應多個資源，則應使用CloudFormation及其元數據和幫助程序腳本（也許還利用Puppet / Chef）。
參考： The Holy Java博客上來自JCG合作伙伴 Jakub Holy的15分鐘之內的Amazon Web Services和全自動資源供應入門 。
相關文章 ：
- 測試技巧–不編寫測試
- 在云中開發和測試
- 晴間多云
- 用Scala測試
翻譯自: https://www.javacodegeeks.com/2011/12/getting-started-with-amazon-web.html
亞馬遜標題自動抓取
總結
以上是生活随笔為你收集整理的亚马逊标题自动抓取_15分钟内开始使用Amazon Web Services和全自动资源调配的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 小米9透明尊享版(小米9透明尊享版绝版了
- 下一篇： Java注释处理器