• 推荐两个方案吧:

    一个是目前比较传统的,成功案例也比较多的 Python 爬虫 +Flume+Kafka+Storm+HDFS 方案,个人感觉这个方案应该适用你的需求。单条 4K 的数据如果采用某款支持事务操作的关系型数据库(例如 MySQL),显然不现实。主要原因是重做日志(redo log)太大。

    如果是舆情分析文本数据,通过 strom 完成初筛的数据可以直接放 HDFS,这个 I/O 吨吞吐量绝对符合你的要求。而且可以为下一步数据分析做好数据准备。如果你非要选择一款数据库,那么可以选择 HBase、Cassandra 等,但是建议 4K 的数据进行拆分和关联后存入。

    这个方案还有一个有点,就是各种资料 Google 和百度都很好查询,基本上需要踩的坑都可以找到现成的方案。本人专题文章中,也有对 Flume 有详细的介绍。

    另外一个方案是 ELK(ElasticSearch, Logstash, Kibana)

    这套方案也是目前非常流行的数据采集、分析方案。这两套方案都应该符合你的业务要求,而且安装和运维工作上各有优劣。而且对于搜索引擎来说,建立文本内容的分词点刚好是它的强项。如果你的业务重点是数据分析 / 报表的实时性,那么可以考虑本方案。

  • 操作步骤

    1. 登录管理控制台。

    2. 选择“存储 > 云硬盘”。

    进入“云硬盘”页面。

    3. 在云硬盘列表,找到需要挂载的云硬盘,单击“挂载”。

    共享云硬盘支持批量挂载操作,可以同时将一块共享云硬盘挂载至多台云服务器。“挂载磁盘”对话框左侧区域为可选的云服务器列表,选择目标云服务器后,则已选云服务器会显示在右侧区域。

    4. 选择云硬盘待挂载的云服务器,该云服务器必须与云硬盘位于同一个可用分区,通过下拉列表选择“挂载点”。

    “挂载点”即为云硬盘在云服务器上对应的盘符。同一个云服务器上的云硬盘设备名不允许重复。

    返回云硬盘列表页面,此时云硬盘状态为“正在挂载”,表示云硬盘处于正在挂载至云服务器的过程中。当云硬盘状态为“正在使用”时,表示挂载至云服务器成功。

安全技术团队
666
荣誉会员
  • 1 标签
  • 4 文章
  • 2 回帖



个人主页