青云的吹嘘

16 April 2016

前言

周二的时候，看到邮箱有青云推送活动。然后，就麻利的注册并提交报名了。

下午去的时候， 从 广兰路 到 人民广场。天空中还飘着雨，刮着风，午饭就吃了一个汉堡，还是在手抓饼摊上买的。进了会场后，发现来的人年龄段相差挺大的，青丝到白发，窈窕少女到中年少妇，有头发的，没头发的都有。

开场的公司成员介绍，以及其他各个公司的 CTO， CEO 创始人的访谈视频，听得挺新潮澎湃了，各种感觉高大上。看来，我果然是从乡下来的，看啥都好奇，呵呵呵。

重大失误，坐后面了， PPT 没法拍清楚了。

林源 - 云计算 高可用，可伸缩，轻量化，组件化

iaas 层的高可用

  • 虚拟数据不丢失
  • 虚拟网络地址不丢失
  • vm 高可用 高性能/ 秒级调度
  • 备份

SDN 软件定义网络

所有的集群都定义在 iaas，而不是每个集群定义自己的存储主机相关的，比如 数据库，Hadoop，redis 等等

跨机房的环网冗余，环状网络 - 组成冗余设置。

青云自己编写自己的 paas 框架。

可伸缩的前提

  • iaas 对物理设备的屏蔽
  • 秒级计费 秒级调度

轻量化

物理设备 vm contianer unikernel

组件化

利用组件搭建 各种各样的应用

API 是未来的方向， 所有的计算都可以通过 API 进行调用

青云的愿景： 做云计算时代的操作系统

Software is brain, Hardware is mustlue.

利用云计算进行后端编程。

李瑞

在云平台上进行大数据的实践。 云上的一切，都是服务。软件定义服务。

  • 云计算与大数据
  • 大数据的挑战

大数据的应用：

大型的社交企业

  • 用户的 User Profile

大型互联网金融

  • 风控的分析， 日志分析

政府的使用

  • 犯罪嫌疑人分析定位

大数据的最大的最重要的决策： 平台的选择， 测试，决策。

  • Hadoop，Spark， Hbase， xxxxx

运维，弹性，灵活，稳定，高性能与安全

云上进行大数据的挑战

  • 稳定性 HA/容灾备份
  • 性能
    • 网络 IO
    • 硬盘的 IO
  • 迁移的挑战
    • 诸多的挑战 — 比如迁移相关的工具 - https://github.com/apache/sqoop（从 sql 到 hadoop）， 等等

计算引擎

Hadoop - MapReduce ， Google Spark - 核心是 计算的引擎， UC 伯克利 Storm - 实时性比较好， Tiwtter

存储

  • HDFS - 全表扫描
  • HBAse 稀疏，分布式， 多维， 排序，hash，时间戳， 矩阵，列式存储 - 列表
  • GPDB 为大数据存储，计算，挖掘而设计

传输

Kafka - 分布式，可分区，多副本的高吞吐量低延迟的消息。。

进出相似输入的： 巨大的内存数据库Cache，使用了 Linux Sendfile的系统调用

核心概念：

  • broker, 生产者， 消费者
  • 分区，复制，xxx

最佳实践 - 参数的调优, 各种坑爹的参数调整。

  • HDFS
  • Yarn
  • MapReduce

数据格式

分布式计算数据 - 可快压缩。

对象存储

备注： 留着一头长发的程序员，既文艺又风骚的系统工程师。

对象存储是什么？ 通过 HTTP 的方式操作。

对象是啥？？ 具有元数据的。

存储图片，文件以及其他的非结构化数据。

需求规划

  • 容量（GB/ TB/ PB）
  • 文件数 百万，千万
  • 请求量（QBS， 并发数，流量）
  • 增长速度

架构规划

  • 数据索引
  • 监控
  • 副本数
  • 灾难的恢复

先有的存储方案的比较

  • HDFS - 不适合存储小文件， Name

OepnStack Swift

  • object 的元数据的获取慢
  • Container 存储元信息 对应存放的 Sqlite。
  • 没对小文件进行合并

通用的存储方案。

QingStore 对象的存储，是青云的基石。

青云的平台 - 超级的计算机系统， QingStore 就是类似计算机的硬盘。

Store 之上： IaaS, 应用中心，大数据， RDB/KVDB, CDN, 数据处理等相关的

多区域部署的架构：

Global - Pek3a - BucketA（存储各种对象）- 三级的分类

架构：

外网 - LB

内网 - DNS 轮训。整体的架构中，有server 的健康的检查。

访问方式

  • 控制台范文
  • SDK
  • CLI
  • HTTP Rest API

两级的 Namespace ，用户名和 bulket。 web 界面是通过 API 模拟树的层次结构。这个其实类似 数据库中父子节点 clourse_tree.

场景 1：

  • 资源的上传
  • 日志文件的归档 和 分段上传，日志分析其实很重要。
  • RDB 的并发。

QingStor 的研发计划

  • 域名的支持，CDN 网络加速
  • S3 API 的兼容 - 可以学习一下， 阿里云也有参考 S3 的 API
  • 多语言的 SDK
  • 跨区域的备份
  • 数据处理服务
  • 接入大数据平台

文件上传的接口，可以参考 eBay 中的大块数据的上传。 如何将二进制流上传上去。

Qingstor 的存储节点依然存储在 存储设备的 File System上的， 私有部署大概要 7/8台，共有存储大概是在 78十台的样子。

陈洋钧 - 移动端控制台开发以及其开发经验

英雄工程师 - 一个人独干

我觉得，青云的移动端的 APP 一般般，除了所有的这些都是一个人开发的。

App 端没啥意思，就是不断的调用 后台的接口，然后，页面类有些动态效果而已。

经验

  • 用移动的思想去设计产品
  • 源于用户胜于用户
  • 不造轮子，而是去改造轮子
  • API 和 UI 可配置化 - 还能用热插拔的
  • 跨平台 - 不断提高生产力，提高自身效率

工单系统，将工程师放到用户面前

云计算的应用 - Sales 工程师分享

以下，各种介绍如何使用 青云的 web 界面系统。

上传大文件的处理。

自动伸缩的功能。

负载均衡： 流量转发， 健康检查，域名拆分（ Host swith ）

安全性的问题： 在负载均衡上 提供 HTTPS

自动扩展和自动伸缩。

混合组网， VPC 网络

主账号和子账号可以通过 私有的 VPC 网络进行访问。

通过 Open VPN， 先拨号到管理服务器上，然后通过管理服务器跳到其他的 server 上。

测试业务的压力测试，通过拓扑结构构建测试环境。

快速构建混合云

自建的 LB 的功能， 宣传手册上有。

后记

后来时，逛了一下 人民公园，看到了真的婚介的，很是惊奇。记得是，一位中年大妈，手捧了贴了一张 A4纸的矩形字框，其上 赫然写着

女

87 出生， 

xxx硕士

只瞄了一眼，具体没看清。

最初，听说青云时，是在友好速搭的人在 Ruby China 上介绍时， 听闻 青云有秒级计费系统的，自动伸缩的。 formula

参考

  1. Storm：https://github.com/apache/storm

  2. sqoop: https://github.com/apache/sqoop



傲娇的使用Disqus