User Tools

Site Tools


dwsc:arch

This is an old revision of the document!


DoclerWeb Streaming Cluster architektúra

A streaming szolgáltatás a Wowza stream szerverre épül.
A Wowza konfigurációs fájlok és a rögzített médiaanyagok HDFS fájlrendszerre kerülnek.
A HDFS rendelkezésre-állásának maximalizálása érdekében HA namenode-okkal vannak konfigurálva, a namenode-ok az edit loghoz Quorum Journal Managert használnak. A rendszerben 3 journalnode-ot használhatnak a namenode-ok.
A namenode-ok státuszát a Zookeeper állítja be a namenode-ok elérhetősége és a hálózat állapota alapján.

A streameket kiszolgáló szerverek (edge) terheléseloszátást LVS végzi.
A streameket fogadó szerverek (origin) terheléselosztását egy LVS mögötti load-balancer szolgáltatás végzi, ami a szerverek terheltségét a CPU használat, hálózati kihasználtság, memóriahasználat és a rendszer loadja alapján állapítja meg és a legkisebb terheltségű szerverre továbbítja a streamet publikálni kívánó klienst.
Az edge szervereket szintén a load-balancer továbbítja a streamet fogadó origin szerverre.

A Wowza szerverek vezérlése és a statisztikai adatok lekérése 2 control szerveren keresztül történik. A control szerverek a ZeroMQ PUB és PULL socket típusait használják a kommunikációhoz. A Wowza szerverekhez készített control modul a konfigurációs fájlban megadott szerverekhez csatlakozik és mindegyik szervertől fogad parancsokat. A webes admin felület a control szervereken keresztül kommunikál a Wowza szerverekkel.

Az origin és egde szerverek netbootosak. A DHCP és DNS adatok LDAP-ban vannak tárolva. A PXE konfig is LDAP-ból generálódik.

Ábra

Szerverek/szolgáltatások:

  • 2 db mgmt szerver - a szolgáltatások HA kialakításúak
    • LDAP
    • BIND
    • DHCP
    • PXE
    • DWSC control szerver (mindkét szerveren használható egy időben)
    • LVS szerver
    • webadmin (nginx, php-fpm)
    • Zookeeper
    • HDFS namenode
    • HDFS - ZKFC (HDFS Zookeeper failover control)
  • 3 db storage
    • HDFS datanode
    • HDFS journal
    • Zookeeper
  • 2 db Wowza origin
    • Wowza
    • DWSC control module
    • Origin load-balancer
  • 1 db Wowza edge
    • Wowza
    • DWSC control module
dwsc/arch.1365372614.txt.gz · Last modified: 2013/04/08 00:10 by ivan