Das Cisco Unified Computing System (UCS) bietet eine Architektur, um Rechenzentren die vollen Möglichkeiten für die Virtualisierung von IT-Systemen zur Verfügung zu stellen. Es vereinheitlicht den Zugang zu Rechenleistung, Netzwerkressourcen, Speicher, Management und Virtualisierung zu einem IT-Gesamtsystem und ist Basis für einen effizienten IT-Betrieb und eine schnelle und sichere Servicebereitstellung im Klinischen Rechenzentrum.
Durch die Zusammenführung der verteilten IT-Ressourcen zu einem effizienten Gesamtsystem können die steigenden Anforderungen hinsichtlich Kostenoptimierung, Zukunftssicherheit, Leistungsfähigkeit, Betriebssicherheit und Einfachheit im Klinischen Rechenzentrum unterstützt werden. Somit leistet das UCS als technische Basis für IT-Dienste im Gesundheitswesen einen Beitrag zu einer medizinischen Grundversorgung mit tragbaren Kosten.
Die wesentlichen Inhalte der Arbeit sind neben einer Beschreibung der Anforderungen an IT-Systeme im Klinischen Rechenzentrum, eine Analyse der am Markt verfügbaren Systemtechnologien- und Lösungen, sowie die Darstellung von Trends in diesem Bereich. Darüber hinaus werden die Nutzenpotentiale für den Einsatz von UCS im Klinischen Rechenzentrum beschrieben und die Implementierung eines Cisco UCS, am Beispiel der Klinikum Wels-Grieskirchen GmbH, aufgezeigt. Die Darstellung der erfolgskritischen Faktoren für die UCS-Einführung runden die Arbeit ab.
Die Masterthesis hat zum Ziel die kaufmännischen, technischen, operativen und strategischen Aspekte für den Einsatz des UCS im Klinischen Rechenzentrum zu beleuchten und soll aufzeigen, wie dadurch die Anforderungen an moderne und zukunftssichere IKT-Architekturen unterstützt werden können.
Inhaltsverzeichnis
Abbildungsverzeichnis
Glossar
Abkürzungsverzeichnis
1. Einleitung und Strukturierung des Themas
1.1 Allgemeines
1.2 Problemstellung, Motivation und Struktur der Masterthese
1.2.1 Problemstellung
1.2.2 Motivation und Struktur der Masterthese
1.3 Zielsetzung und Forschungsfrage
2 Marktanalyse
2.1 Anforderungen an moderne Rechenzentren im klinischen Umfeld
2.1.1 Betriebssicherheit
2.1.2 Leistungsfähigkeit und Skalierbarkeit
2.1.3 Einfachheit und Wartbarkeit
2.1.4 Effizienz im Betrieb
2.1.5 Kostenoptimierung und Zukunftssicherheit
2.1.6 Informationssicherheit
2.2 IT-Systembausteine eines klinischen Rechenzentrum
2.2.1 Netzwerksysteme
2.2.2 Serversysteme
2.2.3 Speichersysteme
2.2.4 Virtualisierungssysteme
2.2.5 Management- und Monitoringsysteme
3 Cisco Unified Computing System
3.1.1 UCS Manager
3.1.2 UCS Fabric Interconnect
3.1.3 UCS Fabric Extender
3.1.4 UCS Blade Server Chassis
3.1.5 UCS Blade Server
3.1.6 UCS Network Adapters
4 Unified Computing am Beispiel der Klinikum Wels-Grieskirchen GMBH
4.1 Allgemeines
4.2 Motivation
4.3 Projektumsetzung
4.4 Technologischer und Wirtschaftlicher Nutzen
5 Nutzenpotentiale
5.1 Basis für Virtualisierung
5.1.1 Memory Expansion
5.1.2 Network Interface Virtualization (VN-Link)
5.2 Für Energieeffizienz konstruiert
5.3 Skalierbarkeit entkoppelt von Komplexität
5.4 Drastische Vereinfachung der Systemarchitektur
5.5 Einfaches Management und Rasche Servicebereitstellung
5.6 Basis für Cloud-Computing
5.7 Auf Industriestandards basierend
6 Erfolgskritische Faktoren bei der Einführung von Unified-Computing
6.1 Professionelles Projektmanagement
6.2 Motivierte Innovatoren und Projektförderung
6.3 Ganzheitliche Planung
6.4 Prozessanalyse als Grundlage
6.5 Durchführung von Pilotprojekten
6.6 Akzeptanz durch die künftigen Nutzer
6.7 Dialog im Netzwerk
6.8 Umfassende Funktionstests
6.9 Wartung und Betrieb
6.9.1 Schulung des Betriebspersonals
6.9.2 Zugriffsberechtigung und Management
6.9.3 Systemmonitoring
6.9.4 Datensicherung
6.9.5 Support durch Hersteller und Lieferant
6.9.6 Betriebshandbuch
7 Fazit
8 Literatur- und Quellenverzeichnis
8.1 Monographien und Lehrbücher
8.2 Sammelbände
8.3 Beiträge aus Fachzeitschriften
8.4 Internet-Quellen
8.5 Informationen aus Gesprächen und Diskussionen
Abbildungsverzeichnis
Abbildung 1. Ausblick Fibre Channel und Ethernet Storage Systeme
Abbildung 2. Vereinfachung der Serveranbindung durch I/O-Konsolidierung
Abbildung 3. Gartner Magic Quadrant für Blade Server
Abbildung 4. Entwicklung der Anforderungen an Speichersysteme
Abbildung 5. Tiered Storage Konzept
Abbildung 6. Entwicklung virtualisierte versus nicht virtualisierte Server
Abbildung 7. Trends im IT-Systemmanagement- und Monitoring
Abbildung 8. Verbindende Elemente des Cisco UCS
Abbildung 9. Anforderungen an das Cisco UCS
Abbildung 10. Systembausteine des Cisco UCS
Abbildung 11. Vernetzungsübersicht des Cisco UCS
Abbildung 12. Schaltkreis des UCS Fabric Extender
Abbildung 13. Übersicht UCS Blade Server Chassis
Abbildung 14. Architektur der UCS M81KR Virtual Interface Card
Abbildung 15. Grafische Übersicht UCS-Umsetzungskonzept KWG
Abbildung 16. Dimensionen der Servervirtualisierung
Abbildung 17. Cisco Extended Memory Technology
Abbildung 18. VN-Link Einsatzszenarien
Abbildung 19. Chassis-Verkabelung UCS
Abbildung 20. Reduktion der Server-Netzwerkinterfaces durch I/O-Konsolidierung
Abbildung 21. Mandantentrennung auf physikalischer Infrastruktur
Abbildung 22. Ranking der Erfolgsfaktoren bei Projekten
Tabelle 1. Übersicht UCS Network Adapters
Tabelle 2. Skalierungsstufen UCS Blade Server Chassis
Tabelle 3. Netzwerkbandbreiten UCS Blade Server Chassis
Tabelle 4. Einsparungspotentiale durch Virtual Dynamic Data Center
Glossar
Backplane
Busplatine in Gehäusen von IT-Geräten (z.B. Switches oder Blade-Server)
Cache-Speicher
Flüchtiger Puffer-Speicher für schnellen Zugriff
Cloud-Computing
Techniken und Bereitstellungsmodelle um Produkte oder Services in Echtzeit über das Internet zur Verfügung zu stellen
Computertomograph
Computer-gestütztes, röntgen-diagnostisches Medizingerät zur Herstellung von Schnittbildern des menschlichen Körpers, mit modernen CT’s können bei einem Röhrenumlauf mehrere Schnitte gleichzeitig aufgenommen werden (z.B. 64-Zeilen-CT)[1]
Cut-Trough-Architektur
Architektur von Switch-Komponenten, die eine sehr schnelle Weiterleitung von Datenpaketen ermöglicht
Disaster-Recovery
Maßnahmen zur Datenwiederherstellung nach einem Datenverlust oder Gerätedefekt
Ethernet
Ethernet ist eine Datennetztechnik, welche einen Datenaustausch mittels Datenpaketen zwischen den angeschlossenen Endgeräten ermöglicht. Ethernet war ursprünglich für lokale Computernetze vorgesehen, wird mittlerweile aber auch für Weitverkehrsnetzwerke verwendet. Ethernet entspricht weitestgehend der IEEE-Norm 802.3[2].
Event-Correlation
Event-Correlation ist ein Verfahren zur Korrelation von Ereignissen, um bei IT-Überwachungseinrichtungen aus einer Vielzahl von Meldungen die relevanten Informationen zu extrahieren.
Fail-Over
Funktion zur Ausfallsicherung von hochverfügbaren redundanten Computersystemen oder Anwendungen
FC-Multipathing
Technik zur Erhöhung von Ausfallsicherheit und Leistung in FC- Netzwerken (z.B. wenn ein Server mehrfach an ein FC-Netzwerk an-gebunden ist, kann er das Speichersystem über mehrere Wege erreichen)
Fibre Channel
Standardisiertes Protokoll für eine serielle Hochgeschwindigkeits-übertragung in Speichernetzwerken
Fortune 1000
Rangliste der US-amerikanischen Zeitschrift „Fortune“ mit den tausend umsatzstärksten amerikanischen Unternehmen
Green-IT
Ansatz zur umweltschonenden Nutzung von IT-Geräten über die gesamte Lebensdauer
hot-swappable
hot-swappable bezeichnet die Möglichkeit IT-Komponenten eines IT-Systems im laufenden Betrieb zu tauschen
Infiniband
Infiniband ist eine Technologie zur seriellen Hochgeschwindigkeits-datenübertragung, welche aktuell meist nur für die Verbindung von hochverfügbaren, redundanten Serversystemen verwendet wird.
I/O-Konsolidierung
Zusammenführung unterschiedlicher Datenübertragungstechniken wie Ethernet, FC oder Infiniband auf ein gemeinsames Übertragungsmedium im Rechenzentrum
IP-Telefonie
Telefonieren über IP-basierende Computernetzwerke, auch bekannt als Voice over IP
Internet Small Computer System Interface
Verfahren welches die Verwendung des Small Computer System Interface über IP-basierende Netzwerke ermöglicht, Standard entsprechend IETF RFC3720
Modalität
Modalität ist ein Begriff, der für verschiedene bildgebende Geräte in der Medizintechnik verwendet wird
Multiplex
Durch den Einsatz von Multiplexverfahren können vorhandene Übertragungsleitungen durch Signalbündelung mehrfach und daher wirtschaftlicher genutzt werden[3].
OSI-Layer2
Zweite Schicht des OSI-Referenzmodells (auch bekannt als OSI-7-Schichten-Modell), auf der beispielsweise Switch-Komponenten arbeiten
Rack
Schrank bzw. Gestell zum Einbau für IT- und Elektrogeräte, üblicherweise mit einer genormten Breite von 19 Zoll und definierten Höheneinheiten von 1,75 Zoll
Rackmount-Server
Server der für den Einbau in ein standardisiertes 19-Zoll-Serverrack vorgesehen ist
Redundant Array of Independent Disks
System mit redundanter Anordnung unabhängiger Festplatten um die Ausfallsicherheit und den Datendurchsatz gegenüber einzelnen physikalischen Festplatten zu erhöhen
Single Point of Failure
Als Single Point of Failure versteht man einen Teil eines IT-Systems, der bei einem auftretenden Fehler, einen Ausfall des Gesamtsystems nach sich zieht.
Small Form-Factor Pluggable Plus
Standardisiertes Modul für Netzwerkübertragungen von 10GE über Kupfer- bzw. Glasfaserverkabelung
Solid State Disks
Speichermedium aus Halbleiterbausteinen ohne bewegliche Teile
Spanning Tree Protokoll
Algorithmus zur Vermeidung von Schleifen und redundanten Netzwerkpfaden im LAN, standardisiert nach der IEEE-Norm 802.1D
Stakeholder
Unter einem Stakeholder wird eine Person oder eine (Teil-)Organisation verstanden, die von einem Prozess oder Projekt bzw. dem Ergebnis daraus betroffen ist. Hierzu können z.B. Geschäftsführung, Entwickler, Systemanwender oder Wartungs- und Servicepersonal gehören[4].
Storage-Cluster
Verbund von Speichersystemen, mit dem Zweck die Verfügbarkeit bzw. die Leistungsfähigkeit des Gesamtsystems zu erhöhen
Switch
Ein Switch ist eine aktive Netzwerkkomponente, die vorwiegend in lokalen Netzwerken zum Einsatz kommt und IT-Endgeräte bzw. Netzwerk-segmente entsprechend OSI-Layer2 miteinander verbindet.
Tape Library
Gerät welches Bandlaufwerke und Magnetspeicherbänder beinhaltet und diese automatisiert bedient
Total Cost of Ownership
Das TCO-Konzept kann als eine Systematik zur Erfassung aller Kosten aufgefasst werden, die sich einer Investition im Lauf ihrer gesamten Einsatzdauer direkt und indirekt zurechnen lassen[5]
Virtual Tape Library
Festplattenspeicher der eine Tape Library emuliert
Virtualisierungs-Hypervisor
Virtualisierungssoftware die eine Umgebung für virtuelle Maschinen bereitstellt
Abkürzungsverzeichnis
Abbildung in dieser Leseprobe nicht enthalten
1. Einleitung und Strukturierung des Themas
1.1 Allgemeines
Das österreichische Gesundheitswesen sieht sich einem ungebrochenen Reformdruck gegenüber. Die Leistungserbringer im ambulanten und stationären Sektor stehen vor der Herausforderung, die Qualität stetig steigern, gleichzeitig aber auch die Kosten senken zu müssen. Um diesen Spagat meistern zu können, setzen sowohl die Politik als auch die Gesundheitsdiensteanbieter und Kostenträger auf innovative Informations- und Kommunikationstechnologien (IKT), um die Prozesse in den Kliniken optimal zu unterstützen und einen reibungslosen und effizienten Ablauf bei der Patientenversorgung zu ermöglichen[6].
Jeder Leistungserbringer im Gesundheitswesen ist heute mehr denn je gefordert, sich auf die kontinuierlich ändernden Wettbewerbsbedingungen einzustellen. Kostensenkung und die Frage der Finanzierung haben in den letzten Jahren die öffentliche Diskussion im Gesundheitswesen bestimmt. Kein zeitgerechtes Krankenhaus kann sich von diesen anspornenden marktwirtschaftlichen Herausforderungen abkapseln. Um die eigene Leistungs- und Konkurrenzfähigkeit nachhaltig zu sichern sind innovative Lösungen gefordert. Wie in jedem marktwirtschaftlich geführten Unternehmen, gilt es die gestiegenen Forderungen an Innovationskraft, Wandlungsfähigkeit, Agilität und Vernetzung zu erfüllen und zu nachhaltigen strategischen Wettbewerbsfaktoren auszubauen.
1.2 Problemstellung, Motivation und Struktur der Masterthese
1.2.1 Problemstellung
Durch die zunehmende Digitalisierung der Patientenakten und den vermehrten Einsatz von betriebskritischen, Internetprotokoll- (IP) basierenden Systemen im klinischen Umfeld, steigen die Anforderungen an Effizienz, Leistungsfähigkeit, Verfügbarkeit, Stabilität und Datensicher-heit signifikant.
Neben Herstellern von Informationstechnologie- (IT) Systemen setzen mehr und mehr Medizingerätehersteller, Erzeuger von Kommunikations-technik und Haustechnikgeräten auf die Vorzüge IP-basierender Kommunikation, was die Anforderungen an die Gesamtverfügbarkeit der IKT-Systeme weiter erhöht und das Netzwerk zur Hauptschlagader eines Unternehmens werden lässt. In modernen Spitälern ist es keine Seltenheit, dass bei einem Ausfall von IT-Systemen Operationstermine verschoben werden müssen, wenn dadurch keine Patienteninformationen zur Verfügung gestellt werden können. Ein Ausfall der IKT-Systeme bedeutet für Kliniken nicht nur finanzielle Einbußen, sondern kann auch den Verlust von Patientendaten und Imageschäden zur Folge haben.
Durch die hohe Komplexität moderner IT-Landschaften und die starke Abhängigkeit zwischen den IKT-Systemen, gestalten sich Wartungs-arbeiten zunehmend schwieriger. IT-Verantwortliche werden mehr und mehr damit konfrontiert, dass die IKT-Systeme rund um die Uhr verfügbar sein müssen. Dies verlangt wiederum den Einsatz von hoch redundanten Systemen, welche die Gesamtkosten für Hardware, Lizenzen, Wartung, und Betrieb in die Höhe treiben.
Durch das enorme Datenaufkommen, welches durch die Digitalisierung der Patientenakte im Klinischen Rechenzentrum entsteht, steigt die Anforderung an die Leistungsfähigkeit der IKT-Systeme rasant. Sowohl Netzwerke als auch Server- und Speicherkomponenten stoßen, durch die starke Zunahme an digitalen Bild- und Videodaten, an die Grenzen Ihrer Leistungsfähigkeit.
Des Weiteren wird es für IT-Administratoren zunehmend schwieriger, der Vielzahl an verteilten Systemen und Ressourcen Herr zu werden. Starke Abhängigkeiten und unzählige Schnittstellen zwischen den Systemen, sowie eine Vielzahl an speziellen Werkzeugen für Management, Überwachung, Alarmierung und Auswertung, erschweren es den Überblick im Betrieb zu behalten. Durch den Einsatz zahlreicher Management-werkzeuge, einem höheren Personalaufwand, sowie den rasant steigenden Energiekosten für Stromversorgung und Kühlung der immer leistungsstärkeren IT-Systeme, steigen die Betriebskosten im Klinischen Rechenzentrum signifikant.
Aus diesem Grund verlangen IT-Entscheider mehr und mehr nach einer Neugestaltung der verteilten Rechenzentrums-Infrastrukturen, um der Forderung nach Vereinfachung der Strukturen, Synergienutzung, Skalierbarkeit, Effizienz und Kostenoptimierung gerecht zu werden. Für diese weit gefassten Vorhaben müssen effiziente, kostenoptimierte und zukunftssichere IKT-Lösungen im Klinischen Rechenzentrum eingesetzt werden, die den Anforderungen an Betriebssicherheit und IT-Security gerecht werden.
1.2.2 Motivation und Struktur der Masterthese
Die Motivation der Arbeit beruht auf der Tatsache, dass es zu Cisco’s Unified Computing (UC) Architektur bis dato keine ausreichenden Erkenntnisse in wissenschaftlich relevanter Literatur gibt.
Die Arbeit geht der Frage nach, welche IT-Systemtechnologien und Trends aktuell am Markt für Rechenzentrumslösungen vorherrschen, wie Cisco’s innovative UC Architektur die Anforderungen an die IT im Klinischen Rechenzentrum unterstützen kann und was die erfolgs-kritischen Faktoren bei der Einführung eines Unified Computing Systems (UCS) sind. Wesentlich für das Verständnis dieser Thematik ist es abzugrenzen, dass in dieser Arbeit nicht Software-Anwendungen, sondern Basisinfrastrukturkomponenten der Systemtechnik, samt der für Implementierung und Betrieb notwendigen Managementplattformen, betrachtet werden.
UC ist eine Architektur, um Rechenzentren die vollen Möglichkeiten für die Virtualisierung zur Verfügung zu stellen. Sie vereinheitlicht den Zugang zu Rechenleistung, Netzwerkressourcen, Speicher, Management und Virtualisierung zu einem energieeffizienten System, mit einem konvergenten Netzwerk als Plattform. UC überbrückt die bisher vorherrschende Silo-Architektur in Rechenzentren.
Durch die wachsende Komplexität und steigenden Anforderungen bei IT-Anwendungen, ermöglicht UC eine Architektur aller Hardware-Ressourcen und reduziert die Komplexität und Administration der Systeme. Gleichzeitig ermöglicht die Architektur den IT-Verantwortlichen eine deutliche Zeitersparnis bei der Bereitstellung von neuen Diensten, durch die einfache Erweiterung von Ressourcen.
Neue wirtschaftliche Rahmenbedingungen verlangen schnelle Anpassung von Unternehmen. Effizienz und Kostensenkung zählen mit zu den entscheidenden Prioritäten für Unternehmen und rücken bei strategischen Entscheidungen, die Vereinheitlichung der Rechenzentrums-Infrastruktur in den Vordergrund[7].
Der Einsatz von UC ermöglicht durch Vereinheitlichung, Vereinfachung und Verstärkung der Leistungsfähigkeit von IKT-Systemen, eine effiziente, performante und hochverfügbare Lösung, zur optimalen Unterstützung der Anforderungen im klinischen Umfeld.
1.3 Zielsetzung und Forschungsfrage
Die Arbeit hat zum Ziel, die kaufmännischen, technischen, operativen und strategischen Aspekte, für den Einsatz des Cisco UCS im Klinischen Rechenzentrum zu beleuchten und leistet damit einen Beitrag, zur wissenschaftlichen und strukturierten Untersuchung der UC Technologie im praktischen Einsatz, im Kontext unternehmensinterner Datenverar-beitung im deutschsprachigen Raum. In engem Zusammenhang dazu werden theoretische Grundlagen, aktuelle Marktdaten, Expertengespräche sowie Untersuchungen der Eigenschaften und Rahmenbedingungen von Projekten in die Arbeit einbezogen und in Bezug auf UC hinterfragt.
Praktische Erfahrungen werden in einen theoretisch, wissenschaftlichen Kontext eingegliedert. Ziel ist es, allgemeingültige Beobachtungen zu extrahieren und Aussagen in Form möglichst genereller Regeln abzuleiten. Diese Arbeit soll aufzeigen, wie der Einsatz von UC die Anforderungen an moderne, zukunftssichere IKT-Architekturen im klinischen Umfeld unterstützen kann. Des Weiteren sollen Beziehungen zwischen System und Umwelt dargestellt werden. Ein Ausblick auf mögliche Verbesserungen und Perspektiven für weitere Forschungen runden diese Arbeit ab.
Die Arbeit geht dabei folgender Forschungsfrage nach:
Welche Systemtechnikanforderungen gibt es im Klinischen Rechen-zentrum, wie kann das Cisco UCS diese Anforderungen unterstützen und was sind die erfolgskritischen Faktoren bei der Einführung von UCS im Klinischen Rechenzentrum?
Die wesentlichen Inhalte der Arbeit sind neben einer Analyse der am Markt verfügbaren IT-Technologien für Systemtechnikkomponenten im Rechenzentrum, die Betrachtung der Anforderungen an die IT-Systemtechnik im Klinischen Rechenzentrum, die Vorstellung einer UCS-Implementierung am Beispiel der Klinikum Wels-Grieskirchen (KWG) GmbH, die Darstellung der Nutzenpotentiale für den Einsatz von UCS im Klinischen Rechenzentrum, sowie die Betrachtung der erfolgskritischen Faktoren bei der Einführung von UC in diesem Umfeld.
Das Erfassen von erfolgskritischen Faktoren für die Planung und Umsetzung von neuartigen Lösungen ist insofern wesentlich, da IT-Projekte generell, aber gerade in Bezug auf neue Technologien und Lösungen in einer komplexen Domäne, wie etwa dem Gesundheitswesen, sehr häufig scheitern.
Zur Zielgruppe dieser Arbeit zählen IT-Verantwortliche, Rechenzentrums-leiter sowie Entscheidungsträger im Klinischen Umfeld.
2 Marktanalyse
2.1 Anforderungen an moderne Rechenzentren im klinischen Umfeld
Rechenzentren, also zentralisierte Einrichtungen zur Datenverarbeitung, -speicherung und -verbreitung, sind aus modernen Kliniken nicht mehr wegzudenken. Während in der Vergangenheit das Augenmerk haupt-sächlich auf die Steigerung der Leistungsfähigkeit der Systeme in den Rechenzentren lag, ist mit der anhaltenden Diskussion um steigende Energiepreise und Klimaerwärmung, sowie der Forderung nach Kostensenkung eine Neubewertung der Prioritäten innerhalb der IT- und Rechenzentrumsbetreiber zu beobachten. Nicht mehr nur die pure Leistung der Server-, Speicher- und Netzwerksysteme steht im Mittelpunkt, sondern Klimafreundlichkeit und Effizienz im Betrieb gewinnen stark an Bedeutung. In vielen Bereichen eines Rechenzentrums bestehen Einsparmöglichkeiten, die nach Angaben von Herstellern und Verbänden beträchtlich sind[8].
Kaum zuvor gab es bei der Konzeption und im Betrieb von Rechenzentren einen so hohen Druck, und so viele Herausforderungen zu meistern. Einerseits muss die immer komplexer werdende Infrastruktur zu einer funktionierenden Gesamtlösung zusammengefügt werden, und dabei strenge Service-Level-Vorgaben und immer weiter steigende Anforderungen an die System- und Anwendungsverfügbarkeit erfüllen. Andererseits kann der Aufbau eines neuen, oder das Nachrüsten eines bestehenden Rechenzentrums, immense Kosten verursachen, weshalb angesichts der schwierigen Wirtschaftslage Projekte aufgeschoben oder nicht umgesetzt werden. Doch wenn Krankenhäuser und Kliniken keine neuen Investitionen tätigen und auf dem Status quo verharren, kann darunter die Wettbewerbsfähigkeit leiden. Dieses Dilemma wird häufig durch sich widersprechende Ziele des Facility Managements (FM) und der IT verschärft. Die IT konzentriert sich in der Regel auf die unmittelbaren Anwendungs- und Service Level Agreement- (SLA) Anforderungen. Das FM hat dagegen mit hohen Anfangsinvestitionen und laufenden Kosten zu kämpfen und richtet den Blick Richtung Skalierbarkeit und langfristige Instandhaltung[9].
Hinsichtlich Investition und Betrieb von IT-Systemen, gilt es im modernen Klinischen Rechenzentrum folgende Anforderungen zu erfüllen:
2.1.1 Betriebssicherheit
Moderne Rechenzentren im klinischen Umfeld stellen eine hoch-redundante und stabile Haustechnik- und IT-Infrastruktur bereit, um hohen Anforderungen hinsichtlich Verfügbarkeit, Ausfallsicherheit, Stabilität und Servicequalität gerecht zu werden. Nicht selten wird in Klinischen Rechenzentren für die Kernanwendungen und die zentralen Systeme eine Verfügbarkeit von 99,9% gefordert, was im Klartext bedeutet, dass ein System, das 24 Stunden am Tag, an 7 Wochentagen, 365 Tage im Jahr in Betrieb ist, eine maximal erlaubte Ausfallzeit von lediglich 8,76 Stunden haben darf[10].
Da IT-Systeme im Rechenzentrum aufeinander aufbauen und daher voneinander abhängig sind, gilt es bei der Berechnung der Gesamt-verfügbarkeit eines IT-Systems bzw. einer Anwendung zu berücksichtigen, dass sich diese aus dem Produkt der Einzelverfügbarkeit des jeweiligen Systems zusammensetzt. Das bedeutet, dass bei einer geforderten Verfügbarkeit eines Krankenhaus-Informationssystems (KIS) von 99,9%, die darunterliegenden IT-Systeme, wie etwa Netzwerk-, Server- oder Speichersysteme, eine noch höhere Verfügbarkeit erfüllen müssen.
Um solch hohe Verfügbarkeitsanforderungen erfüllen zu können, müssen die zentralen IT- und Haustechniksysteme in den Klinischen Rechen-zentren redundant ausgelegt sein, um damit einen Single Point of Failure zu vermeiden. Wesentlich ist dabei, dass alle Abhängigkeiten der geforderten Systeme durchgängig berücksichtigt werden. Dabei gilt es vor allem die Basisinfrastrukturkomponenten im Rechenzentrum, wie etwa Unterbrechungsfreie Stromversorgung, Klimatisierung, sowie Netzwerk-, Server- und Speichersysteme, redundant auszuführen und in die Berechnungen mit einzubeziehen. Wichtig ist es, diese Redundanzen auch regelmäßig auf Funktionalität zu testen.
2.1.2 Leistungsfähigkeit und Skalierbarkeit
Bei der Anschaffung von modernen IT-Systemen im Klinischen Rechenzentrum, muss ein besonderes Augenmerk auf die Leistungs-fähigkeit, sowie auf die Leistungsreserven gelegt werden. Die rasanten Entwicklungen im Bereich der Medizintechnik, sowie der Einsatz von neuen Medien, wie etwa IP-Telefonie oder Videokonferenzanwendungen, stellen die Netzwerke und IT-Systeme im klinischen Umfeld vor völlig neue Herausforderungen.
Ein moderner 64-Zeilen Computertomograph (CT) scannt den gesamten menschlichen Körper mit einer örtlichen Auflösung von 0,4mm in nur 25 Sekunden. Dabei werden etwa 3.600 Bilder erzeugt. Das sind 400Megabyte (MB) Daten pro Sekunde oder 10Gigabyte (GB) Daten pro Untersuchung. Bisher verwendete Systeme liefern 60 Bilder beim Einzeilen-CT oder 400 Bilder bei 4-8-Zeilen-CT´s. Dass bedeutet eine Steigerung des Datenvolumens um das 10 bis 15-fache bei Wechsel der medizinischen Modalitäten im Rahmen von Neubeschaffungen[11].
Diese hohen Datenmengen, die durch bildgebende Modalitäten im Bereich der Medizintechnik erzeugt werden, müssen dem medizinischen Personal zeitnah und in entsprechender Qualität zur Verfügung gestellt werden. Die IT-Planer und Entscheider im klinischen Umfeld stehen daher vor der Aufgabe, mit der rasanten Entwicklung Schritt zu halten. Um den hohen Anforderungen gerecht zu werden, bedarf es einer performanten, stabilen und einfach erweiterbaren Netzwerk- und IT-Infrastruktur in den Rechen-zentren. IT-Konzepte und Strategien müssen daher mit besonderer Bedachtnahme auf Leistungsfähigkeit, Skalierbarkeit und Flexibilität erfolgen.
Moderne Rechenzentrumskonzepte verlangen daher eine ganzheitliche und abgestimmte Planung zwischen IT und FM, um die Anlagen und Systeme modular, entsprechend den Anforderungen, im Rahmen von Projekten bzw. anlassbezogen, in den geplanten Ausbaustufen wachsen zu lassen.
2.1.3 Einfachheit und Wartbarkeit
In historisch gewachsenen Rechenzentren findet man oftmals eine Vielzahl unterschiedlicher Systembausteine von zahlreichen Herstellern vor, welche die technologischen Entwicklungen über Jahre hinweg widerspiegeln. Das Problem dabei ist die oftmals einhergehende Komplexität solch gewachsener Lösungen, die sich aus einem Flickwerk von Systemen zusammensetzen und dem Betriebspersonal die Erfüllung der Aufgaben maßgeblich erschweren. Bedenkt man die Vielzahl an IT-Anwendungen, die speziell in der Domäne Gesundheitswesen zum Einsatz kommen, ist es schwierig, in solch gewachsenen und komplexen Umgebungen, einen stabilen und effizienten Betrieb zu ermöglichen. Vor allem ist es schwierig, die Forderungen in Bezug auf Servicequalität, Verfügbarkeit und Security der IT-Systeme, sowie hinsichtlich Kosten-effizienz zu erfüllen[12].
Im Hinblick auf Kostenoptimierung und Einfachheit im Betrieb, verlangt der Markt nach Lösungsanbietern, welche die IT-Subsysteme, unter Berücksichtigung von Industriestandards, zu einer leistungsfähigen und stabilen IT-Gesamtlösung für Rechenzentren formen, und alles aus einer Hand liefern können. Wesentlich ist, im Hinblick auf Qualität, Zukunftssicherheit, Support und Kosteneffizienz, die Wahl des Herstellers sorgfältig zu treffen. Vorteile einer solchen Homogenisierung der IT-Systemlandschaft sind unter anderem „Featuretransparenz“, also der Möglichkeit die vollen Leistungsmerkmale system- bzw. medienüber-greifend zu nutzen, die Reduktion der Komplexität, die Vereinfachung im Support und die Vereinfachung in Bezug auf System- und Technologie Know-How beim IT-Personal.
2.1.4 Effizienz im Betrieb
Der Stromverbrauch in den Rechenzentren wird durch steigende Energiepreise, bei gleichzeitig zunehmendem Ressourcenbedarf, zu einem wesentlichen Kostenfaktor. Ein durchschnittlicher x86-Server verursacht mittlerweile im Laufe seiner Betriebsdauer Stromkosten, die annähernd den Anschaffungskosten entsprechen[13].
Für eine Verbesserung der Energieeffizienz ist dabei der Blick auf das Gesamtsystem wichtig. Denn nicht nur die Server sollten effizient und sparsam arbeiten, gerade auch Kühl- und USV-Anlagen, sowie Speicher- und Netzwerkkomponenten verursachen hohe Energiekosten.
Damit ermittelt werden kann, wie energieeffizient ein Rechenzentrum arbeitet, hat das Konsortium „The Green Grid“ die Kennzahl Power Usage Effectiveness (PUE) entwickelt. Diese beschreibt welcher Anteil des Energieverbrauchs im Rechenzentrum für die Datenverarbeitung genutzt wird. Je höher dieser Anteil ist, desto effizienter arbeitet das Rechen-zentrum.
Die Kennzahl stellt sich wie folgt dar:
PUE = Total Facility Power geteilt durch IT-Equipment Power
Unter „Total Facility Power“ versteht das Konsortium den Stromverbrauch der gesamten Einrichtung. Hierzu zählt auch die unterstützende Infrastruktur wie Beleuchtung, Kühlungssysteme und Stromversorgung. "IT-Equipment Power" hingegen ist ausschließlich die Energie für die IT-Systeme die Daten im Rechenzentrum verarbeiten, verwalten, speichern oder weiterleiten. Dazu gehören die Netzwerk-, Server-, Speicher- und Managementsysteme im Rechenzentrum. Die Kennzahl PUE kann im Ergebnis theoretisch zwischen 1 und unendlich liegen, wobei das Rechenzentrum umso effektiver arbeitet, je näher die Zahl bei 1 liegt. Umfassende Studien dazu liegen bisher zwar noch nicht vor, das Green-Grid-Konsortium geht aber davon aus, dass die meisten Rechenzentren eine PUE von etwa 3,0 oder höher haben[14].
Um den Energieverbrauch weiter zu senken, werden Lösungen sowohl auf Seiten der Rechenzentrums- als auch auf Seiten der IT-Infrastruktur benötigt.
2.1.5 Kostenoptimierung und Zukunftssicherheit
Im Hinblick auf Kostenoptimierung empfiehlt es sich alle IT-Anwendungen im Klinischen Rechenzentrum, im Rahmen einer Risikoanalyse, zu klassifizieren und entsprechenden Verfügbarkeitsklassen zuzuordnen. Anhand dieser Einstufung können kosteneffiziente und zukunftssichere Rechenzentrumsinfrastrukturen konstruiert werden, indem unter-schiedliche Betriebsumgebungen mit unterschiedlichem Grad an Redundanz geschaffen werden, von denen jede auf die Geschäftspriorität der jeweiligen Anwendungen ausgelegt ist[15].
Betriebskritische Anwendungen, wie etwa ein KIS, werden beispielsweise nur in Bereichen betrieben, die für einen hochverfügbaren Betrieb vorgesehen sind. Unkritischere Anwendungen können dabei in Umgebungen implementiert werden, die zum Beispiel auf unnötige Redundanz der Systeme verzichten. Auf diese Weise können sowohl Anfangsinvestitionen, als auch laufende Betriebskosten drastisch reduziert werden.
Bei einer zukunftssicheren Planung von IT-Systemen ist es wesentlich, die Einhaltung von Industrie-Standards, die Flexibilität, Modifizierbarkeit und Erweiterbarkeit der Systeme, die Voraussetzung zur Unterstützung zukünftiger Funktionen, sowie die konsequente Weiterentwicklung der Hard- und Software-Systeme, im Zuge des Hersteller- bzw. Partner-Supports zu berücksichtigen.
Für einen sicheren Betrieb der Systeme sind die generelle Verfügbarkeit, sowie die rechtzeitige Bereitstellung von Ersatzteilen ausschlaggebend, sodass definierte SLA‘s eingehalten werden können. Hierfür müssen entsprechende Rahmenvereinbarungen wie Service- oder Support-Abkommen mit Herstellern bzw. Partnern getroffen werden. Für eine kontinuierliche Weiterentwicklung und Erneuerung der IT-Systeme im Rahmen technologischer Neuerungen bzw. der Lebenszyklusplanung, können Innovationsverträge mit Systemlieferanten eingeplant werden.
2.1.6 Informationssicherheit
In Bezug auf die Verarbeitung von personenbezogenen, medizinischen Patientendaten im Klinischen Rechenzentrum, fällt folgenden Punkten der Informationssicherheit ein besonderes domänenspezifisches Gewicht zu:
Verfügbarkeit von Daten:
Verteilte Anwendungsprozesse, die eine beliebige Zahl von verteilten Nutzern und Ressourcen einbeziehen, müssen zur Unterstützung von Arzt und Patient bei jeder Behandlung asynchron gestaltet werden können. Das macht eine permanente Verfügbarkeit der Daten erforderlich. Diese müssen innerhalb eines definierten Berechtigungsrahmens mit einer 24/7-Verfügbarkeit genutzt werden können.
Verlässlichkeit von Daten:
Medizinische Patientendaten müssen auch in elektronischer Form eine Verlässlichkeit aufweisen, wie sie bei Arztbriefen auf Papier existiert. Der Urheber muss zweifelsfrei erkennbar sein, und es ist sicherzustellen, dass die Informationen nicht verfälscht worden sind. Darüber hinaus müssen die enthaltenen Informationen auch rechtsverbindlich belastbar sein. Nicht verlässliche medizinische Daten sind für einen Arzt bei der Behandlung von geringem Wert. Entsprechend ist bei administrativen Daten, wie Abrechnung, die gleiche Verlässlichkeit erforderlich.
Datenschutz:
Eine besondere Eigenschaft der Domäne Gesundheitswesen ist der Umgang mit sehr persönlichen Patientendaten, für die ein höchstes Maß an Vertraulichkeit gewahrt werden muss. Patientendaten, die in einem IT-System verarbeitet werden, müssen durch die Beschränkung des Zugriffs und der Verarbeitungsmöglichkeit zur Wahrung ihrer Vertraulichkeit besonders geschützt werden. Diese Anforderung muss durch ein explizites Sicherheitskonzept konkretisiert werden. Da aus medizinischer Sicht in einigen wenigen (Not-)Fällen die Nutzbarkeit von Daten über ihre Vertraulichkeit gestellt wird, gewinnt hier die Nachvollziehbarkeit von Vorgängen in den Anwendungen und der Infrastruktur an Relevanz und muss mit dem Datenschutzaspekt verbunden werden[16].
2.2 IT-Systembausteine eines klinischen Rechenzentrum
Eine moderne IT-Landschaft im Klinischen Rechenzentrum umfasst mehrere Kern-Technologien bzw. Systembausteine, die allesamt interagieren und zu einem funktionierenden Ganzen zusammengefügt werden müssen. Diese Bausteine können im Wesentlichen in fünf Bereiche zusammengefasst werden:
- Netzwerksysteme
- Serversysteme
- Speichersysteme
- Virtualisierungssysteme
- Managementsysteme
2.2.1 Netzwerksysteme
Schnelle und zuverlässige Daten- und Speichernetzwerke bilden das Fundament für die Datenübertragung im Rechenzentrum. Mit Ethernet, Fibre Channel (FC) und Infiniband haben sich im Wesentlichen drei Basistechnologien etabliert, die in modernen Rechenzentrumsinfra-strukturen zum Einsatz kommen. In größeren Unternehmen werden oftmals alle drei Technologien parallel eingesetzt, da neue Anwendungen zusätzliche Fähigkeiten an die Netzwerkinfrastrukturen voraussetzen. Dabei wird Ethernet für den IP-Datenverkehr, FC für die Anbindung der Speichersysteme und Infiniband für die Vernetzung von Hochleistungs-Computersystemen verwendet. Diese parallele Entwicklung unterschied-licher Netzwerkinfrastrukturen führt allerdings zu hohen Investitions- und Betriebskosten[17].
Der Schlüssel zu einer Konsolidierung der unterschiedlichen Netzwerktechnologien im Rechenzentrum, liegt in der Zusammenführung auf eine konvergente Netzwerkinfrastruktur. Auf diese Weise kann die Netzwerk-, Speicher- und Interprozesskommunikation über ein und dieselbe Server-I/O-Verbindung durchgeführt werden. Beim Vergleich von Ethernet, FC und Infiniband bietet Ethernet das größte Technologie- und Markt-Potential um den Anforderungen aller drei Basistechnologien zu entsprechen.
In der Vergangenheit gab es bereits einige Konsolidierungsansätze mittels Infiniband bzw. iSCSI. Diese Versuche waren allerdings in großen Unternehmensnetzwerken kaum erfolgreich, da sie im Fall von Infiniband die Einführung einer zusätzlichen Technologie erforderten und iSCSI, bei geschäftskritischen Storage-Daten, qualitäts- und leistungsmäßig klare Defizite gegenüber FC hat. iSCSI wird so, vor allem in kleineren und mittleren Unternehmen, als kostengünstige Alternative zu FC-Netzwerken, verwendet. Wenn ein skalierbares Speichernetzwerk für hohe Übertragungsgeschwindigkeiten gefordert wurde, war FC bislang die einzige Wahl. Durch die spezielle Hardware, das erforderliche Fachwissen und den aufwändigen Betrieb, ist diese Technologie allerdings mit hohen Kosten verbunden[18].
Im Juni 2009 wurde vom International Committee for Information Technology Standars (INCITS) das Fibre Channel over Ethernet (FCoE) Protokoll verabschiedet. FCoE sieht eine Übertragung von FC Daten über Ethernet vor, wobei alle Funktionalitäten des FC Protokolls beibehalten werden können. Durch den Einsatz von FCoE können die Investitions- und Betriebskosten im Rechenzentrum reduziert und gleichzeitig vorhandene Infrastrukturinvestitionen geschützt werden. Der große Vorteil besteht darin, dass die Migration von FC zu Ethernet langsam erfolgen kann. Dabei ist absehbar, dass Speichersysteme zukünftig direkt über FCoE eingebunden werden können und damit kostenintensive Speicher-netzwerke überflüssig machen[19].
Um für FCoE eine verlustfreie Übertragung garantieren zu können, wurden vom Institute of Electrical and Electronic Engineers (IEEE) Ethernet-Erweiterungen entwickelt, welche unter dem Begriff Data Center Bridging (DCB) zusammengefasst wurden. Folgende Erweiterungen wurden dabei vorgesehen:
Priority Based Flow Control (PFC):
Da bei einer I/O-Konsolidierung unterschiedliche Verbindungen über ein gemeinsames Medium genutzt werden, muss gewährleistet werden, dass sich diese untereinander nicht beeinflussen. Verkehrshäufungen einer Verbindung dürfen sich daher nicht auf andere Verbindungen auswirken. PFC wurde entwickelt, um den bestehenden Pause-Mechanismus von Ethernet zu erweitern und die Datenflusskontrolle auf Basis von Prioritäten abzuhandeln. PFC stellt dabei acht virtuelle Verbindungen auf einer physikalischen Leitung zur Verfügung und erlaubt, dass jede dieser Verbindungen unabhängig voneinander angehalten und neu gestartet werden kann. Diese Entwicklung ermöglicht es beispielsweise FC-Daten, über einen separaten virtuellen Link, einer eigenen Serviceklasse zuzuordnen, und diese gegenüber anderen Anwendungen zu priorisieren und verlustfrei über Ethernet zu übertragen.
Enhanced Transmission Selection (ETS):
ETS sorgt dabei für die priorisierte Bearbeitung auf Basis von Bandbreitenzuteilung oder Verzögerungszeit. Als Erweiterung der virtuellen Verbindungen stehen virtuelle Schnittstellen-Warteschlangen zur Verfügung, die für das Management der zugewiesenen Bandbreite pro Verkehrsgruppe zuständig sind. Auf diese Weise können verschiedene Verkehrsklassen, innerhalb der gleichen Prioritätsklasse, unterschiedlich behandelt werden.
Data Center Bridging Exchange Protocol (DCBX):
Das DCBX wird in Rechenzentrumsnetzwerken dazu verwendet, um Endgeräte zu entdecken und zwischen diesen Konfigurations-informationen auszutauschen.
Congestion Notification:
Congestion Notification ist eine Verkehrsmanagement-Architektur, die Mechanismen anwendet, um die Auswirkungen von Verkehrsstaus zu reduzieren. Auf diese Weise kann die Integrität von zentralen Netzwerksystemen geschützt werden, indem nur jene Teile des Netzwerks beeinflusst werden, die den Stau verursachen[20].
[...]
[1] Vgl. bsmo GmbH (2010): Lifeline – Medizin im Internet. Glossar, Berlin.
http://www.lifeline.de/akromegalie/service/glossar/content-121029.html [Abruf: 05.04.2010]
[2] Vgl. Sikora, Axel (2001): Ethernet im Überblick, München.
http://www.tecchannel.de/netzwerk/lan/401674/ethernet_lan_protokoll_mac_phy_kollision_switching/ [Abruf: 05.04.2010]
[3] Vgl. Datacom Buchverlag GmbH (2010): Multiplexverfahren. Multiplexing, Peterskirchen.
http://www.itwissen.info/definition/lexikon/Multiplexverfahren-multiplexing.html [Abruf: 05.04.2010]
[4] Vgl. Schmied, Jürgen (2010): Management Know-How. Glossar, Neunkirchen am Brand.
http://www.management-knowhow.de/index.php?id=10 [Abruf: 05.04.2010]
[5] Vgl. Freie Universität Berlin (2003): Center für digitale Systeme. Glossar, Berlin.
http://www.internetoekonomie.com/glossar.php?HP=0&von=t&bis=z [Abruf: 05.04.2010]
[6] Vgl. Informationsforum RFID e.V. (2007): RFID im Gesundheitswesen, Berlin, S.1. http://www.info-rfid.de/info-rfid/content/e107/e127/e242/rfid_im_gesundheitswesen_ ger.pdf [Abruf: 05.04.2010]
[7] Vgl. Pressetext Nachrichtenagentur GmbH (2009): Cisco bringt erstes Unified Computing System für Rechenzentren auf den Markt, Wien. http://pressetext.at/news/090317009/cisco-bringt-erstes-unified-computing-system-fuer-rechenzentren-auf-den-markt/ [Abruf: 03.05.2010]
[8] Vgl. Technische Universität Berlin (2008), S.1
[9] Vgl. Hewlett Packard GmbH (2009): Kostensenkung im Rechenzentrum, Böblingen. http://h30458.www3.hp.com/de/de/ent/784946.html?jumpid=em_di_476408_DE_D_73_013_hpc_d_784946_tsg-hps&dimid=1004657604&dicid=null&mrm=1-4BVUP
[Abruf: 03.05.2010]
[10] Nach Auskunft des Leiters der Abteilung IT-Systemtechnik der X-Tention Informationstechnologie GmbH, Harald Waibel, vom 14. Dezember 2009.
[11] Vgl. Fromm, Axel (2007): Langzeitarchivierung Health, S.4.
http://www.asklepios-future-hospital.com/Presse/Download/Praesentationen_AFH_ dialogTAGE/T-Systems.pdf [Abruf: 03.05.2010]
[12] Nach Auskunft des Leiters der Abteilung IT-Systemtechnik der X-Tention Informationstechnologie GmbH, Harald Waibel, vom 14. Dezember 2009.
[13] Nach Auskunft des Fachbereichsverantwortlichen Data Center Services bei Cisco Systems Austria, Hans-Peter Ullrich, vom 30. September 2009.
[14] Vgl. Wehner, Gabriele (2009): Die Effizienz von Rechenzentren lässt sich messen, München, S.1.
http://www.computerwoche.de/hardware/green-it/1852181/ [Abruf: 03.05.2010]
[15] Nach Auskunft des Leiters der Abteilung IT-Systemtechnik der X-Tention Informationstechnologie GmbH, Harald Waibel, vom 14. Dezember 2009.
[16] Vgl. Fraunhofer-Institut für Offene Kommunikationssysteme (2008): eHealth-Infra-strukturen - Sichere Serviceorientierte Architekturen im Gesundheitswesen, Berlin, S.7.
http://www.telematik-modellregionen.de/content/e280/e286/e863/infoboxContent864/ FOKUS-eHealth-Infrastrukturen.pdf [Abruf: 03.05.2010]
[17] Vgl. Gai, Silvano (2008), S.13
[18] Nach Auskunft des Consulting System Engineers bei Cisco Systems Austria, Bernd Loitzl, vom 29. März 2010.
[19] Vgl. DeLuca, Marco (2009): FCoE - Was es ist und was es bringt, Miesbach.
http://www.speicherguide.de/Magazin/Advertorials/tabid/237/articleType/ArticleView/articleId/11467/Advertorial-FCoE-Was-es-ist-und-was-es-bringt.aspx [Abruf: 03.05.2010]
[20] Vgl. Cisco Systems Deutschland (2008): Data Center Ethernet – Die Cisco Innovation für Data Center Netzwerke, Berlin, S.4.
http://www.cisco.com/web/DE/pdfs/solutions/Cisco_DCE_WP.pdf [Abruf: 03.05.2010]
-
-
-
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X.