5/5/2017 Fibre Channel over SONET/SDH  [Optical Solutions for Enterprise] ­ Cisco Systems

Optical Solutions for Enterprise

Fibre Channel over SONET/SDH
HOME Solution Ove rvie w Downloads
SOLUTIONS Fibre Channel over SONET/SDH

ENTERPRISE FIBRE CHANNEL OVER SONET/SDH

Overview

Fibre Channel over SONET/SDH
Proliferation of storage traffic due to disaster recovery and business continuity
requirements, combined with the high cost associated with downtime or loss of
data, justifies the need for storage area network (SAN) extensions over
geographically dispersed areas. Enterprises as well as service providers are
seeking affordable solutions to interconnect their SAN islands and implement
geographically dispersed data recovery solutions. SAN extension solutions help
to interconnect customer storage islands which are geographically dispersed
and are the key enabler for disaster recovery and business continuance
applications.
The most popular protocols for SAN include Fibre Channel, Enterprise Systems
Connection (ESCON), and IBM Fiber Connection (FICON). The three primary
technologies available to extend theses protocols across the WAN are SAN over
dense wavelength­division multiplexing (DWDM), IP, and SONET/SDH.

Service providers have made significant investments in SONET/SDH networks.
Hence, storage over SONET/SDH is considered an essential component of a
service provider's SAN extension solution. DWDM networks are ideal to
transport high­density, high­bandwidth SAN applications across the metro. For
transport of SAN over large distances, service providers can use SAN
extensions over SONET/SDH, or their current IP/MPLS core to transport SAN
over IP (FCIP or iSCSI). Each method has its own merits and drawbacks.

This document provides an introduction to optical and storage product offerings
from Cisco Systems®, with a focus on the SL­Series Fibre Channel/FICON over
SONET/SDH interface card for the Cisco® ONS 15454 and the Cisco MDS 9000
Family. It then outlines the applications to deliver Fibre Channel/FICON over
SONET/SDH solutions for common disaster recovery and business continuity
applications.

Cisco Storage and Optical Products

Cisco ONS 15000 Series Optical Product Portfolio
To meet the demands of service provider and enterprise networks, Cisco optical
platforms maximize service density and flexibility while delivering
unprecedented services on demand with support for multiple data, storage, and
traditional networking protocols. The Cisco ONS Family of optical solutions
offers maximum service velocity, density, variety, and capacity, building the
foundation to accelerate IP and optical networking.

The Cisco optical portfolio includes solutions that are designed to increase
service provider profitability while reducing network cost, operating expenses
(OpEx), and infrastructure complexity. These innovative solutions include the
Cisco ONS 15454 Multiservice Provisioning Platform (MSPP), ONS 15600
MSSP, ONS 15310 MSPP, and ONS 15454 Multiservice Transport Platform
(MSTP). Although designed to meet the reliability and usability requirements of
service providers, these solutions are also benefiting enterprise companies that
use them for private­line optical and Ethernet services. With the Cisco ONS
15454 SL­Series line cards, companies can transparently extend their SAN over
SONET/SDH.
Cisco optical products are certified by partners such as IBM for its
Geographically Dispersed Parallel Sysplex (GDPS) applications and IBM Peer­
to­Peer Remote Copy, EMC for its Symmetrix Remote Data Facility (SRDF)
applications, Hitachi Data Systems TrueCopy, and HP/Compaq DRM.

Cisco provides an integrated element management system, Cisco Transport
Manager, to provision, manage, and monitor all the multiservice optical
platforms at the network's edge, in the metropolitan­area network (MAN or
metro), and in the core. Additionally, management for the Cisco ONS 15500
product line and the award­winning Cisco ONS 15454 ML­Series card is based
on Cisco IOS® Software. This facilitates integration into existing networks
based on Cisco products using CiscoWorks and CiscoView, reducing training
and management costs.

Cisco ONS 15454 ­ The Leading SONET Multiservice Provisioning Platform
Since its introduction defined the multiservice provisioning platform market, the
Cisco ONS 15454 has remained the market leader, providing unprecedented
multiservice interfaces on demand, including Ethernet, storage, and time­
division multiplexing (TDM). The Cisco ONS 15454 efficiently aggregates data,
storage, voice, and video services for high­density, highly available transport
across metro networks.

The Cisco ONS 15454 continues its evolution with the Cisco ONS 15454
Multiservice Transport Platform (MSTP). With integrated DWDM functions, this
product provides multirate transponders and muxponders for TDM, data,

http://www.cisco.com/en/US/netsol/ns340/ns394/ns113/networking_solutions_white_paper09186a00801b97b3.shtml 1/9
5/5/2017 Fibre Channel over SONET/SDH  [Optical Solutions for Enterprise] ­ Cisco Systems
storage, and video wavelength services; flexible optical add/drop multiplexers
(OADMs); advanced amplifiers for transmission from tens to hundreds of
kilometers; and network intelligence through software enhancements for point­
and­click setup. In addition, it has automated optical power management and
wavelength additions, and A­Z wavelength provisioning.

Cisco further expands upon the market­leading capabilities of the Cisco ONS
15454 MSPP with the SL­Series storage over SONET/SDH interface card.

Cisco ONS 15454 SL­Series Card
The Cisco ONS 15454 SL­Series card (part number 15454­FC­MR­4) is a
single­slot card with four client ports, each supporting 1.0625­ or 2.125­Gbps
Fibre Channel/FICON. It uses pluggable gigabit interface converter (GBIC)
optical modules for the client interfaces, enabling greater user flexibility and an
option to invest as companies generate the revenue to support it. The payload
from a client interface is mapped directly to SONET/SDH payload via transparent
generic framing procedure (GFP­T) encapsulation. This payload is then cross­
connected to the system's optical trunk interfaces (up to OC­192) for transport,
along with other services, to other network elements.

The card fills the Fibre Channel over wavelength and Fibre Channel over
storage gaps in the transport category of the solution space. Not only does this
allow Cisco to provide 100­percent coverage of the Fibre Channel transport
space, but it also provides end­to­end coverage of data center and enterprise
storage networking solutions over the metropolitan, regional, and wide­area
network.
The SL­Series interface card plugs into the existing Cisco ONS 15454 chassis
and is managed through the existing management system. Its introduction
does not pose a major investment in capital expenditures (CapEx) or OpEx, but
rather, an evolutionary extension of services. For the service provider, this
creates an opportunity to further capture market and revenues from their existing
and often extensive Cisco ONS 15454 installations. For the enterprise, this
equals access to new storage over SONET/SDH services, enabling them to
deploy needed SAN extensions and meet their business­continuance
objectives.

Cisco ONS 15454 SL­Series Card Highlights
Following the tradition of the Cisco ONS 14545 MSPP supporting TDM, Ethernet,
and now storage, the Cisco ONS 15454 SL­Series leads the industry in bit rate
and density for Fibre Channel over storage:
• It supports 1­Gbps and also 2­Gbps Fibre Channel with low­latency GFP­T
mapping, allowing customers to grow beyond 1­Gbps Fibre Channel.
• It supports industry­leading Fibre Channel density over protected
SONET/SDH transport network in a single network element: 16 line­rate
Fibre Channel on a single shelf over fully protected transport network
such as 4­fiber bidirectional line switched ring (BLSR) OC­192, or dual 2­
fiber BLSR/unidirectional­path switched ring (UPSR) OC­192.
The Cisco ONS 15454 SL­Series integrates into existing Cisco ONS 15454
MSPP installations, protecting customer investment and increasing their return:
• Lowers OpEx and CapEx by using existing infrastructure and management
tools
• Increases the service offering capabilities
• Does not require upgrade of costly components of the Cisco ONS 15454
MSPP, such as the switch matrix of the network element
The Cisco ONS 15454 SL­Series card with CTC SONET/SDH supports the
following modes:

• Line rate mode ­ This mode is backward­compatible with the Release 4.6
line rate mode.
• Enhanced mode ­ This mode supports subrate, distance extension, and
other enhancements to support storage extension.
Line rate support is as follows:

• 1­Gbps Fibre Channel/FICON is mapped into the following:
–SONET CCAT: STS24c, STS48c
–SONET VCAT: STS3c­8v, STS1c­24v
–SDH CCAT: VC4­8c, VC4­16c
–SDH VCAT: VC4­8v
• 2­Gbps Fibre Channel/FICON is mapped into the following:
–SONET CCAT: STS48c
–SONET VCAT: STS3c­16v, STS1c­48v
–SDH CCAT: VC4­16c
–SDH VCAT: VC4­16v
Enhanced card mode support is as follows:

• 1­Gbps Fibre Channel/FICON is mapped into the following:
–SONET CCAT: STS1c, STS3c, STS6c, STS9c, STS12c, STS18c, STS24c,
STS48c
–SONET VCAT: STS3c­Nv (N is 1 to 6), STS1c­Nv (N is 1 to 24)
–SDH CCAT: VC4­1c, VC4­2c, VC4­3c, VC4­4c, VC4­6c, VC4­8c, VC4­16c
–SDH VCAT: VC4­Nv (N is 1 to 8)
• 2­Gbps Fibre Channel/FICON is mapped into the following:
–SONET CCAT: STS1c, STS3c, STS6c, STS9c, STS12c, STS18c, STS24c,
STS36c, STS48c
–SONET VCAT: STS3c­Nv (N is 1 to 12), STS1c­Nv (N is 1 to 48)
–SDH CCAT: VC4­1c, VC4­2c, VC4­3c, VC4­4c, VC4­6c, VC4­8c, VC4­12c,
VC4­16c
–SDH VCAT: VC4­16v (N is 1 to 16)

http://www.cisco.com/en/US/netsol/ns340/ns394/ns113/networking_solutions_white_paper09186a00801b97b3.shtml 2/9
5/5/2017 Fibre Channel over SONET/SDH  [Optical Solutions for Enterprise] ­ Cisco Systems
Cisco MDS 9000 Family
The Cisco MDS 9000 Family of storage products lowers the total cost of
ownership (TCO) for storage networking by combining an extremely robust and
flexible hardware architecture with multiple layers of network and storage
intelligence. This powerful combination helps organizations to build highly
available, scalable storage networks with comprehensive security and unified
management.

Comprehensive Multilayer Storage Networking Products
The Cisco MDS 9000 Family provides a line of products to meet requirements
for storage networks of all sizes and architectures. It delivers intelligent network
services such as multiprotocol/multitransport integration, virtual SANs (VSANs),
network security, advanced traffic management, sophisticated diagnostics, and
unified SAN management. In addition, the Cisco MDS 9000 Family provides an
open platform for embedding intelligent storage services such as network­
based virtualization. With its multilayer approach to network and storage
intelligence, the Cisco MDS 9000 Family ushers in a new era in storage
networking.

Cisco MDS 9500 Series ­ Defining the Multilayer Director
The Cisco MDS 9500 Series Multilayer Director elevates the standard for
director­class switches. Providing industry­leading availability, scalability,
security, and management, the Cisco MDS 9500 Series allows you to deploy
high­performance SANs with the lowest TCO. Layering a rich set of intelligent
features onto a high­performance switch fabric that supports multiple protocols,
the Cisco MDS 9500 Series meets the stringent requirements of large data
center storage environments. Available in 6­slot, 9­slot, and 13­slot
configurations, the Cisco MDS 9500 Series supports up to 256 1­/2­Gbps
autosensing Fibre Channel ports in a single chassis and up to 768 Fibre
Channel ports per rack. And with an industry­leading 1.44 terabits per second
(Tbps) of system bandwidth, the Cisco MDS 9500 Series is ready for integration
of future 10­Gbps modules.

Cisco MDS 9216 ­ 16­Port Multilayer Fabric Switch
The Cisco MDS 9216 Multilayer Fabric Switch introduces new functions and
investment protection to the fabric switch market. Sharing a consistent
architecture with the Cisco MDS 9500 Series, the MDS 9216 combines
multilayer intelligence with a modular chassis making it the industry's most
intelligent and flexible fabric switch. Starting with 16 1­/2­Gbps autosensing
Fibre Channel ports, the Cisco MDS 9216's expansion slot allows for the
addition of any Cisco MDS 9000 Family module for up to 48 total ports. As the
storage network expands further, Cisco MDS 9000 Family modules can be
removed from Cisco MDS 9216 multilayer fabric switches and migrated into
Cisco MDS 9500 Series multilayer directors, providing smooth migration,
common sparing, and outstanding investment protection.

Cisco MDS 9000 Family Highlights
• Highly available director ­ The Cisco MDS 9500 Series combines
nondisruptive software upgrades, stateful process restart/failover, and full
redundancy of all major components for a new standard in director­class
availability; supports 1­/2­/4­ and 10­Gbps autosensing Fibre Channel ports
in a single chassis and up to 768 Fibre Channel ports in a single rack
• Highly flexible fabric switch ­ The Cisco MDS 9216 supports up to 48 1­/2­
Gbps autosensing Fibre Channel ports in a fabric switch configuration ­
modular design provides a base system consisting of 16 1­/2­Gbps
autosensing Fibre Channel ports and can be expanded with a variety of
optional Cisco MDS 9000 Family switching modules up to 48 total Fibre
Channel ports.
• Advanced architecture ­ The Cisco MDS 9000 Family architecture provides
common switching modules that can be migrated to any chassis within the
Cisco MDS 9500 Series or the Cisco MDS 9200 Series.
• Cost­effective design ­ The Cisco MDS 9000 Family offers advanced
management tools for overall lowest TCO, and introduces VSAN technology
for hardware­enforced, isolated environments within a single physical fabric
for secure sharing of physical infrastructure, which further decreases TCO.
• Multiprotocol/multitransport ­ The multilayer architecture of the Cisco MDS
9000 Family enables a consistent feature set over a switch fabric that
supports multiple protocols and integrates Fibre Channel, iSCSI, and Fibre
Channel over IP (FCIP) in one system. Its flexible architecture allows
integration of future storage protocols.
• Intelligent network services ­ The Cisco MDS 9000 Family introduces VSAN
technology, access control lists (ACLs) for hardware­based intelligent frame
processing, and advanced traffic management features such as Fibre
Channel Congestion Control (FCC) and fabric­wide quality of service (QoS)
to enable migration from SAN islands to enterprisewide storage networks.
• Open platform for intelligent storage services ­ The Cisco MDS 9000 Family
provides an open platform for hosting intelligent storage services such as
network­based virtualization and replication.
• Comprehensive network­security framework ­ The Cisco MDS 9000 Family
supports RADIUS authentication, Simple Network Management Protocol
Version 3 (SNMPv3), role­based access control, Secure Shell (SSH)
Protocol, Secure File Transfer Protocol (SFTP), Fibre Channel Security
Protocol (FC­SP), VSANs, hardware­enforced zoning, and ACLs.
• Sophisticated diagnostics ­ Provides industry­first intelligent diagnostics,
protocol, decoding, and network analysis tools, as well as integrated "call
home" capability for added reliability, faster problem resolution, and reduced
service costs. The Call Home feature in switches provides a notification
system for alarms and events.
• Unified storage management ­ The Cisco MDS 9000 Family includes built­in
storage management with all features available via command­line interface
(CLI) or Cisco Fabric Manager, a centralized management tool that simplifies

http://www.cisco.com/en/US/netsol/ns340/ns394/ns113/networking_solutions_white_paper09186a00801b97b3.shtml 3/9
5/5/2017 Fibre Channel over SONET/SDH  [Optical Solutions for Enterprise] ­ Cisco Systems
management of multiple switches and fabrics.
• Industry's highest­performance Inter­Switch Links (ISLs) ­ The Cisco MDS
9000 Family supports up to 16 2­Gbps links in a single PortChannel ­ links
may span any port on any module within a chassis for added scalability and
resilience.
• Flexibility and investment protection ­ The Cisco MDS 9000 Family shares
common switching modules across all Cisco MDS 9500 Series products as
well as the Cisco MDS 9216 Multilayer Fabric Switch.
The Cisco optical and storage products described in this document support an
ideal solution for delivering Fibre Channel/FICON over SONET/SDH ­ a SAN
extension solution to support common disaster recovery and business­
continuance applications.

Disaster Recovery and Business­Continuity Applications
Disaster recovery and business­continuity plans drive the need for solutions
that protect critical business information and provide continuous access to
important data in case of disaster. Disaster­recovery applications are intended
to replicate data to a remote backup location. The backup site can be located in
the same metro area, such as New York and New Jersey, or at transcontinental
distances. The more stringent requirements of business continuance
emphasize real­time restoration ­ when disaster occurs, failover is near
immediate, providing for faster recovery. Business continuance is put in place to
protect business applications at times when downtime is not an option.
Common applications for replicating and protecting critical information include
synchronous and asynchronous replication and tape backup.

Synchronous Replication
Synchronous replication is used to protect data and applications with stringent
availability requirements. Some applications, such as online trading, must be
designed and implemented so that no data is lost in case of a disaster. To
achieve this, transactions must be written on both the main and backup sites
synchronously to keep the databases consistent. When an application writes
data to disk, that data is being replicated to the remote site before a write
acknowledgment is sent back to the application. The write I/O is acknowledged
on the server only when a block of data has been written on both sites. Hence,
the latency introduced in the network directly affects the application
performance. The latency introduced is a function of the speed of light and the
distance between:
Latency = 5 Microseconds * (Round­trip distance) * 2
 = 5 * 100 * 2
 = 1 millisecond (ms)
In this example, 1 ms of latency is introduced to replicate the data between sites
50 kilometers (km) apart. Two round trips are required to complete the I/O.

To limit the impact of replication, storage­array vendors are imposing distance
limitations for synchronous replication. The distance is typically around 100 km.

Figure 1
Synchronous Replication

Asynchronous Replication
If a limited amount of business information can be lost in case of disaster,
asynchronous replication can be used. Asynchronous replication provides very
good protection, but some transactions could be lost in case of disaster. With
asynchronous replication, Write I/O is completed once written on the main
storage array. The server does not wait until the I/O is completed on the other
storage array. There is no distance limitation and typical asynchronous
replication applications can span thousands of kilometers or more.

Figure 2
Asynchronous Replication

Requirements of Disaster­Recovery and Business­Continuity Applications

http://www.cisco.com/en/US/netsol/ns340/ns394/ns113/networking_solutions_white_paper09186a00801b97b3.shtml 4/9
5/5/2017 Fibre Channel over SONET/SDH  [Optical Solutions for Enterprise] ­ Cisco Systems
Before designing a WAN, it is important to understand the requirements of each
application and how it performs on the network. There are numerous
applications available and Table 1 generalizes some of the major applications
that demand stringent requirements. The MAN/WAN should be able to provide
the requirements that each application demands to obtain maximum efficiency.
Table 1. Application Requirements

Asynchronous
Application Bandwidth Latency Comments or
Synchronous

Sensitive to
delay. Rely on
Small
Typically Computer
10 to 15 System
MB per Interface
tape drive. (SCSI)
Tape Up to 40 protocol for
<1­5 ms Synchronous
backup MB per timeouts and
tape drive error recovery.
(Super Note: Once a
DLT session is
tapes). interrupted,
the all­backup
session is
lost.

Varies Synchronous
depending <1­5 ms for applications
on storage synchronous are very
array. Asynchronous sensitive to Synchronous
Disk
Typically replication delay. or
mirroring
maximum tolerates Asynchronous Asynchronous
50 MB per higher latency are less
storage (100 ms) sensitive to
array. delay.

Depends on
OS the OS and
File access
dependent. application
above it.

* Other requirements include prov isioning, error monitoring, and end­to­end management.
An end­to­end Cisco solution uses Cisco platforms as building blocks (which
include Cisco ONS 15454, Cisco MDS 9000, and Cisco ONS 15540/15530) to
support almost all disaster­recovery and business­continuance applications
that are prominent in the market. The following sections highlight some of these
applications and the design methodologies to architect a typical Cisco SAN
extension solution to support these applications.
Some of these applications supported by Cisco end­to­end solutions include
(but are not limited to) tape backup, disk mirroring, and geographic clustering of
servers.

Remote Tape­Backup Applications
In an enterprise network, certain sites (remote branches or small offices) could
have a small SAN that connects a few servers to the storage arrays. Backing up
and restoring these servers over the WAN are the fundamental components of
disaster­recovery operations. Extending tape backup over a wide area puts
stringent requirements for efficient tape­backup and recovery operations. The
requirements include no data loss, low latency and jitter, monitoring of the link,
and high security.
Slow wide­area links could increase backup time and could make it impossible
to complete backup within the allocated time period (or "window"). Distance is
not a major limitation for backup to tape applications as long as it is possible to
predict delay requirements. For backup to tape to be as efficient as possible,
Cisco recommends sustaining a certain speed so that a continuous stream of
data is sent to tape. Backup performance has been found to be best when the
tape can accept a continuous stream. Backup to tape transfer over the WAN is
asymmetrical in nature. Figure 3 shows a Cisco solution to interconnect two
remote sites that are being backed up to a main data center. The asymmetrical
nature of tape­backup data transfer creates unique challenges when designing
SAN extension networks.

Tape "pipelining" technology helps to extend tape drives thousands of
kilometers, thus making remote tape backup an essential component of
business­continuance and disaster­recovery applications. The efficiency is
achieved by implementing buffering and error­recovery mechanisms. The
concept is similar to spoofing ­ the server and tape controller, even though are
separated by a large distance, behave as if they are colocated. The tape
pipelining technique relaxes the design constrains of SAN extension
technologies.

Figure 3
Tape Backup

http://www.cisco.com/en/US/netsol/ns340/ns394/ns113/networking_solutions_white_paper09186a00801b97b3.shtml 5/9
5/5/2017 Fibre Channel over SONET/SDH  [Optical Solutions for Enterprise] ­ Cisco Systems

A typical solution includes transport over SONET/SDH, which provides all the
necessary QoS requirements required by tape­backup applications. The Cisco
solution shown in Figure 3 provides necessary provisioning, management,
bandwidth optimization, and performance parameters that are critical to
implement tape­backup applications. The Cisco solution can scale as
bandwidth requirements increase and still maintain the QoS requirements
required to support this application.

Remote Disk Mirroring
Disk mirroring is a technique in which data is written to two different disks at the
same time. This process helps to ensure that if the primary disk fails, the
failover mechanisms will switch the system instantly to the secondary disk,
eliminating or minimizing the loss of data. The Internet demands that data be
available 24 hours a day, and failure is not an option. Disk mirroring is
frequently used in database applications. Because of disaster­recovery and
business­continuance requirements, enterprises are demanding
geographically dispersed mirroring techniques, known as remote disk
mirroring. A typical remote disk mirroring network architecture using both Fibre
Channel and Gigabit Ethernet combined (collapsed network architecture) is
shown in Figure 4.

Figure 4
A Collapsed Data Center Netw ork (Disk Mirroring Application) over WAN

Fibre Channel SAN Extension Design ­ Storage­Based Replication
Cisco SAN extension solutions support storage­array­based replication
applications of the most common storage­array vendors. The principles and
methods to design the SAN extension network are identical and provide
redundancy and fast convergence in case of network failure. Two high­level
solution designs are described here. The first design relies on redundant Fibre
Channel switches to form a resilient fabric. The second design relies on Cisco
MDS 9000 high­availability and redundancy features.

The designs proposed in this section are applicable to replication application
from different storage vendors. These applications include SRDF from EMC,
HDS Truecopy, Compaq/HP DRM, and IBM PPRC.

EMC Symmetrix Remote Data Facility
The EMC Symmetrix Remote Data Facility (SRDF) is an online, host­
independent, mirrored data solution that duplicates production­site data on
physically separate target Symmetrix systems. This SRDF SAN solution
dramatically lowers the risks associated with all major tasks that impact
business continuance: disaster recovery, backups and scheduled
maintenance, data center migration and consolidation, and testing.

Hitachi Data Systems TrueCopy

http://www.cisco.com/en/US/netsol/ns340/ns394/ns113/networking_solutions_white_paper09186a00801b97b3.shtml 6/9
5/5/2017 Fibre Channel over SONET/SDH  [Optical Solutions for Enterprise] ­ Cisco Systems
HDS TrueCopy provides a storage­based hardware solution for disaster
recovery that enables fast and accurate system recovery. Once TrueCopy
operations are established, duplicate copies of data are automatically
maintained for backup and disaster­recovery purposes. During normal
TrueCopy operations, the primary volumes remain online to all hosts and
continue to process both read and write I/O operations. In the event of a disaster
or system failure, the secondary copy of data can be rapidly invoked to allow
recovery with a very high level of data integrity. TrueCopy can also be used for
data duplication and migration tasks.

Compaq/HP DRM
A single DRM provides a disaster­tolerant storage solution through the use of
hardware redundancy and data replication between two sites separated by
some distance. Multiple heterogeneous servers can be connected to one or
more shared storage subsystems. A basic DRM configuration consists of two
sites, an initiator and a target. The initiator site carries out primary data
processing. The target site is used for data replication. As data processing
occurs at the initiator site, the data is replicated or mirrored to the target site. If a
single component at either site fails, DRM will fail over to a redundant
component at the same site to allow continued operation. For example, if one of
the dual­redundant Fibre Channel links between the sites were to fail, DRM
would fail over to the other link. If a significant failure (disaster) occurs at the
initiator site, data processing can be resumed at the target site, where the data
is intact. This process is called site failover. When the cause of the initiator site
failover has been resolved, data processing can be moved back to the initiator
site in a process called site failback.
DRM uses the peer­to­peer remote copy function of the HSG80 controller to
achieve data replication. HSG80 controller pairs at the initiator site are
connected to their partner HSG80 controller pairs at the target site. This process
is completely host independent.

IBM Peer­to­Peer Remote Copy
Peer­to­Peer Remote Copy (PPRC) is an Enterprise Storage Server (ESS)
function that allows the shadowing of application system data from one site
(usually called the application site) to a second site (called the recovery site).
The logical volumes that hold the data in the ESS at the application site are
called primary volumes, and the corresponding logical volumes that hold the
mirrored data at the recovery site are called secondary volumes. The connection
between the primary and the secondary ESSs is done using ESCON links.

Architecture and Network Design
Disaster recovery applications require a network architecture that is resilient
and that introduces minimum latency (at least for synchronous replication).
SONET/SDH networks can be used to transport storage within the metro and for
longer distances. SONET/SDH networks are built with 50­ms convergence time.
Ring topologies help ensure an alternate path is always possible in case of a
fiber cut. Figure 5 illustrates architecture with dual Fibre Channel switches
connected to the same Cisco ONS 15454 SONET/SDH platform.

Figure 5
Netw ork Architecture for EMC SRDF Applications

Figure 6 shows two EMC Symmetrix storage arrays connected through the SAN
extension system. Two Fibre Channel ports are connected on each Symmetrix
device so that a dual Fibre Channel path is accomplished between the
Symmetrix devices. On the Cisco ONS 15454, the SL­Series card provides Fibre
Channel connectivity to the Cisco MDS 9000 Fibre Channel switches. A
SONET/SDH circuit is being provisioned between the two SONET end nodes. If
1­Gbps Fibre Channel wire rate is required, then a STS­24 circuit is provided.
The circuit is fully protected.
An alternative solution would be to use only one Cisco MDS Fibre Channel
Switch and connect both RDF ports to that switch. Resiliency is provided at the
platform level with dual power supply and supervisor.

Figure 6
Netw ork Architecture for SRDF Applications (No Redundancy)

It is interesting to note that both R1 and R2 volumes are being created on both
sides, that is, traffic is generated in both directions. In this scenario, information

http://www.cisco.com/en/US/netsol/ns340/ns394/ns113/networking_solutions_white_paper09186a00801b97b3.shtml 7/9
5/5/2017 Fibre Channel over SONET/SDH  [Optical Solutions for Enterprise] ­ Cisco Systems
is being created on both sides on R1s and is being replicated to the other
location (R2s). This is a common situation as enterprises share the load for
business applications between the two sites.

Storage Network Management
As storage network environments continue to grow, the need for comprehensive
management services of the storage network environment becomes more
apparent. There are several features and services offered with the Cisco ONS
15454 optical platform and Cisco MDS 9000 Family of products that support
such applications.
Cisco Transport Manager, the single, integrated, optical, element management
system for Cisco ONS 15000 optical systems, simplifies management and
accelerates deployment of Cisco ONS 15454s. Cisco Transport Manager
provides advanced capabilities in the functional management areas of
configuration, fault, performance, and security for Cisco optical network
elements, subnetworks, and networks. With inherent support for SONET, SDH,
DWDM, Fibre Channel/FICON, and Ethernet, along with open interfaces to
operations support systems (OSSs) and a proven record of reliability and
scalability, Cisco Transport Manager delivers the full power over the wide range
of advanced Cisco optical systems to today's network operators. A typical Cisco
Transport Manager view is shown in Figure 7.

Figure 7
Cisco Transport Manager GUI

The Cisco Fabric Manager, which consists of an element and fabric manager,
offers diverse management capabilities for the Cisco MDS 9000 Family. The
element manager allows network administrators to configure the switch and to
track statistics and events. The Cisco fabric manager provides the capability to
manage the fabric as a collection or network of devices. The fabric manager
application is built upon a topology representation of the fabric. Once the fabric
manager is invoked, a topology discovery process begins. Using information
polled from a seed Cisco MDS 9000 Family switch including NameServer
registrations and Fibre Channel­GS­3 Fabric Configuration Server information,
the fabric manager can recreate a fabric topology and represent it for the user in
a customizable map. The Cisco MDS 9000 Family of switches comes with a
series of fabric­oriented management tools and facilities that can be used to
discover and monitor the entire connected fabric. These tools are Fibre Channel
ping and traceroute, SCSI target discovery, support for all generic services of
Fibre Channel­GS­3, and Fibre Channel span. Using the Cisco Fabric Analyzer,
users can capture Fibre Channel control traffic from a switch and decode it
without having to disrupt any connectivity, and without having to be local to the
point of analysis.

Summary
Enterprise businesses want to protect information and have 24­hour access to
critical application services, requirements that for some are mandated by law.
Cisco optical solutions allow these customers to select the transport service ­
whether IP/Ethernet, SONET/SDH, or WDM ­ that best meets their recovery time
and point objectives for business continuity. Whether the enterprise self­
manages its metro or WAN, or outsources it network needs to a service
provider, Cisco offers a full portfolio of solutions.
The Cisco ONS 15454, together with a variety of interface cards, delivers a
single, integrated platform that supports a broad range of data and other
services over a high­density, high­capacity optical network. With this platform,
the service provider or the enterprise can offer scalable Ethernet, SONET/SDH,
or wavelength services in ways that address the customer's storage
interconnection needs, regardless of the distances involved. By deploying these
Cisco optical network solutions, service providers and enterprises can address
a variety of disaster recovery and business continuity needs, ranging from
archiving e­mail to data mirroring with zero information loss.

For More Information
For more information about SAN extension and Cisco storage and optical

http://www.cisco.com/en/US/netsol/ns340/ns394/ns113/networking_solutions_white_paper09186a00801b97b3.shtml 8/9
5/5/2017 Fibre Channel over SONET/SDH  [Optical Solutions for Enterprise] ­ Cisco Systems
solutions, refer to the following:

• EMC Symmetrix DMX series:
http://www.emc.com/products/systems/DMX_series.jsp
• Data sheet ­ Cisco SL­Series for the Cisco ONS 15454:
http://www.cisco.com/en/US/products/hw/optical/ps2006/products_data_sheet09186a00801b97a7.html
• Cisco MDS 9000 Family:
http://www.cisco.com/en/US/products/hw/ps4159/ps4358/index.html

Information For News & Alerts Support About Cisco

Small Business New sroom Dow nloads Investor Relations
Midsize Business Blogs Documentation Corporate Social Responsibility
Service Provider Field Notices Environmental Sustainability
Communities
Executives Security Advisories Tomorrow  Starts Here
Developer Netw ork
Home (Linksys) Career Opportunities
Technology Trends Learning Netw ork
Industries Cloud Support Community Programs
IPv6 Cisco Designated VIP Program
Contacts Video Portal
Mobility Cisco Pow ered
Contact Cisco
Open Netw ork Environment Financing Options
Find a Partner
Trustw orthy Systems

Contacts  |  Feedback  |  Help  |  Site Map  |  Terms & Conditions  |  Privacy Statement  |  Cookie Policy  |  Trademarks

http://www.cisco.com/en/US/netsol/ns340/ns394/ns113/networking_solutions_white_paper09186a00801b97b3.shtml 9/9