WP‐1023 

Rev. 05.08 

SHERPA – An Efficient and Robust Optimization/Search Algorithm

number of evaluations required to achieve a given level 
of design performance can be quite different from run to 
Introduction
run. More importantly, the final results of several runs 
Numerical design optimization is now an industry‐ using the same algorithm may not be the same – that is, 
accepted practice for more quickly identifying designs  each run may fall short in some way from finding an 
that meet increasingly stringent performance  optimal solution.  
specifications and cost targets. Rather than manually 
iterate on design parameters in the hope of finding a  These differences depend upon the starting conditions of 
design that meets the required specifications, automated  the search, such as the initial or baseline design in a 
numerical optimization algorithms can yield much better  gradient‐based algorithm or the initial population of 
designs in much less time. These algorithms work with  designs in an evolutionary algorithm. Ideally, the 
existing analysis tools, which predict how well a design  performance of an optimization algorithm should be 
performs. So the final result of an optimization run is an  similar under all sorts of different starting conditions. 
analyzed model of the best design and its predicted  Such an algorithm is said to be robust. This property is 
response characteristics.   important for instilling confidence in the results of an 
algorithm and for approximating the number of 
One of the keys to a successful optimization study is the  evaluations needed to identify a good design.  
effectiveness of the search algorithm used. This paper 
provides brief answers to the following questions about 
2. A Simple Benchmark Problem
optimization algorithms: 
The true test of any optimization algorithm is its overall 
• What does it mean for an algorithm to be  performance on numerous problems of varying type and 
efficient and robust, and why is it important?  complexity. But all algorithms considered for general use 
• How do various algorithms compare on these  should at least be effective at solving rather simple 
important characteristics?  problems such as the one considered here. 
• What makes the algorithm SHERPA so effective? 
We consider a cantilevered I‐beam subjected to a tip 
load, as shown in Figure 1. The goal is to design the 
1. Efficiency and Robustness of Optimization
cross‐sectional shape of the I‐beam such that a minimum 
Algorithms
mass solution is found that also satisfies constraints on 
Optimization algorithms use the results from numerical  the stress and deflection. Mathematically, this is 
analyses and simulations, herein called “evaluations,” to  expressed as: 
guide the search for an optimal design. For example, a 
finite element analysis of a particular design candidate  Minimize: m (H, h1, b1, b2)
would be called an evaluation. An algorithm’s efficiency 
is measured in terms of the total number of evaluations  such that: σ max ≤ σ all
required to find the optimal design or a design of a 
umax ≤ uall
specified performance level. Using fewer evaluations is 
important because often each evaluation can require a 
significant amount of CPU time. For example, many  where (H, h1, b1, b2) are the design variables, m is the 
nonlinear finite element simulations require from several  mass of the beam,  σ max is the maximum bending stress, 
hours to several days of CPU time. So reducing the total  σ all = 5000 psi is the allowable bending stress,  umax is 
number of evaluations needed has a large impact on the 
time required to find an optimized design.  the maximum deflection, and  uall = 0.1 inches is the 
allowable deflection. 
The search path taken by an optimization algorithm will 
generally be different in each run. This means that the   

Page | 1 
 
 SHERPA – An Efficient and Robust Optimization/Search Algorithm 

The variables are allowed to vary as follows:  This study investigated the ability of each algorithm 
to find the known optimal (lowest mass) solution 
3 . 0 ≤ H ≤ 7 .0 using a specified number of evaluations. For a given 
0.1 ≤ h1 ≤ 1.0 number of allowable evaluations, each algorithm 
  was run fifty (50) times from different (random) 
2.0 ≤ b1 ≤ 12.0 starting conditions. The best solution found in each 
0.1 ≤ b2 ≤ 2.0 run was recorded, and the average of these best 
solutions was calculated and then normalized by the 
known optimal solution. These results are shown in 
Figure 2. The standard deviation of these solutions 
h1
P was also calculated, as shown in Figure 3. 
H b2
Prior to executing the final runs for this study, an 
h1 effort was made to “tune” the parameters in each 
L

b1
algorithm in order to increase the effectiveness of 
the search for this particular problem. The exception 
was SHERPA, which has no tunable parameters. All 
Figure 1. (a) Cantilever beam with a tip load. (b) 
Cross sectional shape variables in the I­beam.  of its parameters are automatically adjusted in an 
adaptive manner, as discussed in Section 3. 
Five different algorithms were investigated. Four of 
In Figure 2, it can be seen that SHERPA required 
the algorithms were selected because they are the 
many fewer evaluations than the other algorithms 
most widely used methods today, and are available 
did to find nearly optimal solutions. Alternatively, it 
in most commercial optimization packages. The fifth 
may be said that for a given number of allowable 
algorithm is SHERPA, which is a proprietary method 
evaluations, SHERPA found much better designs 
available in the software package HEEDS. The 
than the other algorithms did. On this particular 
algorithms considered are: 
problem, SHERPA is evidently much more efficient 
SHERPA – simultaneous hybrid exploration that is  than the other algorithms considered, even after 
robust, progressive and adaptive. This is a multi‐ tuning their parameters to improve performance. 
point, hybrid adaptive algorithm described below in  Similar conclusions have been reached for many 
Section 3.  other problems. 

GA – genetic algorithm. This is a multi‐point,  The results in Figure 3 indicate that SHERPA is also 
evolutionary search method that performs global  very robust for this problem, having the least 
exploration of the design space while searching for  amount of variation in the final solutions found for 
an optimal solution. It does not require the  all levels of evaluations performed. This increased 
calculation of solution gradients.  robustness is due in part to the hybrid nature of 
SHERPA, as described below. 
SA – simulated annealing. This is a single‐point 
algorithm that is capable of finding global optima but 
3. An Overview of SHERPA
often finds a local optimal solution. It is not 
dependent on solution gradients.  HEEDS contains a unique search strategy called 
SHERPA, which stands for Simultaneous Hybrid 
NLSQP – non‐linear sequential quadratic  Exploration that is Robust, Progressive and Adaptive.  
programming. This is a single‐point, gradient‐ based 
approach that typically exhibits good convergence  During a single search, SHERPA uses multiple search 
toward the nearest local optimal solution.  methods simultaneously (not sequentially). This 
approach takes advantage of the best attributes of 
RSM – response surface method. This method  each method, and reduces a method’s participation 
searches a surrogate approximation model that is  in the search if/when it is determined to be 
generated by fitting a chosen function to a set of  ineffective. 
evaluation data points. Here, a quadratic least 
squares surface was used.   

Page | 2 
 
 SHERPA – An Efficient and Robust Optimization/Search Algorithm 
Normalized average best solution

2 SHERPA efficiently for many practical engineering design 
GA
problems.  
SA
1.8
NLSQP
RSM
Aside from being very efficient, robust and effective, 
1.6 the main advantages of this approach include:  

1.4 • Users need not spend time and effort trying 
to understand their design space before 
1.2 choosing a suitable algorithm for an 
optimization run. SHERPA will learn about 
1
50 75 100 150 250 500
the design space and employ the 
Maximum allowable evaluations appropriate algorithms as it proceeds 
Figure 2. Average best solution found over 50 runs versus  toward finding an optimized solution. 
the number of allowable evaluations. All solutions are  • Users do not need much, if any, expertise in 
normalized by the known optimal solution.  optimization algorithms and applications, 
because SHERPA makes all of the decisions 
about which methods to use and how to 
0.7 tune them. 
Standard deviation of best solution

SHERPA • Users can define a problem realistically, 
0.6
GA based on actual engineering or business 
0.5 SA costs and benefits, without feeling 
NLSQP
RSM
constrained by the capabilities of a 
0.4
particular search method. Problem 
0.3 definitions can be much broader and 
0.2
include a larger number of variables.  

0.1
4. Summary
0
50 75 100 150 250 500 The importance of efficiency and robustness in 
Maximum allowable evaluations
optimization algorithms was discussed, and the 
Figure 3. Standard deviation of the best solutions  results of a simple benchmark example were 
found over 50 runs versus the number of 
allowable evaluations.  
described to highlight the performance of some 
commonly used algorithms. For this problem, the 
A combination of global and local search methods is  new hybrid adaptive algorithm SHERPA was shown 
used, with the number of different methods used at  to be far superior to the other algorithms in terms of 
any time ranging between two and ten.   both efficiency and robustness.  

Each method contains tuning parameters that are 
modified automatically during the search according 
to knowledge gained about the nature of the design 
space. This evolving knowledge about the design 
space also determines when and to what extent 
each method is used. In other words, SHERPA 
efficiently learns about the design space and adapts 
itself so as to effectively search all sorts of design 
spaces, even very complicated ones. Naturally, there 
is no claim that this approach is better for all 
problems than some other approach might be, or 
that it will always find a global optimal solution, but 
it has been shown to work very effectively and 

 
Page | 3