在DSP算法中，最大量的工作之一是与存储器交换信息，这其中包括作为输入信号的采样数据、滤波器系数和程序指令。例如，如果将保存在存储器中的2个数相乘，就需要从存储器中取3个二进制数，即2个要乘的数和1个描述如何去做的程序指令。DSP内部一般采用的是哈佛结构，它在片内至少有4套总线：程序的数据总线，程序的地址总线，数据的数据总线和数据的地址总线。这种分离的程序总线和数据总线，可允许同时获取指令字(来自程序存储器)和操作数(来自数据存储器)，而互不干扰。这意味着在一个机器周期内可以同时准备好指令和操作数。有的DSP芯片内部还包含有其他总线，如DMA总线等，可实现单周期内完成更多的工作。这种多总线结构就好像在DSP内部架起了四通八达的高速公路，保障运算单元及时地取到需要的数据，提高运算速度。因此，对DSP来说，内部总线是个资源，总线越多，可以完成的功能就越复杂。超级哈佛结构(superHarvard architecture，缩写为SHARC)，它在哈佛结构上增加了指令cache(缓存)和专用的I/O控制器。

哈佛结构处理器有两个明显的特点：使用两个独立的存储器模块，分别存储指令和数据，每个存储模块都不允许指令和数据并存；使用独立的两条总线，分别作为CPU与每个存储器之间的专用通信路径，而这两条总线之间毫无关联。

改进的哈佛结构，其结构特点为：以便实现并行处理；具有一条独立的地址总线和一条独立的数据总线，利用公用地址总线访问两个存储模块(程序存储模块和数据存储模块)，公用数据总线则被用来完成程序存储模块或数据存储模块与CPU之间的数据传输。