4. 캐시의 지역성

캐시 메모리(Cache Memory)

캐시 메모리는 속도가 빠른 장치와 느린 장치간의 속도차에 따른 병목 현상을 줄이기 위한 범용 메모리이다. 캐시메모리는 주기억장치에서 자주 사용하는 프로그램과 데이터를 저장해두어 처리 속도를 빠르게 한다.
여기서 캐시 기억장치와 주기억장치 사이에서 정보를 옮기는 것을 사상(Mapping, 매핑)이라고 한다.

Mapping의 3가지 방법

• 직접 매핑(Direct Mapping)
  주기억장치의 블록들이 지정된 한 개의 캐시 라인으로만 사상될 수 있는 매핑 방법.
  간단하고 구현하는 비용이 적다는 장점이 있지만 캐시 적중률이 낮아질 수 있다.
• 연관 매핑(Associate Mapping)
  직접 매핑 방식의 단점을 보완한 방식.
  모든 태그들을 병렬로 검사하기 때문에 복잡하고 비용이 높다는 단점 때문에 거의 사용하지 않는다.
• 집합 연관 매핑(Set Associate Mapping)
  직접 매핑과 연관 매핑의 장점만을 취한 방식. 정해진 블록의 집합내 어디서든 매핑이 가능하다.

캐시메모리는 병목현상을 줄이기 위해 CPU가 어떤 데이터를 원하는지 어느 정도 예측할 수 있어야 한다. 캐시 메모리에 CPU가 이후에 참조할, 필요 있는 정보가 어느 정도 들어있느냐에 따라 캐시의 성능이 좌우되기 때문이다.

캐시메모리는 주기억장치와 CPU사이에 위치해 있으며, 메모리 계층 구조에서 가장 빠른 소자로서 처리속도가 거의 CPU의 속도와 비슷하다.

이러한 캐시메모리를 사용하면 주기억장치를 접근하는 횟수가 줄어들어 컴퓨터의 처리속도가 향상된다.

 

---

캐시의 지역성

캐시의 지역성(Cache Locality)이란?

캐시메모리의 역할을 제대로 수행하기 위해서는 CPU가 어떤 데이터를 원할 것인가를 어느 정도 예측할 수 있어야 한다. 캐시의 성능은 작은 용량의 캐시 메모리에 CPU가 이후에 참조할, 쓸모 있는 정보가 어느 정도 들어있느냐에 따라 좌우되기 때문이다.

이 때 적중율(Hit rate)를 극대화 시키기 위해 데이터 지역성(Locality)를 사용한다. 지역성의 전제조건으로 프로그램은 모든 코드나 데이터를 균등하게 Access 하지 않는다는 특성을 기본으로 한다. 즉, Locality란 기억 장치 내의 정보를 균일하게 Access 하는 것이 아닌 어느 한 순간에 특정 부분을 집중적으로 참조하는 특성인 것이다.

• 캐시 적중(Cache Hit) : CPU가 액세스하려는 데이터가 이미 캐시에 적재되어있는 상태.
  
  
• 캐시 미스(Cache Miss) : CPU가 액세스하려는 데이터가 캐시에 없어 주기억장치로부터 인출해 와야하는 상태.
  
  
• 캐시 적중률(Cache Hit rate) : CPU가 원하는 데이터가 캐시에 있을 확률.
  캐시에 적중되는 횟수 / 전체 기억장치 액세스 횟수
  
  
• 미스율(Miss rate) : CPU가 원하는 데이터가 캐시에 없을 확률
  1-(Cache Hit rate)

 

지역성의 종류

데이터 지역성은 대표적으로 시간적 지역성(Tempora Locality)과 공간지역(Spatial Locality)로 나뉜다.

 

시간적 지역성(Temporal Locality)

시간적 지역성은 최근에 참조된 주소의 내용은 곧 다음에 다시 참조되는 특성이다.

메모리 상의 같은 주소에 여러 차례 읽기 쓰기를 수행할 경우, 상대적으로 작은 크기의 캐시를 사용해도 효율성을 꾀할 수 있다.

공간적 지역성(Spatial Locality)

공간적 지역성은 기억장치 내에 서로 인접하여 저장되어 있는 데이터들이 연속적으로 액세스 될 가능성이 높아지는 특성이다.

CPU 캐시나 디스크 캐시의 경우 한 메모리 주소에 접근할 때 그 주소뿐 아니라 해당 블록을 전부 캐시에 가져오게 된다.

이때 메모리 주소를 오름차순이나 내림차순으로 접근한다면, 캐시에 이미 저장된 같은 블록의 데이터를 접근하게 되므로 캐시의 효율성이 크게 향상된다.

 

---

Caching line

캐시(cache)는 프로세서 가까이에 위치하면서 빈번하게 사용되는 데이터를 저장해두는 장소이다. 하지만 캐시가 아무리 가까이 있더라도 찾고자 하는 데이터가 어느 곳에 저장되어 있는지 몰라 모든 데이터를 순회해야 한다면 시간이 오래걸릴 것이다.
따라서, 캐시에 목적 데이터가 저장되어 있다면 바로 접근하여 출력할 수 있어야 캐시를 효율적으로 활용할 수 있을것이다.

이러한 이유 때문에 캐시에 데이터를 저장할 때 특정 자료구조를 사용하여 '묶음'으로 저장하게 되는데 이를 캐싱라인(Caching Line) 이라고 한다.