공부시러요 공부시러요

단답 정리 1. 처리시간 지연 가. 메모리 병목 현상의 정의많은 양의 데이터를 한순간에 메모리에 전송할때 메모리가 이를 제대로 처리하지 못하고 지연되는 현상나. 메모리 병목현상 최소화 방안 개념 캐시 히트율 향상접근 시간 최소화I/O Swap 최소화 2. 캐시 히트율 향상 및 캐시 접근 시간 최적화 방안가. 캐시 미스 원인별 적중률 향상 방안원인내용방안Compulsory miss (필수 미스)최초 전원 on 후에 데이터 접근prefetch (미리 읽기)Capacity miss캐시 용량 부족캐시용량 증가 / 캐시 블럭 사이즈 증가Conflict miss캐시 용량은 남아있으나, set 수 부족set 수 증가, 컴파일러 최적화 나. 캐시 접근 시간 향상 방안향상 방안내용캐시 용량증가, 블럭 사이즈 증가캐시 접..

ITFIND 주간기술동향 2134호 본 내용의 경우 IITP의 주간기술동향에 대해서 요약한 내용으로 원문은 아래의 링크를 참고 부탁드립니다.https://www.itfind.or.kr/streamdocs/view/sd;streamdocsId=nDYesI8UfdGZlVkmzlZfFHcCXaAOiQ5Tb4NdRZFwOq8  발행일: 2024-05-22   I 서론최근 인공지능의 발전으로 머신러닝, 딥러닝의 복잡하고 비선형적인 데이터에서 패턴을 자동으로 추출하고 학습하는 능력을 통해 금융, 의료 등과 같은 미션 크리티컬 분야에서도 AI 기반의 의사결정을 하려는 시도가 늘어나고 있다. 그러나 AI 시스템의 불투명한 작동방식으로 인해 AI 시스템의 신뢰성에 대한 요구가 대두되고 있다.Explainable AI (..

배경일반적으로 CPU는 저장장치에서 데이터를 읽기 전에 캐시에 먼저 접근해서 찾아본 후 캐시에 없으면 저장장치에서 읽어 들이거나, 캐시에 있으면 캐시의 데이터를 읽어들이는 메커니즘이다. 하지만, 단순히 데이터를 읽어들이는 방식에서는 문제가 없지만, 데이터를 읽어들이고 수정할경우 write operation이 되면, CPU는 캐시의 값만 변경하게 된다. 이때, 저장공간과 캐시상의 데이터 일관성이 없어지기 때문에, 캐시의 일관성을 보장하기 위해 사용하는 메커니즘이다. 사실 폰 노이먼 구조에서는 중장처리장치가 모든 제어권을 관장하는 구조 이기 때문에 CPU만 캐시에 접근을 하면 데이터 구조적으로 캐시 불일치의 문제가 없지만, 중간중간 CPU의 제어권을 가져오는 DMA Controller가 있기 때문에, 캐시의..

단답 정리1. - 메모리 계층구조는 속도와 용량의 상호보완을 위해 사용- 캐시 메모리는 데이터의 액세스 시간을 줄이기 위해 사용되는 고속 메모리 - 가상 메모리는 가상의 주소를 활용해 메인 메모리의 용량 한도를 초과하여 프로그램을 사용하게 해주는 메모리 기법 가. 메모리 계층 구조의 필요성과 효과필요성: 기억장치들은 속도, 용량 및 가격 측면에서 매우 다양, 이들의 효율적인 활용이 필요효과: 기억장치 시스템의 가격대비 성능을 향상 시킴 (저비용 고효율 정책 필요)나. 기억장치 특성들 간의 관계접근 속도가 빠를수록 bit당 가격이 높아짐용량이 커질수록 bit당 가격이 낮아짐용량이 커질수록 접근 시간이 길어짐 2. 캐시 메모리와 가상 메모리 비교가. 캐시 메모리 정의 캐시메모리는 데이터의 액세스 시간을 줄이..

단답 정리1. 캐시 메모리는 메인 메모리와의 속도차 극복가. 캐시 메모리의 정의 CPU와 주기억장치의 (메인 메모리) 속도차이로 인한 CPU 대기시간을 최소화하기 위해 CPU와 주기억장치 사이에 설치하는 고속 반도체 기억장치 (주로 SRAM 사용) 나. 캐시 메모리의 특징메인 메모리보다 접근 속도가 빠른 칩 사용가격 & 제한된 공간 때문에 용량이 적음 2. 캐시 메모리의 개념도와 주요 개념 가. 캐시 메모리의 개념도    나. 캐시 메모리의 주요 개념주요 개념설명cache hitCPU가 원하는 데이터가 캐시에 존재cache missCPU가 원하는 데이터가 캐시에 없는 상태hit ratio캐시 적용 ratio (H) = 캐시에 적용되는 횟수 / 전체 기억장치 접근 횟수miss ratio캐시 미스율 = 1 ..

ITFIND 주간기술동향 2133호 본 내용의 경우 IITP의 주간기술동향에 대해서 요약한 내용으로 원문은 아래의 링크를 참고 부탁드립니다.https://www.itfind.or.kr/streamdocs/view/sd;streamdocsId=2r36XMk-EM-2MAdDYwjDQmN4H5VUGx-Fh96YPYn7-DU  발행일: 2024-05-08   서론인공지능이 급속도로 발전함에 따라 상당량의 메모리 사용이 요구되고 있으며, 데이터센터의 서버들은 인공지능 컴퓨팅 인프라를 지원하기 위해 CPU뿐만 아니라 GPU, FPGA, NPU와 같은 다양한 가속 장치들을 통합하여 운영하고 있다. 이러한 상황에서 인공지능 애플리케이션을 더욱 효율적으로 처리하기 위해 분산된 이종 메모리 및 다양한 컴퓨팅 자원을 활용하..

ITFIND 주간기술동향 2132호 본 내용의 경우 IITP의 주간기술동향에 대해서 요약한 내용으로 원문은 아래의 링크를 참고 부탁드립니다.https://www.itfind.or.kr/streamdocs/view/sd;streamdocsId=s4JE5Re4cF_YXMv4jMVh6rrxbPI7tmXT7zTudBP_F9M  발행일: 2024-05-01   오픈랜 (Open-RAN) 이란?오픈랜은 무선접속망에 관한 인터페이스와 소프트웨어를 개방형으로 만들어서, 특정 네트워크 장비 제조사에 대한 의존성을 탈피하고자 하는 기술 일반적으로 통신 기지국은 단말과 무선통신을 담당하는 무전기 (RU: Radio Unit)와 기지국의 제어부 (DU: Distributed Unit / CU: Central Unit)로 구성..

ITFIND 주간기술동향 2130호 본 내용의 경우 IITP의 주간기술동향에 대해서 요약한 내용으로 원문은 아래의 링크를 참고 부탁드립니다.https://www.itfind.or.kr/streamdocs/view/sd;streamdocsId=W8XLa3T5c9i2aswHzvNAk-Jq857zfbGxS87bB4aZXjg 발행일: 2024-04-17   서론2023년 마이크로소프트는 데이터의 품질과 성능의 연관성을 위해 실험을 하였으며, 실험 결과에서 놀랍게도 교과서로 학습한 모델이 더 많은 데이터를 사용한 거대한 모델의 성능을 뛰어 넘는다는 것을 보여주었다. 아래 그림처럼 Vicuna 모델, 7억 개의 파라메터를 가지는 Llama2, MPT, Falcon보다 1.3억 개의 파라메터를 가지는 phi-1.5 ..