수많은 RAG 모듈들의 조합으로 수많은 RAG 파이프라인이 생성될 수 있고 각 작업 도메인과 데이터 셋에 따라 최적의 RAG 파이프라인은 모두 다르다. (RAG 파이프라인의 수를 간단하게 계산해보자.) 심지어 prompt를 바꾸거나, LLM을 바꾸거나, 임베딩을 바꿀 때마다 기존 성능보다 더 좋아졌는지 나빠졌는지는 알 수 없다. 우리가 개발을 할 때도 테스트 코드를 짜듯이 RAG 파이프라인을 구성할 때도 테스트는 꼭 필요하다. 아니 오히려 LLM의 블랙박스적인 특징을 고려해 테스트의 중요성은 더 중요하다. 일반적으로 개발할 때 TDD라는 개발 방법론이 있는 것처럼 RAG를 개발할 때도 Evaluation Driven Development(EDD)라는 방법론을 도입하여 개발할 수 있다....
학교에서 배웠던 EECS 전공 과목들을 gihub repo 에 따로 정리했다. 아직 비어있는 내용이 좀 있는데 조금씩 추가하고 있다. 진작에 정리 좀 잘해둘걸…
블로그로 정리하기에는 양이 많아서 github 에 따로 올려두었다.
긱뉴스의 최신 데이터 인프라 이해하기 영상이 데이터 인프라에 대한 전체적인 그림을 잡기에 좋은 내용들이 많아 정리해보고자 한다. 해당 영상은 A16Z에서 발행한 Emerging Architectures for Modern Data Infrastructure 글을 바탕으로 만들어졌다. 기본 개념과 단어 설명 아래 그림에 나오는 단어들을 전부 이해하는 것을 목표로 해보자. 그림을 간단히 요약하면 데이터 인프라 아키텍처는 크게 Sources, Ingestion and Transformation, Storage, Historical, Predictive, Output으로 구분할 수 있다. Sources에는 OTLP로 사용중인 AWS Aurora, 일자별로 RDS의 스냅샷 이 저장되어있는 S3, API 로그나 검색 서비스를 위해 사용하는 Elasticsearch 등이 모두 포함된다....
배달의 민족 [우아콘 2020] 배달의민족 마이크로서비스 여행기 발표영상 을 정리한 글이다. 5년동안 배달의 민족의 트래픽은 매년 평균 2.3배가 증가할 정도로 급성장한 서비스이다. 이 과정동안 개발팀에서는 어떤 일이 있었는지을 알아본다. 2015년 하루 주문수 5만 이하 MSSQL + PHP, ASP 루비 DB(MSSQL)를 사용. 테이블이 700개가 넘었음. 대부분 루비 DB의 스토어드 프로시저 방식으로 사용함. 4000개 정도 사용하고 있었음. 굉장히 거대한 모놀리틱 시스템. 루비 DB 장애시 전체 서비스 장애로 이어짐. 한 예시로 리뷰 시스템에 장애가 났는데, 고객이 주문을 못하는 상태가 됨....