누구도 알려주지 않는 인공지능 이야기 - 인공지능의 모든 것

참조 무결성이 필요한 이유 참조 무결성(Referential Integrity)은 관계 데이터베이스 관계 모델에서 두 관련 있는 관계 변수 간의 일관성(데이터 무결성)을 말한다. 참조 무결성은 AI시대 효과적인 빅 데이터 활용을 위해서는 반드시 필요한다. 다음과 같은 이유에서 중요하다. 1. 데이터 일관성 유지참조 무결성은 데이터베이스의 테이블 간의 관계를 일관되게 유지한다. 예를 들어, 주문테이블의 고객ID가 고객테이블의 고객ID를 참조할 때, 참조 무결성이 보장되지 않으면 존재하지 않는 고객ID를 참조할 위험이 있다. 이는 데이터의 신뢰성을 저해하고, 데이터베이스의 일관성을 깨트릴 수 있다. 2. 데이터 무결성 보장참조 무결성은 데이터의 정확성과 신뢰성을 보장합니다. 예를 들어, 삭제 규칙과 같은 제..

About AI 2024. 5. 27. 14:55

데이터 전처리 단계와 참조 무결성의 관계 데이터 전처리와 참조 무결성은 데이터 관리에서 중요한 두 가지 개념으로, 각각 데이터의 품질을 유지하고 데이터베이스의 일관성을 보장하는 역할을 한다. 이 둘은 상호 보완적으로 작용하여 신뢰할 수 있는 데이터를 유지하는 데 기여한다. 상화보완적 관계는 다음과 같이 정의할 수 있다. 1. 데이터 수집 (Data Collection)데이터를 다양한 소스에서 수집하는 단계.참조 무결성과의 관계: 수집된 데이터가 서로 다른 소스에서 올바르게 매핑되도록 하는 것이 중요. 예를 들어, 여러 시스템에서 고객 데이터를 수집할 때, 각 시스템의 고객 ID가 일치하도록 해야 한다.2. 데이터 정제 (Data Cleaning)결측값 처리, 중복 제거, 오류 수정 등을 통해 데이터를 정..

강화학습 2024. 5. 23. 12:35

데이터 전처리는 머신러닝이나 데이터 분석에서 매우 중요한 단계이다. 이 과정은 데이터의 품질을 높이고 분석에 적합하게 만드는 것을 목표로 한다. 데이터 천저리를 통해 고객 이탈 예측 하는 방법을 예로 들자면 다음과 같다. 1. 데이터 수집 및 이해데이터 구조고객 ID: 고객을 식별하는 고유한 ID나이: 고객의 나이성별: 고객의 성별 (예: 남성, 여성)거주 지역: 고객의 거주 지역을 나타내는 범주형 변수가입 기간: 고객이 서비스를 사용한 기간 (개월 단위)월 요금: 고객이 매달 지불하는 요금총 사용량: 고객이 총 사용한 데이터량 (예: GB 단위)서비스 해지 여부: 고객의 이탈 여부 (0: 유지, 1: 해지)2. 데이터 정리결측치 처리 (1) 결측치 확인:python 코드df.isnull().sum() ..

강화학습 2024. 5. 22. 13:11

인공지능 구현에서 데이터 전처리의 필요성 인공지능을 구현하는 데 데이터 전처리 작업은 다음과 같은 이유로 반드시 필요하다. 1. 데이터 품질 향상1) 결측치 처리결측치 발생 원인: 데이터 수집 과정의 오류, 응답자의 누락 등.처리 방법:삭제: 결측치가 많은 경우 해당 데이터를 삭제.대체: 평균, 중앙값, 최빈값, 또는 회귀 대체법 사용.예측: 머신러닝 알고리즘으로 결측치를 예측.2) 중복 데이터 제거중복 데이터의 문제: 모델의 학습을 왜곡하고 과적합 문제 발생.처리 방법:완전 중복 제거: 동일한 데이터 제거.유사 중복 제거: 유사한 데이터 식별 및 제거.3) 이상치 처리이상치의 문제: 데이터 분포에서 벗어난 값으로 모델에 비정상적 패턴 학습 유발.처리 방법:탐지: 박스플롯, z-점수, IQR 등을 사용해..

강화학습 2024. 5. 21. 10:10

구글이 '‘세계 접근성 인식의 날'을 맞아 인공지능(AI) 앱을 선보였다. 장애인들이 주변 환경에 대해 많은 정보를 얻고 쉽게 의사소통할 수 있도록 지원하기 위해서다.더 버지는 17일(현지시간) 구글이 장애인 접근성 개선용 모바일 앱 몇가지를 출시했다고 보도했다. 매년 5월 셋째주 목요일은 세계 접근성 인식의 날이다. 구글은 "접근성 기능을 개선하기 위해 장애인 커뮤니티와 지속적인 파트너십을 맺기 위해 최선을 다하고 있다"라고 밝혔다.먼저 저시력자나 시각장애인이 쉽고 빠르게 작업을 처리할 수 있도록 돕는 안드로이드 앱 ‘룩아웃(Looout)’을 소개했다. 비전 AI 기술이 적용된 룩아웃을 사용하면 휴대전화 카메라로 쉽게 주변 세상에 관한 더 많은 정보를 얻고 우편물 분류, 식료품 정리 등 일상 일을 보다..

AI최신뉴스 2024. 5. 20. 15:58

국내 가상자산 거래소 포블게이트(대표 안현준)는 디지털 음원 레이블 회사 메타퀘이크(대표 수이강) 및 글로벌 음원배급사 빅밴드(대표 어재경)와 협력해 웹3 환경에서 인공지능(AI) 기술을 활용한 디지털 음원 콘텐츠를 개발한다고 17일 밝혔다.메타퀘이크는 AI 음원 콘텐츠 개발을 위한 플랫폼을 제공한다. 블록체인 기술을 통해 투명하고 신뢰할 수 있는 저작권 관리와 투자 모델을 구축해 글로벌 시장에서의 성장 가능성을 모색할 예정이다.빅밴드는 국내에서 가장 많은 해외 채널에 음원을 공급하는 유통사다. 게임 및 메타버스 사운드 디렉팅 경험을 바탕으로 웹3 환경에 최적화한 서비스를 제공할 계획이다.포블은 웹3 시대의 AI 기반 디지털 음원 콘텐츠를 확장하는 데 있어 매개체 역할을 할 방침이다. 안현준 포블 대표는..

AI최신뉴스 2024. 5. 18. 21:40

NC문화재단(이사장 윤송이)은 인공지능(AI) 윤리 관련 정보를 총 망라한 포털사이트 ‘페어(FAIR) AI’를 오픈했다고 17일 밝혔다.NC문화재단은 2012년 NC 창립 15주년을 맞아 체계적이고 지속적인 사회적 책임활동을 위해 설립한 비영리 재단이다. ‘사회적 약자에 대한 배려’ ‘우리 사회의 질적 도약을 위한 가치 창출’이라는 방향성을 가지고 다양한 사회공헌 사업을 전개하고 있다.페어 AI는 ▲국내외 논문 및 보고서 ▲언론 기사 ▲가이드라인 ▲커리큘럼 소개 등 AI 윤리 관련 다양한 정보를 통합 제공한다. AI 전문가뿐만 아니라 일반 대중도 손쉽게 양질의 데이터에 접근할 수 있는 검색 시스템을 구축했다는 설명이다.페어는 ‘공정하고 책임감 있는 AI 정보 라이브러리’라는 영어 단어의 앞 글자를 딴 ..

AI최신뉴스 2024. 5. 17. 22:03

데이터 전처리가 필요한 이유 유정에서 채굴된 석유를 ‘원유’라고 한다. 원유는 정유시설에서 정유 작업을 거쳐 휘발유, 경유, 등유 등 여러 형태로 분리되고, 그 목적에 따라 다른 형태의 기름을 사용한다. 예를 들어 가솔린 엔진 자동차를 움직이는 것은 휘발유다. 휘발유는 정유 작업을 거치고 엔진에 나쁜 영향을 주는 요소를 제거한다. 이것은 인공지능 구현에 사용되는 데이터도 마찬가지다. 이런 작업을 데이터 전처리라고 한다. 데이터 전처리는 원시 데이터를 모델 구축에 적합한 깨끗하고 정리된 형식으로 변환하는 것과 관련된 데이터 분석 및 기계 학습 파이프라인의 중요한 단계이다. 데이터의 품질과 형식이 모델의 성능과 정확성에 직접적인 영향을 미치기 때문에 이 프로세스는 필수적이다. 데이터 전처리는 특히 머신러닝과..

강화학습 2024. 5. 11. 15:51