At AWS re:Invent 2023, ми оголосили про загальну доступність Бази знань для Amazon Bedrock. За допомогою баз знань для Amazon Bedrock ви можете безпечно підключати моделі основи (FM) до Amazon Bedrock до даних вашої компанії для повністю керованого Retrieval Augmented Generation (RAG).

У попередніх публікаціях ми розповідали про нові можливості, наприклад підтримка гібридного пошуку, фільтрація метаданих для підвищення точності пошуку, і як Бази знань для Amazon Bedrock керують наскрізним робочим процесом RAG.

Сьогодні ми представляємо нову можливість спілкування в чаті з вашим документом без налаштувань у базах знань для Amazon Bedrock. Завдяки цій новій можливості ви можете безпечно задавати запитання щодо окремих документів, не витрачаючи накладні витрати на налаштування векторної бази даних або надсилання даних, що спрощує використання корпоративних даних компаніями. Вам потрібно лише надати відповідний файл даних як вхідні дані та вибрати FM, щоб почати.

Але перш ніж ми перейдемо до деталей цієї функції, давайте почнемо з основ і зрозуміємо, що таке RAG, її переваги та те, як ця нова можливість дозволяє отримувати та генерувати вміст для тимчасових потреб.

Що таке доповнена пошукова генерація?

Помічники зі штучним інтелектом (ШІ) на базі FM мають обмеження, такі як надання застарілої інформації або проблеми з контекстом поза їхніми навчальними даними. RAG вирішує ці проблеми, дозволяючи ФМ робити перехресні посилання на авторитетні джерела знань перед тим, як генерувати відповіді.

За допомогою RAG, коли користувач ставить запитання, система отримує релевантний контекст із підібраної бази знань, наприклад документації компанії. Він надає цей контекст FM, який використовує його для отримання більш обґрунтованої та точної відповіді. RAG допомагає подолати обмеження FM, розширюючи свої можливості за допомогою власних знань організації, дозволяючи чат-ботам і помічникам зі штучним інтелектом надавати актуальну контекстно-специфічну інформацію, адаптовану до потреб бізнесу, без перенавчання всього FM. Ми в AWS визнаємо потенціал RAG і працювали над тим, щоб спростити його впровадження через бази знань для Amazon Bedrock, забезпечуючи повністю керований досвід RAG.

Короткострокові та миттєві інформаційні потреби

Хоча база знань виконує всю важку роботу і служить постійним великим сховищем корпоративних знань, вам може знадобитися тимчасовий доступ до даних для виконання певних завдань або аналізу в межах ізольованих сеансів користувача. Традиційні підходи RAG не оптимізовані для цих короткострокових сценаріїв доступу до даних на основі сеансу.

Компанії стягують плату за зберігання та керування даними. Це може зробити RAG менш рентабельним для організацій із дуже динамічними або ефемерними вимогами до інформації, особливо коли дані потрібні лише для окремих окремих завдань або аналізу.

Ставте запитання в одному документі без налаштувань

Ця нова можливість спілкуватися в чаті з вашим документом у базах знань для Amazon Bedrock вирішує вищезгадані проблеми. Він забезпечує метод нульового налаштування, щоб використовувати ваш єдиний документ для пошуку вмісту та завдань, пов’язаних із створенням, разом із FM, наданими Amazon Bedrock. Завдяки цій новій можливості ви можете задавати питання своїм даним без накладних витрат на налаштування векторної бази даних або прийом даних, що спрощує використання корпоративних даних.

Тепер ви можете взаємодіяти зі своїми документами в режимі реального часу без попереднього прийому даних або налаштування бази даних. Вам не потрібно виконувати жодних подальших кроків щодо готовності даних, перш ніж запитувати дані.

Цей підхід без налаштувань спрощує використання корпоративних інформаційних ресурсів із генеративним штучним інтелектом за допомогою Amazon Bedrock.

Варіанти використання та переваги

Зверніть увагу на рекрутингову компанію, якій потрібно проаналізувати резюме та підібрати кандидатам відповідні вакансії на основі їх досвіду та навичок. Раніше вам доводилося створювати базу знань, запускаючи робочий процес прийому даних, щоб переконатися, що лише авторизовані рекрутери мають доступ до даних. Крім того, вам потрібно буде керувати очищенням, коли дані більше не потрібні для сеансу чи кандидата. Зрештою, ви заплатите більше за зберігання та керування векторною базою даних, ніж за фактичне використання FM. Ця нова функція в базах знань для Amazon Bedrock дає рекрутерам змогу швидко й короткочасно аналізувати резюме та підбирати кандидатів із відповідними можливостями роботи на основі досвіду та навичок кандидата.

Для іншого прикладу розглянемо менеджера з продуктів у технологічній компанії, якому потрібно швидко проаналізувати відгуки клієнтів і звернення до служби підтримки, щоб визначити загальні проблеми та сфери, які потрібно вдосконалити. Завдяки цій новій можливості ви можете просто завантажити документ, щоб миттєво отримати статистичні дані. Наприклад, ви можете запитати: «Які вимоги до мобільного додатка?» або «Які загальні проблемні моменти згадують клієнти щодо нашого процесу адаптації?» Ця функція дає вам змогу швидко синтезувати цю інформацію без клопоту щодо підготовки даних або будь-яких витрат на керування. Ви також можете запитати підсумки або ключові висновки, наприклад «Які основні моменти в цьому документі з вимогами?»

Переваги цієї функції виходять за рамки економії коштів і ефективності роботи. Усунувши потребу у векторних базах даних і прийомі даних, ця нова можливість у Базах знань для Amazon Bedrock допомагає захистити ваші власні дані, роблячи їх доступними лише в контексті ізольованих сеансів користувача.

Тепер, коли ми розглянули переваги функції та варіанти її використання, давайте поглибимося в те, як ви можете почати використовувати цю нову функцію з баз знань для Amazon Bedrock.

Спілкуйтеся зі своїм документом у базах знань для Amazon Bedrock

У вас є кілька варіантів, щоб почати використовувати цю функцію:

• Консоль Amazon Bedrock
• Амазонка RetrieveAndGenerate API (SDK)

Давайте подивимося, як ми можемо почати використовувати консоль Amazon Bedrock:

1. На консолі Amazon Bedrock під Оркестрація на панелі навігації виберіть Бази знань.
2. Вибирати Спілкуйтеся зі своїм документом.
   
3. під Modelвиберіть Виберіть модель.
   
4. Виберіть свою модель. Для цього прикладу ми використовуємо модель Claude 3 Sonnet (на момент запуску ми підтримуємо лише Sonnet).
5. Вибирати Застосовувати.
   
6. під дані, ви можете завантажити документ, з яким хочете поспілкуватися, або вказати на Служба простого зберігання Amazon (Amazon S3) розташування сегмента, у якому міститься ваш файл. Для цієї публікації ми завантажуємо документ із нашого комп’ютера.

Підтримувані формати файлів: PDF, MD (Markdown), TXT, DOCX, HTML, CSV, XLS і XLSX. Переконайтеся, що розмір файлу не перевищує 10 Мб і містить не більше 20,000 XNUMX токенів. А знак вважається одиницею тексту, такою як слово, підслово, число або символ, що обробляється як єдине ціле. Через попередньо встановлений ліміт маркерів прийому, рекомендовано використовувати файл розміром до 10 Мб. Однак текстовий файл, розмір якого значно менший за 10 МБ, потенційно може порушити ліміт маркерів.

Тепер ви готові до спілкування з документом.

Як показано на наступному знімку екрана, ви можете спілкуватися з документом у режимі реального часу.

Щоб налаштувати підказку, введіть її під SYSTEM підказка.

Так само ви можете використовувати AWS SDK через retrieve_and_generate API на основних мовах кодування. У наступному прикладі ми використовуємо AWS SDK для Python (Boto3):

import boto3

bedrock_client = boto3.client(service_name='bedrock-agent-runtime')
model_id = "your_model_id_here"    # Replace with your modelID
document_uri = "your_s3_uri_here"  # Replace with your S3 URI

def retrieveAndGenerate(input_text, sourceType, model_id, document_s3_uri=None, data=None):
    region = 'us-west-2'  
    model_arn = f'arn:aws:bedrock:{region}::foundation-model/{model_id}'

    if sourceType == "S3":
        return bedrock_client.retrieve_and_generate(
            input={'text': input_text},
            retrieveAndGenerateConfiguration={
                'type': 'EXTERNAL_SOURCES',
                'externalSourcesConfiguration': {
                    'modelArn': model_arn,
                    'sources': [
                        {
                            "sourceType": sourceType,
                            "s3Location": {
                                "uri": document_s3_uri  
                            }
                        }
                    ]
                }
            }
        )
        
    else:
        return bedrock_client.retrieve_and_generate(
            input={'text': input_text},
            retrieveAndGenerateConfiguration={
                'type': 'EXTERNAL_SOURCES',
                'externalSourcesConfiguration': {
                    'modelArn': model_arn,
                    'sources': [
                        {
                            "sourceType": sourceType,
                            "byteContent": {
                                "identifier": "testFile.txt",
                                "contentType": "text/plain",
                                "data": data  
                            }
                        }
                    ]
                }
            }
        )

response = retrieveAndGenerate(
                                input_text="What is the main topic of this document?",
                                sourceType="S3", 
                                model_id=model_id,
                                document_s3_uri=document_uri
                              )
                    
print(response['output']['text'])

Висновок

У цій публікації ми розповіли, як бази знань для Amazon Bedrock тепер спрощують задавати запитання в одному документі. Ми дослідили основні концепції RAG, виклики, які вирішує ця нова функція, і різні варіанти використання, які вона дає для різних ролей і галузей. Ми також продемонстрували, як налаштувати та використовувати цю можливість за допомогою консолі Amazon Bedrock і AWS SDK, продемонструвавши простоту та гнучкість цієї функції, яка забезпечує рішення без налаштування для збору інформації з одного документа без налаштування векторної бази даних. .

Щоб дізнатися більше про можливості баз знань для Amazon Bedrock, зверніться до таких ресурсів:

Діліться та навчайтеся з нашою генеративною спільнотою ШІ за адресою community.aws.

Про авторів

Суман Дебнат є головним захисником розробників машинного навчання в Amazon Web Services. Він часто виступає на конференціях AI/ML, подіях і зустрічах по всьому світу. Він захоплюється великомасштабними розподіленими системами та є пристрасним шанувальником Python.

Себастьян Мунера є інженером-програмістом у команді Amazon Bedrock Knowledge Bases в AWS, де він зосереджується на створенні рішень для клієнтів, які використовують програми Generative AI та RAG. Раніше він працював над розробкою рішень на основі Generative AI для клієнтів, щоб оптимізувати їхні процеси та додатки з низьким кодом/без коду. У вільний час він любить бігати, піднімати та возитися з технікою.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• джерело: https://aws.amazon.com/blogs/machine-learning/knowledge-bases-in-amazon-bedrock-now-simplifies-asking-questions-on-a-single-document/