from PyAnnote.audio import Pipeline

def model_fn(model_dir):
# Load the model from the specified model directory
model = Pipeline.from_pretrained(
"PyAnnote/speaker-diarization-3.1",
use_auth_token="Replace-with-the-Hugging-face-auth-token")
return model

with open("model/code/requirements.txt", "w") as f:
    f.write("transformers==4.25.1n")
    f.write("boto3n")
    f.write("PyAnnote.audion")
    f.write("soundfilen")
    f.write("librosan")
    f.write("onnxruntimen")
    f.write("wgetn")
    f.write("pandas")

!tar zcvf model.tar.gz *

import sagemaker
import boto3

sess = sagemaker.Session()

sagemaker_session_bucket = None
if sagemaker_session_bucket is None and sess is not None:
    sagemaker_session_bucket = sess.default_bucket()

try:
    role = sagemaker.get_execution_role()
except ValueError:
    iam = boto3.client("iam")
    role = iam.get_role(RoleName="sagemaker_execution_role")["Role"]["Arn"]

sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)

print(f"sagemaker role arn: {role}")
print(f"sagemaker bucket: {sess.default_bucket()}")
print(f"sagemaker session region: {sess.boto_region_name}")

s3_location = f"s3://{sagemaker_session_bucket}/whisper/model/model.tar.gz"
!aws s3 cp model.tar.gz $s3_location

from sagemaker.huggingface.model import HuggingFaceModel
from sagemaker.async_inference.async_inference_config import AsyncInferenceConfig
from sagemaker.s3 import s3_path_join
from sagemaker.utils import name_from_base

async_endpoint_name = name_from_base("custom-asyc")

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
    model_data=s3_location,  # path to your model and script
    role=role,  # iam role with permissions to create an Endpoint
    transformers_version="4.17",  # transformers version used
    pytorch_version="1.10",  # pytorch version used
    py_version="py38",  # python version used
)

# create async endpoint configuration
async_config = AsyncInferenceConfig(
    output_path=s3_path_join(
        "s3://", sagemaker_session_bucket, "async_inference/output"
    ),  # Where our results will be stored
    # Add nofitication SNS if needed
    notification_config={
        # "SuccessTopic": "PUT YOUR SUCCESS SNS TOPIC ARN",
        # "ErrorTopic": "PUT YOUR ERROR SNS TOPIC ARN",
    },  #  Notification configuration
)

env = {"MODEL_SERVER_WORKERS": "2"}

# deploy the endpoint endpoint
async_predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type="ml.xx",
    async_inference_config=async_config,
    endpoint_name=async_endpoint_name,
    env=env,
)

# Replace with a path to audio object in S3
from sagemaker.async_inference import WaiterConfig
res = async_predictor.predict_async(data=data)
print(f"Response output path: {res.output_path}")
print("Start Polling to get response:")

config = WaiterConfig(
  max_attempts=10, #  number of attempts
  delay=10#  time in seconds to wait between attempts
  )
res.get_result(config)
#import waiterconfig

[0.9762308998, 8.9049235993, "SPEAKER_01"]

[9.533106961, 12.1646859083, "SPEAKER_01"]

[13.1324278438, 13.9303904924, "SPEAKER_00"]

[14.3548387097, 26.1884550085, "SPEAKER_00"]

[27.2410865874, 28.2258064516, "SPEAKER_01"]

[28.3446519525, 31.298811545, "SPEAKER_01"]

# Common class representing application autoscaling for SageMaker 
client = boto3.client('application-autoscaling') 

# This is the format in which application autoscaling references the endpoint
resource_id='endpoint/' + <endpoint_name> + '/variant/' + <'variant1'> 

# Define and register your endpoint variant
response = client.register_scalable_target(
    ServiceNamespace='sagemaker', 
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount', # The number of EC2 instances for your Amazon SageMaker model endpoint variant.
    MinCapacity=0,
    MaxCapacity=5
)

اگر می خواهید نقطه پایانی را حذف کنید، از کد زیر استفاده کنید:

async_predictor.delete_endpoint(async_endpoint_name)

مزایای استقرار نقطه پایانی ناهمزمان

این راه حل مزایای زیر را ارائه می دهد:

• این راه حل می تواند به طور موثر فایل های صوتی متعدد یا بزرگ را مدیریت کند.
• این مثال از یک نمونه برای نمایش استفاده می کند. اگر می خواهید از این راه حل برای صدها یا هزاران ویدیو استفاده کنید و از یک نقطه پایانی ناهمزمان برای پردازش در چندین نمونه استفاده کنید، می توانید از یک سیاست مقیاس بندی خودکار، که برای تعداد زیادی از اسناد منبع طراحی شده است. مقیاس خودکار به صورت پویا تعداد نمونه های ارائه شده برای یک مدل را در پاسخ به تغییرات در حجم کاری شما تنظیم می کند.
• این راه حل با جدا کردن وظایف طولانی مدت از استنتاج بلادرنگ، منابع را بهینه می کند و بار سیستم را کاهش می دهد.

نتیجه

در این پست، ما یک رویکرد ساده برای استقرار مدل diarization بلندگوی Hugging Face در SageMaker با استفاده از اسکریپت‌های Python ارائه کردیم. استفاده از نقطه پایانی ناهمزمان ابزاری کارآمد و مقیاس‌پذیر برای ارائه پیش‌بینی‌های دیاریزاسیون به عنوان یک سرویس فراهم می‌کند و درخواست‌های همزمان را به‌طور یکپارچه برآورده می‌کند.

همین امروز با دیاریزاسیون اسپیکرهای ناهمزمان برای پروژه های صوتی خود شروع کنید. اگر در مورد راه‌اندازی و راه‌اندازی نقطه پایانی دیاریزاسیون ناهمزمان خود سؤالی دارید در نظرات با ما در میان بگذارید.

درباره نویسنده

سانجی تیواری معمار راه حل های تخصصی AI/ML است که وقت خود را صرف کار با مشتریان استراتژیک برای تعریف الزامات کسب و کار، ارائه جلسات L300 پیرامون موارد استفاده خاص، و طراحی برنامه ها و خدمات AI/ML می کند که مقیاس پذیر، قابل اعتماد و کارآمد هستند. او به راه‌اندازی و مقیاس‌بندی سرویس آمازون SageMaker مبتنی بر AI/ML کمک کرده است و چندین اثبات مفهومی را با استفاده از خدمات هوش مصنوعی آمازون پیاده‌سازی کرده است. او همچنین پلتفرم تجزیه و تحلیل پیشرفته را به عنوان بخشی از سفر تحول دیجیتال توسعه داده است.

کیران چالاپالی یک توسعه دهنده کسب و کار با فناوری عمیق با بخش عمومی AWS است. او بیش از 8 سال تجربه در AI/ML و 23 سال تجربه کلی توسعه و فروش نرم افزار دارد. Kiran به کسب‌وکارهای بخش عمومی در سراسر هند کمک می‌کند راه‌حل‌های مبتنی بر ابر را که از فناوری‌های هوش مصنوعی، ML، و هوش مصنوعی مولد - از جمله مدل‌های زبان بزرگ - استفاده می‌کنند، کاوش کرده و ایجاد کنند.