from PyAnnote.audio import Pipeline

def model_fn(model_dir):
# Load the model from the specified model directory
model = Pipeline.from_pretrained(
"PyAnnote/speaker-diarization-3.1",
use_auth_token="Replace-with-the-Hugging-face-auth-token")
return model

with open("model/code/requirements.txt", "w") as f:
    f.write("transformers==4.25.1n")
    f.write("boto3n")
    f.write("PyAnnote.audion")
    f.write("soundfilen")
    f.write("librosan")
    f.write("onnxruntimen")
    f.write("wgetn")
    f.write("pandas")

!tar zcvf model.tar.gz *

import sagemaker
import boto3

sess = sagemaker.Session()

sagemaker_session_bucket = None
if sagemaker_session_bucket is None and sess is not None:
    sagemaker_session_bucket = sess.default_bucket()

try:
    role = sagemaker.get_execution_role()
except ValueError:
    iam = boto3.client("iam")
    role = iam.get_role(RoleName="sagemaker_execution_role")["Role"]["Arn"]

sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)

print(f"sagemaker role arn: {role}")
print(f"sagemaker bucket: {sess.default_bucket()}")
print(f"sagemaker session region: {sess.boto_region_name}")

s3_location = f"s3://{sagemaker_session_bucket}/whisper/model/model.tar.gz"
!aws s3 cp model.tar.gz $s3_location

from sagemaker.huggingface.model import HuggingFaceModel
from sagemaker.async_inference.async_inference_config import AsyncInferenceConfig
from sagemaker.s3 import s3_path_join
from sagemaker.utils import name_from_base

async_endpoint_name = name_from_base("custom-asyc")

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
    model_data=s3_location,  # path to your model and script
    role=role,  # iam role with permissions to create an Endpoint
    transformers_version="4.17",  # transformers version used
    pytorch_version="1.10",  # pytorch version used
    py_version="py38",  # python version used
)

# create async endpoint configuration
async_config = AsyncInferenceConfig(
    output_path=s3_path_join(
        "s3://", sagemaker_session_bucket, "async_inference/output"
    ),  # Where our results will be stored
    # Add nofitication SNS if needed
    notification_config={
        # "SuccessTopic": "PUT YOUR SUCCESS SNS TOPIC ARN",
        # "ErrorTopic": "PUT YOUR ERROR SNS TOPIC ARN",
    },  #  Notification configuration
)

env = {"MODEL_SERVER_WORKERS": "2"}

# deploy the endpoint endpoint
async_predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type="ml.xx",
    async_inference_config=async_config,
    endpoint_name=async_endpoint_name,
    env=env,
)

# Replace with a path to audio object in S3
from sagemaker.async_inference import WaiterConfig
res = async_predictor.predict_async(data=data)
print(f"Response output path: {res.output_path}")
print("Start Polling to get response:")

config = WaiterConfig(
  max_attempts=10, #  number of attempts
  delay=10#  time in seconds to wait between attempts
  )
res.get_result(config)
#import waiterconfig

[0.9762308998, 8.9049235993, "SPEAKER_01"]

[9.533106961, 12.1646859083, "SPEAKER_01"]

[13.1324278438, 13.9303904924, "SPEAKER_00"]

[14.3548387097, 26.1884550085, "SPEAKER_00"]

[27.2410865874, 28.2258064516, "SPEAKER_01"]

[28.3446519525, 31.298811545, "SPEAKER_01"]

# Common class representing application autoscaling for SageMaker 
client = boto3.client('application-autoscaling') 

# This is the format in which application autoscaling references the endpoint
resource_id='endpoint/' + <endpoint_name> + '/variant/' + <'variant1'> 

# Define and register your endpoint variant
response = client.register_scalable_target(
    ServiceNamespace='sagemaker', 
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount', # The number of EC2 instances for your Amazon SageMaker model endpoint variant.
    MinCapacity=0,
    MaxCapacity=5
)

إذا كنت تريد حذف نقطة النهاية، استخدم الكود التالي:

async_predictor.delete_endpoint(async_endpoint_name)

فوائد النشر غير المتزامن لنقطة النهاية

يقدم هذا الحل الفوائد التالية:

• يمكن للحل التعامل بكفاءة مع ملفات صوتية متعددة أو كبيرة.
• يستخدم هذا المثال مثيل واحد للعرض التوضيحي. إذا كنت تريد استخدام هذا الحل لمئات أو آلاف مقاطع الفيديو واستخدام نقطة نهاية غير متزامنة للمعالجة عبر مثيلات متعددة، فيمكنك استخدام سياسة التحجيم التلقائي، وهو مصمم لعدد كبير من المستندات المصدر. يقوم القياس التلقائي بضبط عدد المثيلات المتوفرة للنموذج ديناميكيًا استجابة للتغيرات في عبء العمل لديك.
• يعمل الحل على تحسين الموارد وتقليل حمل النظام عن طريق فصل المهام طويلة الأمد عن الاستدلال في الوقت الفعلي.

وفي الختام

في هذا المنشور، قدمنا ​​أسلوبًا مباشرًا لنشر نموذج تدوين المتحدث الخاص بـ Hugging Face على SageMaker باستخدام نصوص Python النصية. يوفر استخدام نقطة النهاية غير المتزامنة وسيلة فعالة وقابلة للتطوير لتقديم تنبؤات التسجيل كخدمة، واستيعاب الطلبات المتزامنة بسلاسة.

ابدأ اليوم مع تدوين مكبر الصوت غير المتزامن لمشاريعك الصوتية. تواصل معنا في التعليقات إذا كانت لديك أي أسئلة حول تشغيل نقطة نهاية التدوين غير المتزامن الخاصة بك وتشغيلها.

حول المؤلف

سانجاي تيواري هو مهندس حلول متخصص في الذكاء الاصطناعي/تعلم الآلة يقضي وقته في العمل مع العملاء الاستراتيجيين لتحديد متطلبات العمل، وتوفير جلسات L300 حول حالات استخدام محددة، وتصميم تطبيقات وخدمات الذكاء الاصطناعي/تعلم الآلة التي تكون قابلة للتطوير وموثوقة وعالية الأداء. لقد ساعد في إطلاق وتوسيع نطاق خدمة Amazon SageMaker التي تعمل بالذكاء الاصطناعي/التعلم الآلي، وقام بتنفيذ العديد من إثباتات المفهوم باستخدام خدمات Amazon AI. كما قام أيضًا بتطوير منصة التحليلات المتقدمة كجزء من رحلة التحول الرقمي.

كيران تشالابالي هو مطور أعمال في مجال التكنولوجيا العميقة مع القطاع العام في AWS. يتمتع بخبرة تزيد عن 8 سنوات في مجال الذكاء الاصطناعي/تعلم الآلة و23 عامًا من الخبرة الشاملة في تطوير البرمجيات والمبيعات. يساعد كيران شركات القطاع العام في جميع أنحاء الهند على استكشاف الحلول المستندة إلى السحابة والمشاركة في إنشائها والتي تستخدم تقنيات الذكاء الاصطناعي وتعلم الآلة والذكاء الاصطناعي التوليدي - بما في ذلك نماذج اللغات الكبيرة.